książce "Pałace i dwory dawnych Prus Wschodnich” zawarta jest taka informacja o zespole dworsko-parkowym w Jełmuniu: "Dawny, niewielki majątek ziemski malowniczo położony nad jeziorem Jełmuń około 6 kilometrów na północny-zachód od Sorkwit. Klarowne, typowe w kompozycji, założenie, pięknie usytuowane w krajobrazie. Dwór na wzniesieniu, w punkcie środkowym zespołu między parkiem schodzącym ku brzegom jeziora a czworokątem podwórza gospodarczego. W parku zachowane jeszcze szerokie otwarcie widokowe na jezioro."

Klasycystyczny dwór pochodzi z pierwszej połowy XIX wieku. Parterowy, zbudowany na rzucie prostokąta, z dwuspadowym dachem. W elewacji frontowej ryzalit z trzema półkolistymi arkadami, zwieńczony trójkątnym naczółkiem. Przed dworem, od strony parku półkolisty, kamienny taras z widokiem na jezioro.

Od 1795 roku dwór w Jełmuniu należał do rodziny von Woisky. W roku 1928 przechodzi w posiadanie rodziny Zuhlke. Dwór pozostawał ich własnością aż do grudnia 1944 roku, kiedy to właściciele musieli uciekać. Powojenne dzieje dworu potoczyły się banalnie – podobnie jak wszystkich majątków ziemskich przejętych w 1945 roku przez państwo. Władza ludowa założyła w Jełmuniu PGR, a we dworze urządziła mieszkania dla jego pracowników. W 2000 roku popadający w ruinę dwór oraz zdziczały park nabyła od Skarbu Państwa Barbara Trzeciak, doktor socjologii.