Elsőként 1774-1777 között épült fel a Jung József tervezte barokk katolikus templom, melynek szerves része lett a később, már az ifjabb Brunszvik Antal és felesége báró Seeberg Anna személyes irányításával építtetett földszintes barokk kastély. Minden bizonnyal az itt álló majorsági épületet és az uradalom más épületeit építették egybe és alakították át 1784-85 között Tallherr József udvari építész tervei alapján. A barokk épület templom felőli szárnya volt a „női rész”, a távolabbi pedig a férfiaké. A Beethoven Emlékmúzeumot befogadó épületrész például megfelel egy háromosztatú pitvaros lakóháznak. Amikor Beethoven Martonvásáron vendégeskedett, ebben az állapotában látta a kastélyt.


A martonvásári birtok 1893-ban József főherceg tulajdonába került, aki 1896-ban felújíttatta, majd a következő évben eladta a Dreher családnak. Az első világháború idején hadikórházat rendeztek be az épületben. 1923-1927-ben Dreher Jenő átépíttette a kastélyt és lebontották a képtárat.