A „késő klasszicista stílusú, kétszintes, kéttengelyes, timpanonnal zárt, négyzetes ablakokkal és lizénákkal tagolt, hangsúlyos középrizalittal ellátott épületet” – vagyis közismert nevén a Fehér kastélyt – a többek között itt is birtokos Benefai Bacsák család egyik tagja, Bacsák Móric huszárkapitány építette az 1800-as évek elején.
Maga a család régi csallóközi família, előnevüket az 1764-ben Mária Teréziától is megerősített benefai (ma Egyházgelle része) birtokukról vették, s tagjai már korábban, a 17. században is komoly pozíciót töltöttek be egyrészt Pozsony megyében, másrészt egyéb országos hivatalokban (pl. Bacsák József a Magyar Kamara tanácsosa, Bacsák János a Helytartótanács tanácsosa és Pozsony vármegye alispánja, Bacsák Zsigmond kanonok volt stb.).
A Szerdahely melletti Újfalun élő ág ismert volt, itt született például Bacsák Ferenc 1757–64 közötti szerdahelyi plébános is, akit 1757-ben az akkori veszprémi püspök, Padányi Biró Márton iktatott be a helyi Szent György-templomban hivatalába. Itt élt a már említett Bacsák József kamarai tanácsos, s külön érdemes megemlíteni, hogy az ő lánya, Bacsák Franciska alapította meg 1799-ben (végrendeletében) Szerdahely-Újfalun a xenodochiumot, azaz az ispotályt – más néven szerény kórházat. S hogy kicsit még csavarjunk a családi szövevények hálóján és összefonódásán, leírjuk, hogy az említett Franciska unokabátyja nem más volt, mint a mi híres Pókateleki Kondé Miklós nagyváradi püspökünk (aki egyébiránt a Fehér kastélytól fél utcányira lévő Félszer-Újfalun született)…
A Fehér kastélyra visszatérve: tudjuk azt is, hogy egykori helyén korábban is az itteni Bacsákok kúriája állt – ezt a régi udvarházukat már egy 1796-os térképen is megtaláljuk, balról a Kondék telkével, jobbra pedig megint csak a Bacsák telekkel szomszédosan, amelyen egy vendégfogadójuk is állt – az ismereteink szerinti egyik legrégibb szerdahelyi vendégfogadó. S az udvarházzal szemben, az utca másik oldalán állt a zsinagóga, amely mellett jobbra megint csak a Bacsákok épületei helyezkedtek el.
Az új, Fehérnek nevezett kastély már emeletesnek épült, földszinti helyiségei boltívesek voltak, kertjének főutca felöli részét két kis körbástya (rondella) határolta, téglafallal kerítve. A hátrafelé húzódó, parkos udvar jobb felében a cselédség lakásai, bal felében pedig az istállók és a gazdasági épületek húzódtak. A város legszebb épületei között tartották számon, 1849-ben az átvonuló osztrák csapatok parancsnoka is ebben az épületben szállt meg. Vélhetőleg neve is új és szép, takaros voltjáról ragadt rá, nem pedig színéről.
A 19. században a nemesi család elhagyja a városkát, s gazdát is cserél a kastély: az 1800-as évek végén már a Sárga kastélyt is birtokló Habermann család tulajdonában találjuk, akiktől 1910-ben Wosner Vilmos vette meg. A kastély előkertjének rondelláit 1920-ban bontották le, mintegy jelképesen, Trianon évében.
1957-től Dunaszerdahely város tulajdonába került az épület, ahová 1964–70 között a Csallóközi Múzeum költözött. Röviddel aztán a múzeumnak a Sárga kastélyba átköltöztetése után – miután a kommunista városvezetés „lelakatta” a Fehér kastélyt és életveszélyessé nyilvánította – lebontották, hogy helyére új postát építsenek.
A Fehér kastély értelmetlen lerombolásakor még ott díszelgett oromzatán kőből kifaragva a Bacsákok családi címere, amelyet 1626-ban II. Ferdinánd királytól nyert el a család: kék mezőben zöld hármashalom, ezüst nyíllal átlőtt arany szárny, két zöld pálma között, amely felett jobbra néző lovagi sisak látható. A sisakdíszt és a koronán nyugvó zöld babérkoszorút pedig egy páncélos kar tartotta…
Nagy Attila helytörténész