Foto za: www.be.wikipedia.org
Klucz żyrmuński wniosła w dom mężowski żona Mikołaja Faustyna Radziwiłła, Barbara Zawiszanka. Mikołaj Faustyn zapoczątkował linię na Zdzięciole i Berdyczowie. W dziejach Żyrmun Radziwiłłowie upamiętnili się dwojako. Najpierw fundacją drewnianego kościoła, wybudowanego w 1788 r. według projektu ich nadwornego architekta Jana Podczaszyńskiego, a następnie założeniem rezydencji. Fundator świątyni, Stanisław Radziwiłł (syn Mikołaja Faustyna i Barbary Zawiszanki) zmarł w Żyrmunach na rok przed jej wykończeniem, został pochowany w jej podziemiach w 1787 r. Zapewne wcześniej od kościoła rozpoczął wznoszenie zespołu pałacowo - parkowego, czego również nie dokończył. Według akt dekanatu lidzkiego z 1784 r. w Żyrmunach znajdował się „pałac murowany, przy tym pałacu kancelaria murowana, otynkowano jeszcze dwa inne budynki drewniane".
W 1939 r. pałac został splądrowany. Po II wojnie światowej mieściła się w nim szkoła i mieszkania. Później kompleks został zaniedbany. Dziś pozostałością po założeniu pałacowym są ruiny.