Rekonstrukcja zamku; Foto za: www.m.nashaniva.com
Pierwotny, drewniany zamek został spalony przez tatarów na początku ХVI w. Po kilku latach został on odbudowany na wzniesieniu nad rzeką Łań i trafił w ręce Radziwiłłów w połowie ХVI w., a w roku 1586 stał się siedzibą ordynacji kleckiej. W 1626 r. przeprowadzono lustrację miasta, która opisuje zamek górny i dolny. Zamek górny stanowiły stare umocnienia drewniane wraz z bramą i budynkami gospodarczymi. Natomiast zamek dolny składał się z dwóch bram wjazdowych, 10 wież i budynku mieszkalnego. Należący do Radziwiłłów zamek zostaje zniszczony podczas wojny moskiewskiej w 1660 r. Po tych zniszczeniach budowla została odremontowana, ale w 1706 r. podczas wojny północnej zamek został ponownie zniszczony. Późniejsze opisy dawnego zamku wspominają tylko plac z fosami i dom, w którym mieszkał zarządca miasta.