Najprawdopodobniej przed powstaniem XIV-wiecznego zamku istniał na tym miejscu drewniany gródek, który miał zabezpieczać granice kraju przed najazdami Czechów. Kazimierzowska budowla w krótkim czasie została rozbudowana do rozmiarów dużej warowni. Zamek kilkakrotnie przechodził z rąk do rąk. Początkowo należał do koziegłowskich Lisów, później, od XV wieku, do Myszkowskich. W ich czasach nastąpiły znaczne zmiany wyglądu budowli, która zyskała dwie dodatkowe kondygnacje oraz znacznie wyższą niż dotychczas wieżę.
W 1587 zamek zdobyty został przez arcyksięcia Maksymiliana Habsburga, pretendenta do tronu polskiego. Od tego czasu rozpoczął się proces stopniowego podupadania warowni.
W wieku XVII po Myszkowskich byli tutaj panami przedstawiciele kolejnych rodów: Korycińskich i Męcińskich. Po zniszczeniach w czasie potopu szwedzkiego zamek coraz bardziej popadał w ruinę, aż w końcu XVIII wieku został opuszczony. Ruiny były systematycznie rozbierane przez mieszkańców okolicznych wsi, którym kamień posłużył do budowy domów.
Co ciekawe, w czasach komunizmu niszczejące ruiny zamku nie zostały formalnie przejęte przez państwo. Coraz gorszy stan obiektu, stwarzającego zagrożenie dla zwiedzających, spowodował, że w ostatnich latach ogrodzono go. Równocześnie rodzina Laseckich, obecnych właścicieli, podjęła się prac nad zabezpieczeniem ruin. Docelowo warownia ma być udostępniona dla turystów. W zrekonstruowanych pomieszczeniach znajdzie się między innymi muzeum.
Szlakiem Orlich Gniazd można stąd dojść do pobliskiego zamku w Bobolicach lub wędrować w inne atrakcyjne rejony tej części Jury. Kierując się tą najbardziej znaną jurajską trasą w stronę Krakowa, w niespełna kilka godzin dojdziemy w rejon Góry Zborów oraz zamku w Morsku. W kierunku Częstochowy Szlak Orlich Gniazd w niecały dzień drogi doprowadza natomiast w rejon doliny Wiercicy.
