Stożkowate, zalesione wzgórze, na którym widnieje charakterystyczna wieża zamku, prawdopodobnie było zamieszkałe jeszcze przed naszą erą. Zdają się to potwierdzać wykopaliska archeologiczne w postaci grotów włóczni. Zamek w Smoleniu stał zapewne już w XIII wieku, skoro z kronik wynika, że budowla obronna w tym miejscu (zapewne drewniana) zniszczona została podczas walk Władysława Łokietka z Wacławem, królem Czech, w 1300 roku.
W połowie XIV wieku nowa, murowana warownia, wzniesiona została prawdopodobnie przez Ottona z Pilczy herbu Topór. Początkową bryłę zamku stanowiła niewielka kamienna budowla z wysoką wieżą. Później obiekt systematycznie się rozrastał poprzez dobudowywanie dwóch zamków dolnych.
Na przełomie XIV i XV wieku panią na Smoleniu była Elżbieta Pilecka-Granowska, trzecia żona Władysława Jagiełły. Na przełomie XV i XVI w. w należącym do Pileckich zamku przebywał Biernat z Lublina, pełniący tutaj funkcję kapelana oraz prywatnego lekarza i sekretarza pana zamku, Jana Pileckiego. Z listów Biernata wiemy o istnieniu na zamku w Smoleniu bogatego księgozbioru.
Kolejnymi właścicielami, po Pileckich, stali się w XVI wieku Padniewscy. Bogaty i potężny ród potrzebował jednak znacznie bardziej okazałej rezydencji, dlatego też wkrótce właściciele Smolenia przenieśli się do Pilicy, gdzie postawili sobie nowy zamek.
Opuszczona warownia w Smoleniu ucierpiała znacznie w czasie potopu szwedzkiego. Planowano przeznaczenie jej na klasztor, co jednak nie doszło do skutku. W połowie XIX wieku zamek został kupiony i częściowo odbudowany przez Romana Hubickiego, który założył tu znana fabrykę śrutu „Batawia”.
W XX wieku prowadzono na zamku prace zabezpieczające oraz wykopaliska archeologiczne. Zimą 2010 roku, w wyniku złamania kilku drzew przy jednoczesnym złym stanie murów, doszło do uszkodzeń zamku.
Wzgórze zamkowe zbudowane z wapieni jurajskich objęte jest rezerwatem przyrody. Zbocza wzgórza porasta las z przewagą buka, graba i modrzewia. W rezerwacie występuje kilka gatunków roślin chronionych.
