Początki zamku nie są dokładnie znane. Pierwotnie mogła istnieć tu drewniana warownia, wzniesiona z początkiem XIV w. i należąca do rodu Toporczyków, którzy przybrali także nazwisko Morskich. Zapewne mieli oni na sumieniu grabieżczy proceder, za co Władysław Łokietek odebrał im tutejsze ziemie, przekazując wieś Morsko w 1327 r. klasztorowi w Mstowie. Nie mamy pewności co do tego, że istniał tu wówczas zamek. Możliwe, iż obiekt obronny powstał podczas wznoszenia innych Orlich Gniazd - za czasów Kazimierza Wielkiego - ale także tutejsza warownia mogła być dziełem księcia Władysława Opolczyka. Pierwsze wzmianki o zamku pochodzą z 1390 r., gdy należał on do Mikołaja Strzały. Tutejsze ziemie wielokrotnie zresztą przechodziły z rąk do rąk. Gruntowną rozbudowę na przełomie XVI i XVII w., a być może nawet wybudowanie od nowa, zamek zawdzięczał rodowi Włodków. Już jednak w w. XVII (po najeździe szwedzkim) forteca zaczęła popadać w ruinę.
XX wiek przyniósł z sobą szereg dziwacznych pomysłów. Jeszcze przed wojną właściciel terenu, architekt Witold Czeczott, korzystając z materiału pozyskanego z murów zamku wybudował tu dom mieszkalny. W czasach PRL teren przekształcono w ośrodek wypoczynkowy, szpecąc ruiny nowymi budynkami oraz konstrukcją wyciągu narciarskiego.
Zachowany w postaci ruiny zamek „Bąkowiec” wzniesiony został na planie nieregularnego wieloboku. Kamienna brama, po której pozostały do dziś fragmenty, wprowadzała na niewielki dziedziniec, który otoczony był murem i czworokątnymi pomieszczeniami położonymi po przeciwległych stronach. W narożnikach znajdowały się baszty pełniące rolę obserwacyjno-obronną. Fortyfikacje zamku były bardzo trudno dostępne - dotrzeć tu można było jedynie przez system pomostów i drabin.
