Edificato probabilmente durante il VII secolo d.C., la sua esistenza è testimoniata già nel X secolo d.C. quando fu devastato insiema alla città dai bizantini. Con la venuta dei normanni, intorno al 1050, fu ristrutturato e fortificato. Nei secoli successivi subì le devastazioni di alcuni catastrofici terremoti. Di esso rimangono una grande torre e poche mura, in parte ricavate dalla roccia e in parte si ergono a picco sui burroni circostanti. Originariamente era dotato di sistemi di canalizzazione delle acque meteoriche, di un grande pozzo, un piccolo oratorio di epoca bizantina, un ponte levatoio sul suo lato orientale, un'ampia armeria, un cortile interno, del quale rimangono alcuni ruderi del colonnato, e altri locali adibiti alle più svariate funzioni. Nella zona antistante il castello vi è un piazzale, denominato "Baglio", forse dal nome del magistrato che nella piazza emetteva le sentenze.