Il borgo marinaro di Brucoli si andò formando in prossimità della fortificazione posta a guardia del «caricatore» che, fin dall'epoca medievale, fu importante sbocco marittimo per il territorio retrostante. Il nucleo originario del castello (una torre quadrata), posto sull'estremità della penisola che chiude, a ovest, il golfo di Brucoli, fu costruito fra il 1462 e il 1467 da Giovanni Çabastida, governatore della Camera Reginale (iscrizione sopra l'ingresso); nel sec. XVI, con il potenziamento delle fortificazioni costiere nella lotta anticorsara, la torre venne circondata da una cinta bastionata e rafforzata da quattro torri angolari.