Alla torre normanna (XI·XII secolo), formata da tre sale sovrapposte, vennero annessi gli altri edifici a partire dal XV secolo, a seconda delle esigenze baronali; quando nel 1943 re Vittorio Emanuele III riparò a Brindisi con Pietro Badoglio, fissò la propria residenza in questo fortilizio.