Sintesi in chiave manierista tra il palazzo signorile e la fortezza, fu eretto nel 1563 per volontà dei d'Avalos, feudatari dell'isola dal 1529 al 1729, e in seguito utilizzato come riserva di caccia dei Barbone, scuola militare e quindi, dal 1830, penitenziario.