La fortificazione sorge sul mitico promontorio di Scilla, in posizione dominante il mare e la città. Costruita nel 1533 da Paolo Ruffo su preesistenti fortificazioni risalenti il IX secolo, presenta pianta molto irregolare dovuta al sovrapporsi di edifici di epoche diverse; dal cortile interno un grande scalone porta alla residenza baronale