L’imponente e scenografico complesso fu costruito in varie fasi, a partire dal secondo decennio del XII secolo, allorché vennero realizzate per iniziativa dei Malaspina alcune delle torri del mastio: la grande torre è costruita in trachite rosa chiaro; alla base il bugnato è in conci di trachite rossa. Due successivi ampliamenti portarono il castello a raggiungere un perimetro di 300 m, intervallato da sette torri poligonali e quadrate, racchiudendo una superficie di oltre un ettaro. Altre importanti modifiche furono decise a partire dal 1468 e portarono alla costruzione di spalti per il posizionamento di armi da fuoco. Dagli spalti del castello si ha uno straordinario panorama sui tetti del centro storico, sulle cupole delle chiese e sul corso del Temo fino al mare.