Il castello era sede dei marchesi di Massa. Dall'ampio cortile dove erano ospitate le cannoniere è possibile accedere al palazzo residenziale, attraversando una cortina muraria sovrastata da una loggetta dai caratteri tardorinascimentali. Le decorazioni pittoriche, per la massima parte risalenti ai restauri del primo dopoguerra, sono state riproposte sull'analisi di alcuni frammenti pittorici originali conservatisi in alcuni punti della facciata meridionale. L'ala orientale del palazzo è disposta su tre livelli. Le sale più interessanti del piano terreno si trovano nell'ala meridionale, dove si svolgeva parte della vita mondana dei marchesi. Le camere da letto dei feudatari e degli ospiti erano collocate al primo piano dell'ala nord-est del palazzo. Al secondo piano dell'ala meridionale è attualmente visibile un grande salone. Questo edificio, che conserva al secondo piano una interessante decorazione a strisce, venne privato nel 1603, in seguito alla costruzione del baluardo, della facciata principale rivolta verso il mare.