Il magnifico castello è costituito dalla residenza del signore (XII-XIII secolo) e, intorno a un vasto cortile, da un quattrocentesco ricetto popolare, sorta di cascina fortificata con torri angolari che, in caso di guerra, accoglieva gli abitanti del borgo. Nel 1465, passato in mano ai Malaspina, il castello ebbe ospiti illustri come Isabella d’Aragona (futura sposa di Gian Galeazzo Sforza), gli imperatori Massimiliano I e Carlo V, il novelliere Matteo Bandello. Alla struttura esterna, dall’aspetto di fortezza, corrispondono ambienti interni da sontuosa residenza cortese. Oggi vi si tengono eventi; visitabile anche l’attigua fattoria. Il poetico nome di Scaldasole deriva da sculdasius, forma latinizzata della parola che indicava il giudice reggitore di una fara, unità produttiva sociale e militare dei longobardi.