Alle prime pendici delle Colline Metallifere, il paese fu sin dal ’300 feudo dei della Gherardesca. La famiglia ne mantenne il controllo di fatto fino al 1749, quando Castagneto divenne comune autonomo.
Al poeta Giosue Carducci, che abitò qui dal 1848 al 1849, sono dedicati un Museo archivio e, dal 1992, il Centro Casa Carducci, con stanze e mobilio d’epoca.
Nella parte alta del paese si trovano il notevole castello della Gherardesca, profondamente rimaneggiato, e un oratorio seicentesco, che conserva un Crocifisso del ’400.