Il palazzo fu progettato nel 1565 da Giorgio Vasari come infermeria dei Cavalieri di S. Stefano.<br>Fu realizzato fra 1605 e 1607 unendo due torri preesistenti, quella del Comune e quella della Muda.<br>Quest’ultima è detta Torre della Fame, perché qui furono rinchiusi a morire d’inedia (1289) il capitano del popolo Ugolino della Gherardesca, assieme ai figli e ai nipoti. La tragedia è accennata da Dante Alighieri nel XXXIII canto dell’Inferno.