Residenza del nobile prelato, ora museo, è costituito da un’ala trecentesca interna e da un corpo quattrocentesco. Tra le decorazioni interne spiccano la Natura morta sotto la loggetta, gli affreschi della camera del Cardinale (1423), e il Paesaggio di Veszprém di Masolino da Panicale che orna lo studio. Quest'ultimo rappresenta il primo caso noto in Italia di pura pittura paesaggistica di grandi dimensioni, priva di rimandi a soggetti sacri o allegorici. La cappella gentilizia del piano terra, dedicata a S. Martino, è decorata con affreschi quattrocenteschi di scuola toscana attribuiti a Lorenzo Vecchietta.