Al centro del paese, fu costruito da Ascanio della Corgna nel 1563 inglobando una palazzina di caccia appartenuta ai Baglioni. La costruzione a L (poi ampliata dal cardinale Fulvio, fratello di Ascanio) con ingresso rialzato su una doppia rampa bugnata era in origine cinta da un bellissimo giardino, ammirato per le decorazioni floreali e ortofrutticole, di cui poco rimane. L'aspetto è quello della dimora gentilizia destinata a esemplificare stili di vita e gusto decorativo del tempo, specchio delle fortune politiche ed economiche della famiglia. La decorazione a fresco che si svolge nelle sale, dovuta a Niccolò Circignani con l'aiuto di Giovanni Antonio Pandolfi, volta alla celebrazione del casato, è tra le più pregevoli testimonianze del tardo manierismo in Umbria.<br>Il piano terreno era la parte 'segreta' del palazzo, usata come luogo di svago e cenacolo intellettuale; qui sono le pitture più raffinate, tra cui le curiose storie del mondo alla rovescia (nella prima sala) forse eseguite da Salvio Savini.<br>Dove un tempo si stendevano i giardini, oggi si trova il moderno Ospedale, che conserva nella cappella un affresco attribuito a G. Caporali.