La facciata principale del palazzo, realizzata in nitide forme neoclassiche da Giuseppe Piermarini prospetta sulla via omonima, mentre un fianco dà sull'attigua piazzetta Dante Alighieri che ha al centro un'ottocentesca statua del poeta. Vi è ospitata l'Accademia nazionale Virgiliana, istituita da Maria Teresa nel 1768 come Reale Accademia di Scienze e Belle Lettere. La biblioteca conserva stampe, incisioni, libri e manoscritti legati all'istituzione e alla storia della città ed espone una collezione di strumenti chirurgici del XVIII secolo.