Il complesso fu costruito a inizio Cinquecento, dopo l’insediamento nel castello dei luogotenenti veneziani: il corpo centrale è infatti cinquecentesco, ma la definitiva sistemazione avvenne solo a inizio Settecento, durante il patriarcato di Dionisio Delfino, che affidò l’incarico a Domenico Rossi e chiamò a lavorarvi anche il giovane Giambattista Tiepolo. Dall’ingresso principale si accede all’atrio e allo scalone coronato dalla Cacciata dal paradiso degli angeli ribelli, la prima opera che Tiepolo eseguì al suo arrivo a Udine, nel 1726. Il piano nobile del palazzo è oggi sede del Museo diocesano d’Arte sacra e Gallerie del Tiepolo.