Il palazzo, disegnato nel 1628 da Baldassarre Longhena per la ricchissima famiglia Pesaro e coerentemente compiuto da Antonio Gaspari nel 1710, è tra i più grandiosi edifici affacciati sul Canal Grande e tra i massimi capolavori del barocco veneziano. I prospetti sul Canal Grande e sul rio delle Due Torri, ricchi di statue e fantasiose decorazioni, sono illuminati dal candore della pietra d’Istria. Precede l’ingresso da terra sulle fondamenta Ca’ Pesaro il tardotrecentesco palazzo Agnusdio, con bella pentafora ornata da bassorilievi del XIV-XV secolo.<br>Nel 1830 la famiglia Pesaro si estinse e la sua cospicua raccolta d’arte (nota da documenti d’archivio) si disperse in vendite all’asta. Giunto in proprietà alla duchessa Felicita Bevilacqua La Masa, il palazzo fu lasciato alla sua morte, nel 1899, al Comune di Venezia a esplicita condizione che fosse impiegato a vantaggio dei «giovani artisti ai quali è spesso interdetto l’ingresso nelle grandi mostre». Due anni prima la collezione municipale d’arte moderna era stata avviata con un nucleo di opere donate dal principe Giovannelli, in coincidenza con la seconda Biennale d’Arte.<br>Nel 1902 il Comune di Venezia designò Ca’ Pesaro quale sede permanente della Galleria internazionale d’Arte moderna. Al terzo piano di Ca’ Pesaro, invece, è sistemato il Museo d’Arte orientale.