Il magnifico palazzo fu costruito sopra una precedente fortificazione per il cardinale Alessandro Farnese, nipote di Paolo III; la sua realizzazione cominciò nel 1559, seguita dall'architetto "di fiducia" della famiglia, Jacopo Barozzi da Vignola. Il vastissimo parco, con giardino a terrazze, alberi secolari e fontane, si divide in Giardini di sotto e Giardini di sopra. La parte inferiore risale alla sitemazione del Vignola e vi si trovano due giardini segreti cinti da mura e collegati al piano nobile del palazzo; i giardini divisi dalle siepi sempreverdi con alberi da frutta; si possono ammirare ancora oggi la grotta dei satiri (giardino d'inverno) e le fontane del pastore e di Venere (giardino d'estete). Il settore alto del giardino fu realizzato, invece, nel 1584 da Giacomo Del Duca (Vignola era morto nel 1573); vi si trova un ripiano con la fontana del giglio, a bacino, e due padiglioni a volta che preparano l'ingresso a due scale affiancate separate dalla cosiddetta «catena», formata da una serie di delfini che gettano, su conchiglie, l'acqua proveniente dalla grande fontana dei fiumi. Più in alto è il piazzale delle Cariatidi, ove sorge la Palazzina, detta del Piacere, con duplice arioso loggiato adorno di pitture, sempre di Del Duca e d'ispirazione vignolesca, già rifugio estivo del cardinale Alessandro Farnese.