I giardini sono collegati al Castel Nuovo da un ponte del 1564. Estesi su un'area da sempre tenuta a verde dai regnanti di Napoli (da ammirare in particolare il pluricentenario ficus magnoliensis vicino all'ingresso della biblioteca), tra il 1842 e il 1843 vennero trasformati da Federico Corrado Dehart in un romantico giardino all'inglese con splendide vedute.