Il complesso, detto anche semplicemente The Garden, sorge al margine nord di Chelsea. Eretto nel 1968 (la sede originaria, del 1879, si trovava in Madison Square), consta di più edifici, il principale e più famoso dei quali è la Madison Arena, circolare, capace di 20.000 posti e utilizzata per megaconcerti ed eventi sportivi. Tra questi ultimi è leggenda il primo incontro di boxe tra Joe Frazier e Muhammad Ali del 1971: «the Fight of the Century».