La famiglia di ricchi mercanti che dà il nome alla zona acquistò il terreno a metà Settecento realizzandovi una casa e una vasta tenuta agricola. Nel corso degli anni l’area si popolò di costruzioni, tra cui molte rimesse per le carrozze delle residenze sulla Fifth Avenue, convertite poi in ville con giardino. Oggi eleganti case di pietra scura (brownstone) convivono con torri di vetro ed edifici di appartamenti. Il quartiere a est della Fifth Avenue è limitato grosso modo dalla 34th e 42nd Street: lo si visita essenzialmente per la storica Morgan Library.