Non compresa nell’originario piano urbanistico di New York (1811), quando venne aperta prese il nome dalla piazza da cui aveva inizio (Madison Square Park) e dal presidente James Madison morto l’anno precedente. Partendo da nord, due edifici significativi segnano l’incrocio con la East 57th Street, il Fuller Building, gioiello art déco del 1928, al N. 595, e l’IBM Building del 1983, al N. 590, con l’ingresso enfatizzato dall’angolo ‘tagliato via’ che lascia come sospeso l’edificio. A seguire, il più eminente (ancorché discusso) palazzo di questo tratto è il Sony Building. Proseguendo verso sud, al N. 488 è il Look Building, costruzione in mattoni bianchi di 23 piani del 1950, considerato il più bell’edificio del periodo e la migliore opera dell’architetto Emery Roth; nonostante il succedersi di diversi occupanti, ha mantenuto il nome del primo, la rivista Look Magazine. Quale dovesse essere l’aspetto delle residenze signorili della Fifth Avenue nell’Ottocento, tutte demolite, è testimoniato nella Madison dalle Villard Houses. Sono invece due banche ad avere sede nei due più recenti grattacieli di Madison Avenue, entrambi opera del gruppo Skidmore, Owings & Merrill: la J.P. Morgan Chase in una torre ottagonale di 47 piani del 2001, al N. 383; la CIBC-Canadian Imperial Bank of Commerce, al N. 300, in una struttura di 35 piani del 2003.