Sul lato sinistro di Whitehall si trova ciò che resta del palazzo omonimo, originariamente residenza degli arcivescovi di York ai quali venne confiscato da Enrico VIII che vi trasferì la dimora reale da Westminster. L'edificio superstite, il salone dei banchetti opera di Inigo Jones del 1619, è di un misurato classicismo ispirato a Palladio ed è rivestito in pietra di Portland. Carlo I commissionò a Rubens, nel 1635 a Londra in veste di diplomatico, i pannelli per il soffitto della Banqueting Hall, che celebrano il regno di Giacomo I e di Carlo stesso. Una targa indica da quale porta quest'ultimo si diresse verso il patibolo nel 1649. Dietro alla Banqueting House è l'enorme agglomerato del Ministry of Defence. Segue la Gwydyr House, del 1772, sede del Wales Office.