Il nome del palazzo deriva dal lebbrosario dedicato a san Giacomo che sorgeva sul sito prima che Enrico VIII vi costruisse la magione in stile Tudor. Il Gatehouse (1532), ingresso fortificato al centro della facciata, è ciò che rimane di questa antica costruzione. Gli Stuart vi abitarono, ma solo dopo l'incendio di Whitehall nel 1698 divenne residenza ufficiale della Corte, fino al trasferimento a Buckingham Palace. Vi abitò Lady D brevemente nel 1996, anno del divorzio dal principe Carlo, il quale la mantenne come residenza per sé e per i figli fino al 2004. Oggi viene utilizzata dalla Princess Royal (la principessa Anna) e da altri membri minori della famiglia regnante. Nell'Ambassadors' Court è Clarence House (ingresso a pagamento su prenotazione, agosto-settembre 10-17.30), costruita da Nash nel 1825-27. Già dimora della regina madre fino alla morte (2002), il palazzo è oggi residenza del principe di Galles e Camilla, duchessa di Cornovaglia. Da Marlborough Road si entra nel Friary Court, cortile da cui viene proclamato il nuovo sovrano e da cui si accede agli appartamenti del St James's Palace (non visitabile) e alla Chapel Royal (visite ottobre-Pasqua durante le funzioni delle 8.30 e delle 11.15), appartenente al sovrano (Royal Peculiar) e non al vescovo. L'edificio, costruito da Enrico VIII verso il 1540, conserva il soffitto originario, attribuito a Holbein. Il coro della cappella, composto da sei Gentlemen Choristers e dieci Children Choristers, ha tradizioni antiche: illustri, tra gli organisti, Tallis, Byrd e Purcell; Händel ne fu il compositore ufficiale. Appartenente al sovrano è pure la dirimpettaia Queen's Chapel (Pasqua-luglio, funzioni domenicali delle 8.30 e delle 11.15), costruita nel 1623-27 da Inigo Jones per la promessa sposa di Carlo I, la cattolica Infanta Maria di Spagna (ma Carlo poi sposò Enrichetta di Francia); una Sacra Famiglia di Annibale Carracci è custodita nel presbiterio.