Fu residenza ufficiale dei vescovi di Londra fino al 1973, è ora gestito dall'amministrazione locale. Il nucleo originario del palazzo, il cortile chiamato Fitzjames Quadrangle, risale all'epoca Tudor (inizi del XVI secolo); il resto è stato edificato tra il XVIII e il XX secolo. Un piccolo museo illustra la storia dell'edificio ed espone reperti archeologici.