Bisogna entrare nella corte per vedere la costruzione rinascimentale di Claude Gouffier, intendente alle scuderie di Carlo IX. La torretta a destra nasconde una scala che conduceva alla galleria dove era esposta la sua collezione di ritratti di imperatori e di re di Francia. Acquistato dal duca di Mayenne ai primi del ’600, il palazzo fu subito rimaneggiato su progetto di Jacques II Androuet du Cerceau, che ne fece uno dei primi modelli di palazzo con giardino, e di nuovo un secolo più tardi da Boffrand. Dal 1870 è occupato dai Fratelli delle Scuole cristiane.