Alle spalle del Palacio de Liria si trova l’antico cuartel del Conde Duque, costruito nell’omonima calle su progetto di Pedro Ribera nel 1720; si tratta di un bel palazzo di grandi e lineari spaziature rettangolari, tipiche dell’architettura militare dell’epoca (era alloggio per le compagnie delle guardie reali), con corpi articolati attorno a tre consecutive corti (l’immensa piazza centrale e i due corpi laterali) e con dettagli di sorprendente ricchezza barocca di cui è esempio il monumentale ingresso in pietra scolpita. Restaurato per intero nei suoi quasi 60.000 metri quadrati di superficie, è ancora utilizzato solo in parte come polo culturale del comune. Sono attivi un centro per esposizioni temporanee, un teatro-auditorium, una biblioteca e una emeroteca, mentre è di imminente riapertura, con una nuova collocazione all’interno del cuartel, il Museo municipal de Arte Contemporáneo.