L'edificio venne costruito a più riprese tra il XV e il XVII secolo; nel cortile spicca la monumentale statua del 'Gigante' (Chiliano di Limburgo, capostipite dei Castro mediano), nell'interno la galleria affrescata e decorata con statue.