Fatto erigere nel 1470 da Pirro del Balzo, signore di Venosa, è una costruzione a pianta quadra con torri angolari cilindriche, un tempo utilizzate come segrete per i prigionieri; fu trasformato intorno alla metà del ’500 (bastioni e loggia nel cortile) e nei sec. XVII-XVIII (ala nord-ovest). Oltre alla Biblioteca comunale, ospita il Museo archeologico nazionale che espone materiale del territorio venosino e un lapidarium con iscrizioni latine ed ebraiche.