Ricostruito sui resti della residenza imperlale che Federico II aveva fatto erigere nel 1223 (dell'antica struttura restano solo un arco di un portale poggiante su due aquile a mo' di mensole - opera di Bartolomeo da Foggia - e una lapide), l'edificio, che del palatium non ha più nulla, ospita il Museo civico.