La cerchia quadrata cinta da fossato racchiude il nucleo storico; fu eretto alla fine del sec. XII e conserva in gran parte le rosse cortine (alte in media m 17) con quattro alte torri angolari. Attorno al castello si svolge la Bastia Nuova, con vari edifici dei sec. XVI-XVIII, la vasta piazza del mercato vecchio (oggi piazza Giorgione) e la loggia del Grano (o Paveion), costruita nel '400 per custodirvi le biade e ristrutturata nel 1603.