Brivio fu nel V sec. un importante centro religioso (vi si rinvenne nel 1888 una preziosa capsella argentea paleocristiana), in seguito capopieve (960) e castrum in vicinanza a un guado cui riconduce il toponimo, dalla radice celtica «briva» (passaggio). Il Castello, di cui restano in piazza Carlo Frigerio e nell'attigua via Sala tre torri angolari e parte della cortina, fu dei vescovi di Bergamo e dei Colleoni; ricostruito dai Veneziani dopo il 1445, passò nel 1538 al conte Girolamo Brebbia.