Il castello di Pigazzano, posto su una terrazza panoramica, esisteva già nel 1234, quando divenne rifugio di nobili ghibellini e fu attaccato dai guelfi.

Nel 1373 fu presidiato da forze viscontee, che si arresero a quelle pontificie, guidate da Dondazio Malvicini.

Nel 1486 la popolazione di Pigazzano si impegnò a restaurare il fortilizio che all'epoca apparteneva alla famiglia Anguissola, cui rimase fino al 1630.

L'edificio fortificato mostra uno sviluppo planimetrico ad U, morfologia attribuibile alle tipologie della villa con una torre disposta a nord-est. L'ingresso, sul fronte nord-ovest, conduce, attraverso una loggia ad un solo arco ribassato, al cortile delimitato a sud-est da un muro munito di merli.

Attualmente il castello mantiene in parte l'aspetto originale e in parte ha l'aspetto della villa.