Il castello di Olmeto subì una prima distruzione nel 1216; nel XIV secolo appartenne ai canonici di S. Maria in Gariverto a Piacenza, e, un secolo dopo, ai Visdomini, che nel 1628 ne furono marchesi.

Anche questo fortilizio subì l’assalto di Pier Maria Scotti. Oggi è un’azienda agricola, ma conserva due torri circolari – benché abbassati –, tracce del ponte levatoio e l’antico oratorio.