Anticamente Gragnano era difeso da un castello, di proprietà del Monastero di San Savino di Piacenza, edificato nel XII secolo.

Nel secolo successivo, il castello, che aveva ospitato Federico Barbarossa, fu distrutto da Oberto Pallavicino (1255), poi fu ricostruito e divenne proprietà degli Scotti (1288).

Una leggenda racconta che, nel 1611, Rannuccio I Farnese fece chiudere nelle sue segrete l'amante Claudia Colla e la madre.

Nel 1759 la fortezza fu trasformata da Carlo Douglas Scotti in residenza signorile e, più tardi, arricchita da un parco in stile neoromantico. In origine il castello era composto da tre elementi inseriti uno all'interno dell'altro.

Il primo elemento, di forma rettangolare con ingresso ad occidente e con i lati superiori rivolti a sud e nord, era circondato da un fossato e fungeva da cinta muraria Al suo interno, a sud-ovest, era il secondo elemento, anch'esso a pianta rettangolare con fossato e caratterizzato dalla tipica struttura piacentina a quattro torri angolari circolari.

L'elemento, a meridione permetteva l'accesso alla Rocca, e si distingueva dagli altri due per la pianta quadrata e per la presenza di due torri circolari, rispettivamente sud-ovest ed a nord-est.