In passato il Castello visconteo era costituito da un ampio recinto fortificato, di forma quadrata, cui Gian
Galeazzo, il figlio del fondatore, aggiunge nel 1392, sul lato verso la campagna,
una cittadella per l'alloggiamento delle truppe stipendiate. Le due parti della struttura sono separate
dal fossato della cinta medievale. Questa originaria costruzione, molto simile al Castello di Pavia,
anch'esso voluto da Galeazzo II e iniziato nel 1360, lascia tracce ancora oggi riconoscibili nella parte
del
Castello Sforzesco
rivolta verso il parco. Il basamento in pietra grigia era quello voluto da Galeazzo
Visconti e dai suoi successori, pagato, come ci rivelano le notizie d'archivio, anche con il contributo
imposto alle città sottomesse dai Signori di Milano; a Bergamo e al suo contado, per esempio, spetta nel
1392 il pagamento di 346 braccia della costruzione.