Le diverse proprietà succedutesi dopo i Visconti sembrano essere state molto più interessate alle entrate del feudo che al castello in sè (p.172). Sin dalla metà del secolo XV il castello aveva cominciato ad andare in rovina e la principale causa di degrado è da ricondurre all'infiltrazione di acqua piovana. Dal 1471 al 1547 la descrizione delle condizioni di abbandono e di degrado è eloquente: "in lochi assaissimi strapiove ... fare ricoprire quello castello che strapiove per in zo et marcysse ...buona parte delli tetti sono ruynati". (p.171). Per 76 anni molti locali del castello furono dunque soggetti ad un pesante processo di degrado. I lavori di riparazione degli anni 1548, 1549, 1554, 1556 e 1570 "furono di portata limitata...di straordinaria manutenzione...con l'obiettivo principale di riadattare all'uso vari ambienti, di evitare ulteriori danni alle strutture dell'edificio e di renderlo abitabile con maggiore sicurezza" (p.173). In generale si riteneva inutile tentare di salvare tutto il castello e si proponevano interventi soltanto sulle parti meno deteriorate (p.172). Nei primi decenni del Seicento, in occasione del conferimento del titolo di marchese al proprietario Ambrogio D'Adda, fu realizzato un altro importante lotto di lavori, per i quali esistono una relazione e una pianta del castello particolarmente interessanti soprattutto per la documentazione relativa alle trasformazioni di alcuni locali . Gli interventi di manutenzione eseguiti negli ultimi cento anni tuttavia risultavano di scarso rilievo: "alcuni rappezzamenti nelli soffitti e neli lochi abitati" (p.174). Degli interventi documentati che seguirono nel corso del XVII secolo, degno di nota è quello riportato in una relazione del 1662 in cui si descrivono le trasformazioni di una parte dell'edificio e si fa esplicito riferimento all'imbiancatura delle pareti di varie stanze. Altri interventi di cui purtroppo non esiste traccia documentaria sono quelli del 1702 e quelli susseguitisi nel corso del secolo XVIII (Sant'Ambrogio 1895:p.38;cfr.Albini-Cavalieri 1986:p.176). Stessa lacuna documentaria esiste per quanto concerne l'abbattimento dei merli ed il successivo cambiamento di livello dell'imposta dei tetti. Tali trasformazioni dovrebbero essere avvenute nel corso del XVIII secolo, quando il castello prese la fisionomia di una cascina e perse ogni connotato difensivo o di residenza nobiliare (pp.60-61,176). Se fino alla metà del secolo XVII il castello di Pandino, era ancora un elemento di grande spicco benchè in rovina, dagli inizi dell'Ottocento, con la sua destinazione ad uso civile e produttivo, iniziarono le trasformazione che portarono intorno al 1840 al tentativo di demolizione "d'un'ala esterna" (p.179). Nonostante il tempestivo intervento del governo per la sospensione dei lavori nel 1840 risultavano mozzate le due torri occidentali, e nella medesima occasione era stata portata a termine la rovina del corpo di fabbrica fra esse compreso, con l'esclusione del portico e del loggiato (Sant'Ambrogio 1895:p.10). Dopo circa un secolo di utilizzo improprio con attività industriali ed agricole e di danneggiamenti, nel 1890 furono ripristinate quasi tutte le bifore (deformate nel corso del Seicento) e restaurate le finestre del corpo di fabbrica orientale e probabilmente anche alcune delle fronti nord e sud (p.180). Il 1 maggio 1912 il castello di Pandino venne dichiarato monumento nazionale e l'edificio concesso in affitto al Comune nel 1820, rimase abitato sino al 1847, quando esso diventò di proprietà comunale. Gli interventi di restauro iniziarono nel 1950-51 con la sistemazione delle coperture e proseguirono con il restauro dei soffitti e di alcune finestre. Nel 1956 fu realizzata la sede dell'amministrazione comunale e fu ricostruita l'ala occidentale quasi completamente distrutta nel XIX secolo. Nei primi anni Sessanta furono restaurate le ali settentrionale e orientale, con un totale rifacimento dei tetti e la sistemazione definitiva delle finestre; furono abbattute le pareti che ostruivano gli archi antichi del salone e costruiti nuovi tramezzi e soffitti. Negli anni Settanta gli interventi furono concentrati sull'ala meridionale e vennero pulite e restaurate alcune stanze del piano superiore (p.182). L'attività conservativa a cura dell'Amministrazione Comunale, della Soprintendenza ai monumenti di Verona prima e della Soprintendenza per i beni ambientali e architettonici di Brescia poi, proseguirono negli anni Ottanta e sono tuttora in corso.