L'attuale edificio, di proprietà privata e quindi non visitabile negli interni, sorge per decisione di Orazio conte Cavazzi della Somaglia, che nel 1688 decide di edificare la propria residenza su resti di costruzioni più antiche.

L 'odierna facciata, semplicissima nelle linee e scandita da tre ordini di finestre, è tenuamente illegiadrita da tre balconcini bombati in ferro battuto.

Più complessa e originale risulta l'organizzazione dei volumi del palazzo, che si allestiscono intorno a un cortile porticato su tre lati, di cui quello in fronte all'ingresso, funge da diaframma che introduce scenograficamente al giardino, purtroppo oggi in gran parte distrutto.

Degno di nota è lo scalone realizzato intorno al 1705, e posto sul lato del loggiato che separa i due cortili interni, con quattro rampe ad andamento obliquo. Gli affreschi che ornano le volte del vano della scala, sono invece assegnabili al quadraturista Francesco Natali, con la collaborazione nelle parti figurate di Roberto de Longe e della sua scuola (I metà del XVIII sec.).