Nel 1810, Ottavio Tosio volle unire tre fabbricati di proprietà in unico palazzo. Il figlio Paolo, affidò quindi il progetto ai maggiori architetti ed artisti dell’epoca quali Rodolfo Vantini, Luigi Basilesi, Gabriele Rottini e altri. Grazie al gusto raffinato della contessa Paolina, divenne sede culturale dell’élite bresciana; e venne quindi istituita una ricca raccolta di opere antiche e moderne che rimane un unicum del collezionismo Ottocentesco in Lombardia.

Con la morte del conte, l’11 gennaio 1842, le collezioni vennero donate al Comune per l’allestimento di una Civica Galleria; nel 1846 la vedova Tosio conferì al Comune anche il palazzo purché restasse sede della galleria (dal 1851 al 1906). Nel 1906 l’intera collezione venne trasferita in palazzo Martinengo da Barco, dando vita all’attuale Pinacoteca Tosio Martinengo, mentre nel 1908 Casa Tosio divenne la sede dell’Ateneo di Brescia, Accademia di Scienze Lettere e Arti.

Dopo il 1815, Rodolfo Vantini, grande pittore, architetto ed ingegnere di origine bresciana, incaricato dal conte Tosio, si dedicò per più di un decennio alla realizzazione di un progetto che riunisce elementi precedenti, neoclassici e del romanticismo-barocco. Una lunga facciata con due corpi laterali di tre finestre, portali principale e secondario, dove il muro bugnato dà maggior solidità alla struttura stessa.

L’androne d'ingresso e il bel porticato cinquecentesco, appartenenti al precedente Palazzo Maggi, come pure le sale adiacenti vennero mantenute; quella a sera in cui la volta fu affrescata in stile cinquecentesco da un noto quadraturista, accompagna le belle colonne con fine trabeazione, quella a monte presenta un bel camino a zampa di leone di grande eleganza e fine trabeazione e sulla volta è raffigurata su stucco l’Aurora con la Pace.

Il fondale del cortile, sobrio ed elegante, in stile vantiniano, è a due piani; il primo imponente dove il bugnato incornicia gli usci e la bella fontana di forme perfette, mentre il secondo si allontana con l’area balconata e due nicchioni decorativi.

Dal portico si accede con un semplice scalone alla galleria dei busti e alle elegantissime sale di forma quadrata e ovale, pensate di non grandi dimensioni così da contenere ognuno piccoli scrigni di tesori. Tra queste ricordiamo la cappella privata, la galleria raccolta e illuminata dall’alto e il bel salottino con la statua in marmo in onore di Eleonora d’Este.