Il nucleo originario risale al XV° secolo, edificato sotto l'impulso della famiglia Roffeni, i cui domini erano fra i più antichi ed estesi in Bologna e confini.
La documentazione relativa a tale edificio risulta molto più reperibile e puntuale giungendo al tempo della proprietà degli Scarani, famiglia di origini mercantili dedita al commercio della seta in Italia e all'estero, che nel 1700 ne operò un imponente ampliamento sotto la direzione di Giuseppe Antonio Torri nell’intento di testimoniare l'ascesa sociale della famiglia.
Il palazzo, oggi come allora, si sviluppa complessivamente su 7 piani, compresi l'interrato e il sottotetto.
Il pian terreno si affaccia sulla via mediante un portico ad arcate con volte a crociera e colonne ottagonali con basi e capitelli di macigno. All'interno, un grande cortile è fiancheggiato da logge selciate, in parte coperte a botte e in parte tassellate, attorno alle quali erano distribuiti ambienti di nobile pregio anche affrescati, oltre ai rispettivi disimpegni e servizi ai quali tre cortili minori permettevano di accedere dall'esterno.
A tramontana del cortile maggiore vi era un suolo prativo di forma triangolare che portava nel vicolo; a levante si trovavano tre rimesse ed una scuderia a 10 poste con fienile. A ponente, delimitata da apposito spazio recintato su vicolo Otto Colonne, vi era una grande ghiacciaia.
Una scala monumentale, affiancata da altre quattro minori, dava accesso ai piani superiori: al primo si alternavano logge, atrii, anticamere, terrazze e disimpegni con eleganti soffitti a volta.
Il piano secondo contava 28 ambienti, con soffitti tassellati, che ricalcavano quelli sottostanti.
Anche i sotterranei erano formati da 28 vani con annesse lavanderie e cucine, locali coperti con volte a crociera.
Nel 1856 il palazzo venne ereditato per metà dal Collegio dei Poveri Vergognosi; a tale Istituto pervenne anche l'eccezionale quadreria ivi esistente, tutt'oggi conservata nella sede dell'Opera Pia dei Vergognosi in via Marsala n. 7.