L'Archivio di Stato di Bologna fu istituito nell'ottobre del 1874, dopo un lungo dibattito, iniziato ancor prima dell'Unità d'Italia, cui contribuirono gli ambienti culturali cittadini ed in particolare la Deputazione di Storia Patria, guidata da Giovanni Gozzadini, presidente, e Giosuè Carducci, segretario. Argomenti principali del dibattito erano l'opportunità di concentrare in un unico luogo di conservazione i diversi nuclei documentari disseminati nel territorio urbano e la fisionomia da dare a questo immenso patrimonio; problema non secondario era poi quello della sede per il nuovo istituto archivistico, che si richiedeva spaziosa, ma anche adeguatamente prestigiosa e simbolicamente rappresentativa. Interpreti principali della discussione furono Francesco Bonaini, già soprintendente generale degli archivi toscani, e Luciano Scarabelli, letterato ed erudito piacentino, autori di due importanti relazioni sullo stato e le necessità degli archivi cittadini.
Tuttavia l'ordinamento che la documentazione effettivamente assunse una volta riunita nell'Archivio di Stato si deve a Carlo Malagola, funzionario e figura culturale di grande spessore, subentrato nel 1882 ad Enrico Frati, primo direttore dell'Archivio. L'ordinamento di Malagola, ancora oggi ben riconoscibile nella struttura archivistica della documentazione bolognese, recepiva in gran parte le proposte di Bonaini, allontanandosene però a proposito del cosiddetto "diplomatico", la raccolta di pergamene che a Bologna non venne istituita, a differenza di quanto era accaduto a Firenze. Quasi tutte respinte furono invece le proposte di Scarabelli, che suggeriva un ordinamento tematico-geografico della documentazione: l'Archivio bolognese, in cui fondi e serie venivano ricondotti il più possibile alla loro situazione originaria, finiva così per rappresentare un esempio di applicazione particolarmente rigorosa del metodo storico-istituzionale.
Il problema del luogo di conservazione fu risolto con uno scambio di uso gratuito fra lo Stato e il Comune di Bologna: il Demanio cedeva al Comune l'uso dell'ex-convento dei Celestini, in cui venne ospitata la Scuola di applicazione per gli ingegneri, ed il Comune concedeva allo Stato l'uso dei locali dell'antico Ospedale della morte, contigui alla Biblioteca dell'Archiginnasio e destinati ad ospitare, oltre all'Archivio di Stato, il Museo Civico. Era una scelta densa di significati simbolici e culturali, dato che in un solo edificio si riunivano le principali testimonianze del passato cittadino, in campo bibliografico, archeologico, documentario: un "tempio storico" che realizzava gli auspici della Deputazione di Storia Patria, mettendo a disposizione della città, prima ancora che degli studiosi, uno straordinario patrimonio di memoria.
Già ai primi del Novecento, tuttavia, quella sede si rivelava del tutto insufficiente, soprattutto in relazione all'incremento della documentazione contemporanea, e quindi, dopo alcuni anni di nuovi dibattiti e progetti, nel 1940 iniziava il trasferimento dell'Archivio nella sede monumentale che tuttora occupa. Completata solo nel 1962, l'operazione esprimeva un progetto conservativo e scientifico totalmente nuovo: i vasti depositi, allestiti ristrutturando i locali dell'ex-convento dei Celestini, erano destinati ad accogliere tutta la documentazione ritenuta meritevole di essere tramandata ai posteri, compresa quella postunitaria in precedenza emarginata e pressoché condannata alla dispersione. Nella sua nuova sede inoltre, l'Archivio perdeva quasi del tutto i suoi connotati museali, di tempio delle memorie storiche, proponendosi invece di conservare, nelle migliori condizioni possibili, il maggior numero di documenti, per metterli a disposizione di studiosi e ricercatori.