A könyvtár épülete eredetileg családi háznak épült. Dr. Molnár Lajos és felesége, Seiler Róza építették a 30-as években. A kortársak szerint Majsa egyik legkiemelkedőbb épülete szép és elegáns volt. Molnár doktor nagy tudású ember lévén, a kor legkülönfélébb betegségeit (hastífusz, malária, diftéria) tudta meggyógyítani. Több szülést is levezetett. Fogakat kezelt, lábtörést is gipszelt, sőt kisebb, altatással járó műtéteket is elvégzett itt, ebben az épületben kialakított orvosi rendelőjében.
A zsidóüldözés azonban sajnos őket sem kímélte meg. 1944-ben koncentrációs táborba (Mauthausenbe) hurcolták őket, ahonnan már nem tértek vissza. A visszaemlékezéseket a családról a könyvtár helytörténeti gyűjteményében őrizzük.
Egy ideig az orvosi rendelőben egy Erdélyből jött orvos, dr. Gidófalvi Zacher Pál orvos praktizált. Ezt követően az épület a Magyar Nők Demokratikus Szövetségének a székhelye lett, majd 1950-ben a Magyar Honvédség tulajdonába került és Tiszti Klubot működtetett benne. 1956-ban a klub működtetése átkerült a szovjet parancsnokság irányítása alá. 1957-63-ig (a Művelődési Ház felépítéséig) a Községi Tanács a Kultúrotthont működtette itt.
A könyvtár 13-szori költözés után 1964-ben kapta meg az épületet. A belső terek átalakítása után 1964. április 4-én került sor az ünnepélyes átadásra. Az épület ekkor még nem kizárólagos könyvtári célokat szolgált. A mellékszárnyban működött az MHSZ Lövész Klubja és a Rádiós Klubja, valamint az Ipartestület és egy rövid ideig a Vöröskereszt is. A könyvtár gyűjteménye folyamatosan gyarapodott. Időközben felépült az MHSZ székház és a klubok átköltöztek. Elkészült az Ipartestület székháza is és ekkor már az egész épület a könyvtár használatába került. 1997-ben a Városi Önkormányzat megvásárolta az épületet a Honvédelmi Minisztériumtól. A központi címzett támogatásra sikeresen pályázott. Az épületet korszerűen felújította és kibővítette. 1998. november 18-án ünnepélyes keretek között átadásra került.
