På kredslæge J.S. Møllers initiativ, blev der i 1901 holdt stiftende generalforsamling i foreningen Kalundborg Folkebogsamling. Byrådet besluttede, at overdrage skolebiblioteket til foreningen og stillede et lokale på Rådhuset til rådighed.
Biblioteket blev startet på ren privat basis og for private midler. Det årlige medlemskab var på to kroner. `Arbejdere og ligestillede dog kun én krone´.
Biblioteket blev startet på ren privat basis og for private midler. Det årlige medlemskab var på to kroner. `Arbejdere og ligestillede dog kun én krone´.
Foreningen arbejdede ihærdigt på at få etableret en læsestue med et håndbibliotek, og det lykkedes først i 1911-12, da man lejede et lokale i Højskolehjemmet, der lå centralt placeret i byen, midt på Kordilgade. Her blev pladsen hurtigt for trang og i 1914 lejede foreningen et lokale til en læsestue i Gyths Gård, Torvet 12, med udlånet placeret en snes meter derfra i Den Røde Skole.
Gaver og indkøb fik samlingen til at vokse og udlånet steg, da elever på Teknisk Skole, Handelsskolen og Ungdomsskolen fik gratis adgang. Fra 1918 kunne alle gratis erhverve sig et lånerkort.
Med den stigende interesse for bogsamlingen måtte foreningen indse, at det var nødvendigt at finde et lokale med mere plads, og ansætte en bibliotekar på fuld tid.
skolelærer Søren Sørensen Haugstrup, blev Kalundborg Biblioteks første bibliotekar.
Først efter vedtagelsen af biblioteksloven i 1920, blev Kalundborg Folkebogssamling til et egentligt folkebibliotek med egne lokaler i Ole Lunds Gård, hvor skolelærer Søren Sørensen Haugstrup, blev Kalundborg Biblioteks første bibliotekar.
Året efter indvielsen i Ole Lunds Gård overtog biblioteket udlånet af kommunens børnebogssamling. I 1924 overtog biblioteket samlingen, der i 1926 blev forstærket med en særlig læsesal for børn.
S.S. Haugstrup var bibliotekar frem til sin død i 1931, hvor han efterfulgtes af sin datter Ellen Haustrup, der var ansat på biblioteket frem til 1933.