Kirkegårdens ældste gravsten, smuk og velbevaret, er et tidstypisk klassicistisk monument af sandsten, rejst ` til minde om den værdige religionslærer Peter Holst, født d. 10. februar 1776, død d. 24. august 1832, sognepræst i Kalundborg af hans taknemlige efterladte´.
Et monument, der hylder 1800-tallets filosofiske idealer om klarhed, harmoni og balance, udført i respekt for en kunstnerisk tradition med rødder i den græsk-romerske mytologi. Gengivet i billeder, benyttede myterne sig af symboler, som eksempelvis de springende delfiner, der ses på monumentet for Peter Holst. Både i græsk-romersk mytologi, som i den kristne billedkunst, er delfinen symbolet på en frelser. I græsk mytologi tager delfinen de dødes sjæl på ryggen, og fører dem frelste til Apollons tempel i Delfi. Et navn som er i familie med `delfin´, der kommer af det græske `delphys´ - livmoder.
Født ind i en familie af norske teologer, er udsmykningen på monumentet over Peter Holst en naturlig følge af slægtens traditioner. Hans far, Christian Holst, var fra 1782 til 1807 sognepræst i Trinitatis Kirke i København og et andet familiemedlem, Peder Nicolai Hansen Holst, var i perioden 1730-1735 kappelan – `missionslærer´ - som kirkens kateket. Her blev de kommende præster undervist i den kristne tro ud fra en pædagogisk filosofi, der med begreber som inklusion, bevægelse, motorik og social interaktion, trækker tråde frem til nutiden.
Peter Holst fulgte familietraditionen og fungerede som kateket ved Trinitatis Kirke fra 1801 til 1807. En stilling, der blev springbræt til hans første embede som sognepræst ved Sct. Mortens Kirke i Næstved, opført i begyndelsen af 1200-tallet. I 1823 fik Holst embede ved kirkerne Hvedstrup og Fløng, begge opført i perioden 1130 til 1150. I 1826 tiltrådte han embedet ved Vor Frue Kirke i Kalundborg, hvor han i perioden 1828 frem til sin død i 1832 også fungerede som provst for Arts, Skippinge og Løve Herreder.
Monumentets inskription `den værdige religionslærer´ beskriver dækkende den åndsretning Peter Holst brugte sit liv på at udbrede. Som tilhænger af den kirkelige rationalisme, stræbte han efter, at give bibelske undere en naturlig forklaring, ved at afvise enhver tro på noget, der overstiger den menneskelige fatteevne. Indsatsen fik stor anerkendelse fra datidens førende teolog, professor Jens Møller, der kaldte Peter Holst `en af Almueskolevæsenets Theorie og Praxis i Sandhed fortjente mænd. En af Rationalismens meest erklærede Tilhængere hertillands´.