Kalvehave Færgegårds historie går sandsynligvis helt tilbage til de tidligste beboelser efter istiden og stenalderen, idet der er gjort talrige fund af flinteredskaber i hele området, ligesom der er fundet rester af bopladser og møddinger i langs kysterne og i det lave vand. Stedet har ligeledes været brugt som overfartssted til Møn, da det jo ligger, hvor afstanden er den korteste mellem øerne.
I år 1304 nævnes navnet Kaluehaghæ eller Skånningehafn om bebyggelsen. I hele Middelalderperioden fandt de store sildefangster sted i hele Øresundsområdet, og navnet Skånningehafn vidner om, at der her som i områderne ved København og i Skåne gjordes store fangster af sild, som blev saltet og lagt i de store tønder. Man påstod jo, at sildene fandtes i så store mængder, at hvis man stak en åre i vandet, ville den blive stående lodret, så tæt stod stimerne. Silden var jo den vigtigste ernæring for store dele af befolkningen i dagligdagen. Man spiste sild morgen, middag og aften og ikke mindst i fastetiden, da danskerne jo var katolikker frem til reformationen i 1520’erne. Sildefangsterne har utvivlsomt været en god indtægtskilde for beboerne og købmændene.
Færgefarten mellem Kalvehave Færgegård og et færgeleje på Møn ved Koster udvikledes gennem årene med stadig større både og til sidst med motorfærger, der kunne medbringe biler og andre køretøjer. Der blev ligeledes anlagt hoteller med overnatningsmuligheder på begge sider. Men kun på Sjællandssiden udvikledes der et bysamfund ikke mindst, da man omkring 1890’erne besluttede man at anlægge en jernbane, en privatbane ejet af kommunerne Vordingborg, Øster Egesborg og Kalvehave, mellem Kalvehave Færgegård og Vordingborg.
Jernbanen havde spor helt ud på havneanlægget i tilslutning til færgefarten fra færgelejet i Kalvehave og til Koster færgelejet på Møn. Man udskibede bl.a. roer til sukkerfabrikken, der var bygget i Stege i slutningen af 1800 tallet. Det var oprindelig meningen, at jernbanen skulle videreføres på Møn, men det blev aldrig gennemført.
I 1930’erne blev der bl.a. som beskæftigelsesarbejder bygget broer overalt i Danmark. I 1936 blev Lillebæltsbroen indviet og i 1937 Europas længste bro Storstrømsbroen. Man påbegyndte også i slutningen af 30’erne ”Mønsbroen” eller ”Dronning Alexandrines Bro”, som den rettelig hedder. Trods udbruddet af 2. Verdenskrig fortsattes byggeriet, og i 1943 blev broen indviet i overværelse af dronning Alexandrine.
Ligeledes i 1930’erne anlagde man ”Statens Veterinære Institut for Virusforskning” på Lindholm, og det gamle færgeleje kunne nu anvendes til den færge, der sejlede køer og andre dyr over til fremstilling af først og fremmest vaccine mod ”Mund- og klovsyge”, der med mellemrum hærgede store dele af Europa. Instituttet har stadig stor betydning for forskning af forskellige former for dyresygdomme og udvikling af vacciner.
I en årrække lå en lille virksomhed på havnen. En tangfabrik, hvor man samlede tang, dvs. tørret ålegræs, der så blev brugt til fyld i madrasser. De gamle røde cykelskure er rester af fabrikken.
Havnen har gennem årene først og fremmest været havn for fiskerne, der har landet ål og rejer og andre spisefisk, men i de senere år har den med anlæggelsen af Marinaen i 1970’erne og 80’erne mere været hjemsted for fritid og turisme, med kun få erhvervsfiskere tilbage.
