Drumsö var privatägt ännu i början av 1900-talet. Ägaren, kommerserådet Julius Tallberg, grundade ett sommarhussamhälle på ön och öppnade en badstrand med kasino vid Hästskoviken, dit man kunde ta sig med hästdragen spårvagn från färjepiren. Det lilla Café Mutteri vid foten av Drumsö bro är en rest från färjeförbindelsens tid.
Under Krimkriget byggdes befästningar längs öns södra stränder. Vid den östra änden av befästningsvallen på Hallonnäs, på det som kallas Ryssudden, står en luftvärnskanon från det senaste kriget. Bredvid den finns en gammaldags badinrättning av trä, som används av ett simsällskap. Från 1920-talet var den södra stranden en populär folkpark, där Helsingforsborna kunde tälta. Senare byggdes små sommarstugor, som fortfarande används.
Vid Kvarnberget verkade ett luftvärnsbatteri under vinter- och fortsättningskriget. En av de sex luftvärnskanoner som användes under fortsättningskriget avtäcktes som minnesmärke år 1980.
Drumsö havsbad 1920. Bild från E. A. Hellmanns samlingar, Helsingfors stadsmuseum, fotograf okänd.