Pihlajasaarten pohjoispuolella sijaitsevan Lasimestarinsaaren laajoja kenttiä ja sileää kalliota käytettiin pyydysten levittelyyn. Kalastajien talo oli merikapteeni A.F.J. Brennerin (1813-1870) käytössä 1840-luvulta alkaen. Brenner ja taidemaalari ja lintututkija Magnus von Wright linnustivat yhdessä lähisaarilla.
Brennerin kuoleman jälkeen kaupunki vuokrasi läntistä Pihlajasaarta huvilatonteiksi. Vuonna 1883 valmistuneessa Villa Hällebossa toimii nykyään ravintola Pihlajasaari. Vuokrasopimusten päätyttyä saaresta tuli kansanpuisto 1929. Itäinen Pihlajasaari liitettiin mukaan 1950.
Pihlajasaarille rakennettiin ensimmäisen maailmansodan aikana linnoitteita. Niitä käytettiin talvi- ja jatkosodassa ilmatorjuntajärjestelmän osana. Nykyistä telttailualuetta reunustava betoninen suojarakennelma on kuitenkin pääosin jäänne Nobel-Standard-yhtiön suurista bensiinisäiliöistä.
Sivun pääkuvassa Elannon henkilökuntaan kuuluvat naiset ovat kevätjäillä helatorstaina vuonna 1956. Pihlajasaaressa sijaitsi Elannon konttorihenkilökunnan kesähuvila.
Pihlajasaari, uimarantaa 1963, kuva Helsingin kaupunginmuseo, Constantin Grünberg.