После того, как семья Орловых-Давыдовых в 1920-х годах эмигрировала во Францию, в летней резиденции действовал элегантный ресторан-отель, военная лётная школа, и даже продуктовый магазин, однако с 1989 года там действует Эстонский исторический музей. Расположенный за комплексом глинт Маарьямяги протяженностью примерно 4,5 км впервые был взят под охрану 11 мая 1938 года, и затем вновь 22 мая 1992 года. Известняк – эстонский национальный камень, и на высоком уступе, сформировавшемся на возвышении Маарьямяги, можно наблюдать отчетливые обнажения горных пород кембрийско-ордовикского периода. Относительная высота уступа не превышает 30 метров, абсолютная высота – 47 метров.
В месте, которое сейчас известно как Маарьямяги, в 1811 году торговец Йохан Готтлиб Клеменц построил фабрику по производству сахара. Это дало месту новое народное название – Сухкрумяги, или Сахарная горка. Самое примечательное обнажение на глинте Маарьямяги по сей день носит название обнажения Сухкрумяги. В 1837 году по распоряжению нового владельца фабрика была переделана в спиртовую фабрику, которая сгорела в 1869 году. В 1873 году петербургский граф Анатолий Владимирович Орлов-Давыдов построил на этой территории летнюю резиденцию, которую назвал Мариенбергом, видимо, в честь своей супруги или дочери (обеих женщин звали Мария). Название на эстонский манер – Маарьямяги – вошло в употребление в конце 1930-х годов.
