Kallion laella on suurin, kolmekymmentä metriä pitkä luola tai oikeastaan tunneli, jolla on kaksi suuaukkoa. Länsirinteessä on vierekkäin kaksi kallioon koverrettua luolaa. Niiden luota ylös vuoren laelle johtaa kallioon louhittu seitsemän metriä syvä, henkeäsalpaavan ahdas rotko, jonka leveys on paikoin vain vähän toista metriä. Luolien katosta ja juoksuhautojen seinämistä voi irrota lohkareita, joten niihin ei pidä mennä.
Rakennelmat ovat muinaismuistolain suojelemia. Mustavuori kuuluu valtakunnallisesti arvokkaisiin rakennetun ympäristön kohteisiin. Varsinaista asutusta Mustavuorella ei ole ollut, mutta juoksuhaudoissa oli metsien miesten majakylä 2000-luvun alkuun asti. Mustavuoren itä- ja kaakkoisreunalla on ollut kalkkikivilouhos 1700-luvulla. Kaakkoiskulmalla oleva louhoskuoppa on täyttynyt vedellä ja muodostunut lammeksi.