Als je enige status genoot in Rome en stierf tussen 24 v.Chr. en 98 n.Chr. werd je hier begraven. In de middeleeuwen werd het gebouw eigendom van de familie Colonna. Blijkbaar vonden ze het leuk om tussen de doden te leven. De familie verstevigde het mausoleum en liet het onderdeel uitmaken van het Castel Sant'Angelo.
Daar kwam in 1167 een einde aan toen het leger van de Commune van Rome ten strijde trok. De familie Colonna viel in ongenade en werd verbannen uit Rome. De verstevigingen werden afgebroken. Later werd de familie weer toegelaten in de stad wat leidde tot een langdurige vete met de familie Orsini. De moraal van dit verhaal? Als je van mensen af wilt, kun je ze maar beter ophangen. Een verbanning is veel te vrijblijvend.