Схема построения мавзолея, включенного в здание замка Сант-Анджело еще в средние века, в основном осталась неизменной. Здание стоит на огромном четырехугольном основании, длина каждой стороны которого - 89 метров, а высота - 15 метров. На этом основании установлен цилиндрический барабан высотой 21 метр, обнесенный радиальными стенами. Сверху этого барабана насыпан огромный земляной холм, усаженный деревьями, а по его краям установлены мраморные статуи. Снаружи здание облицовано лунным камнем (вид мрамора) с табличками, вмонтированными по всей окружности стены, на которых указаны имена и титулы тех, кто был погребен внутри мавзолея. Погребальная комната, расположенная в самом центре массивного барабана, - квадратная по форме с тремя прямоугольными нишами. В этой комнате помещались урны с пеплом императоров.

Возможно уже в 403 году император Гонорий включил это здание в бастион оборонительной стены Аврелиана. Став крепостью, оно в 537 году подвергалось осаде со стороны готов под предводительством Витига. Его преобразование в замок произошло в Х веке. Сегодня замок представляет собой мощную крепость на квадратном основании с четырьмя круглыми башнями по углам, носящими имена апостолов : Св.Матфея, Св.Иоанна, Св.Марка и Св.Луки. Во времена понтификата Бенедикта IX на основании был установлен цилиндрический корпус, повторяющий схему построения мавзолея Адриана. Дальнейшие изменения были привнесены в замок во времена правления пап Александра VI и Юлия II. При последнем в верхней части замка, как обрамление апартаментов папы, была построена лоджия.