A principios del Renacimiento, había corridas de toros en el Coliseo. También fue utilizado como hospital. Sólo decayó bruscamente cuando el cardenal Fanel demolió las piedras del Coliseo para construir su propio palacio. El cardenal lo hizo con el permiso de su tío, el Papa Pablo III. El Papa le dio doce horas para retirar y transportar las piedras a voluntad. Farnesio reclutó a 4.000 trabajadores inmigrantes y saqueó innumerables piedras. Otros constructores están haciendo lo mismo. Además del Palacio Farnesio, el Palacio Barberini, el Palacio Veneciano y el Palacio Canche Leiria fueron construidos con piedra caliza del antiguo Coliseo Romano.
El Papa Sicklestus V construyó una fábrica textil sobre las ruinas tras el saqueo. Clemente Xi lo convirtió en una fábrica de bomberos. Finalmente, dedicó el anfiteatro a la memoria de los cristianos mártires y construyó una iglesia auxiliar en una de las arcadas. En 1742, Benedicto XIV hizo instalar puertas y rejas de hierro en el Coliseo porque el sacerdote a cargo de la iglesia fue asesinado.