La Torre del Tambor fue reconstruida dos veces en 1699 y 1740. Solía haber un tambor enorme arriba, que se tocaba todos los días para decir la hora, por eso se llamó Torre del Tambor. Después de años de vicisitudes, el tambor gigante desapareció hace mucho tiempo y sólo la torre del tambor permanece en pie.
La Torre del Tambor de Xi'an es la torre del tambor más grande existente en China. El primer piso tiene asiento plano con alero cintura, y el segundo piso se apoya en la cima de la montaña, con doble alero y azulejos verdes. Los aleros y los asientos del edificio están decorados con arcos pintados de color turquesa, lo que hace que la arquitectura general del edificio sea clara y amplia. Las escaleras de ladrillo azul están ubicadas a ambos lados del pilar de ladrillo, y hay escaleras de madera en el lado oeste del primer piso para subir al segundo piso.
En medio del alero sur de la Torre del Tambor, hay una placa dorada con respaldo azul con las palabras "Artes marciales Shengdi", que fue inscrita por Zhang Kai, el gobernador de la provincia de Shaanxi, después de reparó el edificio durante el período Qianlong de la dinastía Qing. En medio del alero norte hay una placa que se escucha en el cielo. Se dice que fue escrito por Li Yunkuan de Xianning. Las dos placas no solo explican la importancia del edificio, sino que también dan un toque final, haciendo que el edificio esté lleno de vitalidad y sea más magnífico.