Antes de que el emperador Qianlong de la dinastía Qing sucediera en el trono, se construyeron cuatro grandes jardines reales en los suburbios occidentales de Beijing. En el decimoquinto año del reinado de Qianlong (1750), el emperador Qianlong gastó 4,48 millones de taels de plata para reconstruir el jardín Qingyi en memoria de su madre, la emperatriz Xiao, formando un área de jardín real a 20 kilómetros desde el campus de Tsinghua hasta Xiangshan. En el décimo año del reinado de Xianfeng (1860), las fuerzas británicas y francesas incendiaron el jardín Qingyi. Fue reconstruido en el año 14 de Guangxu (1888) y rebautizado como Palacio de Verano como parque de atracciones de verano. En el año veintiséis de Guangxu (1900), el Palacio de Verano fue destruido por las "Fuerzas Aliadas de los Ocho Poderes" y todos los tesoros fueron saqueados. Después de la caída de la dinastía Qing, durante el período de guerra entre caudillos y gobierno del Kuomintang, el Palacio de Verano fue nuevamente destruido.
El 4 de marzo de 1961, el Palacio de Verano fue anunciado como una de las primeras unidades de protección de reliquias culturales clave a nivel nacional. Junto con el Chengde Summer Resort, el Jardín del Administrador Humilde y el Jardín Liuyuan, que se anunciaron al mismo tiempo, también se le conoce como los Cuatro Jardines Famosos de China y se incluyó en la Lista del Patrimonio Mundial en junio de 1998. El 8 de mayo de 2007, el Palacio de Verano fue aprobado oficialmente por la Administración Nacional de Turismo como atracción turística nacional 5A. En 2009, el Palacio de Verano fue seleccionado por la Asociación China de Récords Mundiales como el jardín real más grande existente en China.