Li Yu, de 67 años, regresó a Hangzhou en el año 16 de Kangxi (1677), a excepción de Mustard Garden y Yiyuan. Con el apoyo de los funcionarios locales, Li Yu compró la antigua casa de Zhang al pie norte de Wushan y comenzó a construir un "jardín en capas".
Pero no son jardines reales. Porque, en agosto del tercer año de Shunzhi en la dinastía Qing (1646), el ejército Qing capturó Jinhua, "Wucheng capturó la esquina suroeste y en tres días la gente cayó como lluvia". Li Yu, derrotado por la fama, la riqueza y la guerra, regresó a su ciudad natal y vivió en Lixia. El tribunal de Qing emitió una orden para afeitarse el cabello y, dondequiera que vaya, debe dejar su cabello y su cabello intactos. Aunque Li Yu estaba muy insatisfecho con esta atrocidad que hirió el orgullo nacional, aun así se afeitó la cabeza para salvar su vida y se llamó a sí mismo un "esclavo loco". Escribió: "Hagamos lo mejor que podamos para reparar las tumbas e ir al campo. Después de dejar a los soldados en la casa, viví al lado del campo de batalla. Se apagaron algunas luces y ¿quién es la familia de carne y hueso? Deja que los demás hablen y te consuelen. Vive un año tranquilo por ti mismo ". Por lo tanto, es imposible para Li Yu.
Participa en la construcción de los jardines reales.