Antecedentes históricos: La familia Pan era una familia prominente en Shanghai en ese momento. En el año 32 del reinado Jiajing de la dinastía Ming (1553), se construyó la muralla de la ciudad de Shanghai de nueve millas de largo, que gradualmente sofocó la invasión japonesa en la costa sureste. Frecuentemente amenazado durante más de 20 años, se estabilizó un poco y la economía social se restableció y comenzó a prosperar. Los eruditos-funcionarios construyeron uno tras otro el Jardín Yuyuan, lleno de afecto y naturaleza nutritiva. Para permitir que su padre disfrutara de su vejez en paz, Pan Yunduan comenzó a extraer piedras, cortar estanques, construir pabellones, bambúes y jardines en varias parcelas de hortalizas al oeste de Shichuntang, donde vivía la familia de Pan a finales del período Jiajing de la dinastía Ming. (1559). Después de más de 20 años de arduo trabajo, se construyó el Jardín Yuyuan. "Jade" significa "paz" y "antai", y el nombre "Shanghai Yuyuan" significa "viejos parientes en la luna de jade".
El Jardín Yu, que en aquella época cubría una superficie de más de 70 acres, fue cuidadosamente diseñado por Zhang Nanyang, un famoso jardinero de la dinastía Ming, y participó personalmente en la construcción. Todo el jardín es grandioso en escala y hermoso en paisaje. Los antiguos elogiaron el Jardín Yuyuan como "un jardín único en el Sudeste" y "un jardín famoso en el Sudeste". La familia de Pan Yunduan decayó en sus últimos años. Pan Yunduan murió en el año 29 de Wanli en la dinastía Ming (1601). La familia Pan estaba decayendo día a día y no podía afrontar los enormes gastos de reparación y gestión del jardín. Al final de la dinastía Ming, Zhang Zhaolin adquirió el Jardín Yu.