El fundador del templo Lingyin fue el monje antillano Huili. En los primeros días de Xianhe en la dinastía Jin del Este, viajó desde las llanuras centrales a Zhejiang y luego a Wulin (ahora Hangzhou). Cuando vio el pico de una montaña, suspiró: "Esta es una pequeña cresta en las Nueve Montañas de Zhuguoling, Zhongtian. No sé cuándo apareció. Cuando el Buda estaba vivo, estaba mayoritariamente oculto por los dioses". Construyó frente al pico y construyó un templo llamado Lingyin. Con solo escuchar el nombre sabes que está escondido en la montaña y tiene un ambiente tranquilo.
Qian Liu, rey de Wuyue en las Cinco Dinastías, pidió al maestro Yongming que le concediera el nombre de Nuevo Templo Lingyin. Durante el período Jiading del emperador Ningzong de la dinastía Song, el templo Lingyin era conocido como una de las "cinco montañas" del budismo zen en el sur del río Yangtze. Durante el período Shunzhi de la dinastía Qing, el maestro zen Lingyin Abbot recaudó fondos para reconstruirlo. Se necesitaron 18 años para construir el templo y su escala fue considerada "la más grande del sureste".