Ya en la dinastía Tang, hubo una generación del maestro zen Chen Xiqian en Gaoyao. Se convirtió en monje bajo el sexto patriarca Huineng. Entre las cinco escuelas Zen posteriores, Caodong, Yunmen y Fayan se originaron en Chen Xiqian.
En la dinastía Song del Norte, Song Huizong amaba la pluma y la tinta, la pintura, la equitación, el tiro con arco y el cuju. Tenía un gran interés por las flores, las rocas, los pájaros y los animales exóticos, especialmente la caligrafía y la pintura. Bajo la influencia de Song Huizong, el mundo entero exudaba una fuerte atmósfera cultural.
En Gaoyao, para atender la tendencia de caligrafía y pintura de ese momento y cultivar los pilares nacionales, se invirtió y construyó Gaoyao Gongxue. Después de muchas renovaciones, la escala es cada vez más completa.