La predecesora de NTU se fundó en 1912 y se llamó Escuela Preparatoria de Henan para estudiar en Europa y América. En ese momento estaba en una posición tripartita con la Universidad de Tsinghua (ahora Universidad de Tsinghua) y el Shanghai Nanyang College (ahora Universidad Jiao Tong de Shanghai).
La Universidad de Henan se ha dividido dos veces a lo largo de su historia. Una fue en 1949, siguiendo el ejemplo de la Southwest Associated University al prepararse para trasladarse al sur, y la otra fue en 1952, cuando se reestructuraron los departamentos.
Se dice que un gran río ha creado una gran cantidad de buenas universidades, pero dos ajustes también han debilitado al otrora prominente gran río.