Durante el Período de Primavera y Otoño y el Período de los Reinos Combatientes, Zheng y Han establecieron sus capitales en Xinzheng durante más de 500 años. Durante las dinastías Qin y Han, Zhengzhou comenzó a establecer condados como Xingyang, Gong, Jing y Xinzheng, una vez llegó a ser conocida como la "ciudad más rica del mundo". Más tarde, el condado de Xingyang, el norte de Yuzhou y Yingzhou se establecieron en Zhengzhou en dinastías sucesivas. En el tercer año del emperador Kaidi de la dinastía Sui (583 d. C.), Xingzhou se cambió a Zhengzhou. En el año 16 del reinado de Huangkai en la dinastía Sui (596 d. C.), fue nombrado director ejecutivo del país. Guancheng, como prefectura administrativa de Zhengzhou, se ha convertido en el centro político y económico de Zhengzhou. Después de que Yang Di abriera el Gran Canal y el Canal Tongji, Zhengzhou se convirtió en un importante centro de transporte acuático y terrestre en China. Después de que Bianjing se estableciera como capital de la dinastía Song del Norte, Zhengzhou perteneció a la provincia de Gyeonggi. En el cuarto año de Chongning (1105 d. C.), se construyó como Xifu y se convirtió en uno de los cuatro condados auxiliares de la dinastía Song. A principios de la dinastía Ming, Zhengzhou quedó bajo la prefectura de Kaifeng. Durante la dinastía Qing, Zhengzhou fue ascendido dos veces a la prefectura de Zhili.
A principios de este siglo, debido a la intersección de los ferrocarriles Ping-Han y Long-Hai en Zhengzhou, la industria, la artesanía y el comercio nacionales de Zhengzhou se desarrollaron rápidamente. En 1923, estalló en Zhengzhou la huelga general del "27 de febrero", que conmocionó a China y al mundo y escribió un capítulo glorioso en la historia del movimiento obrero chino. En 1929, a partir de 1931, Zhengzhou abandonó el condado y estableció una ciudad. Zhengzhou se estableció oficialmente el 22 de junio de 1948 y se convirtió en la capital de la provincia de Henan en 1954.