Cuando Yu Xia controlaba las inundaciones, el país estaba dividido en nueve estados, y Xuzhou era uno de ellos. En ese momento, "Xuzhou" era solo el nombre de un área económica natural, y Pengcheng se convirtió en la ciudad central de esta área.
Durante las dinastías Qin y Han, Xuzhou era territorio del estado de Chu. Durante la guerra entre Chu y Han, esta fue la capital del Chu occidental. Después de que Liu Bang, el emperador de la dinastía Han, estableciera la dinastía Han Occidental, ésta se convirtió en un feudo para sus parientes. Al final de la dinastía Han del Este, Cao Cao se mudó a Xuzhou y administró Pengcheng, antes conocida como Xuzhou.
En los primeros años de la dinastía Sui, Xuzhou era el condado de Pengcheng. Hasta la dinastía Yuan, no se llamaba Pengcheng, sino Xuzhou. En el año 11 del reinado del emperador Yongzheng de la dinastía Qing (1733), después de que el estado fuera ascendido a prefectura, se estableció el condado de Tongshan y Xuzhou se llamó Tongshan. En 1938, se llamó simplemente Xuzhou. Se estableció oficialmente como ciudad en 1945 y pertenece a Jiangsu.