Xuyi es originalmente el nombre de una montaña. Recibió el nombre de la montaña cuando se estableció el condado. Las generaciones posteriores citaron a "Shuowen Jiezi" diciendo: Los ojos abiertos son Xu y la vista directa es Yi. La ciudad está construida sobre una montaña y se puede ver a lo lejos.
Xuyi se estableció como un condado en Qin. Antes del establecimiento del condado, Xuyi era la tierra de Huaiyi. Al comienzo de la dinastía Zhou, los descendientes de Boyi establecieron el estado de Xu en el norte del actual condado de Xuyi, y Xuyi era su territorio. En el período de primavera y otoño, Xuyi se llamaba "Shan Dao" y pertenecía al estado de Wu. Durante el Período de los Reinos Combatientes, Yue destruyó a Wu, y Xuyi pertenecía al Estado de Yue; el Estado de Chu invadió hacia el este y llegó a Sishang, y Xuyi pertenecía al Estado de Chu; Después del establecimiento del condado, la afiliación cambió muchas veces. Xuyi ha estado subordinado a más de 30 condados, países, estados, fuerzas armadas, carreteras, prefecturas, provincias, carreteras y regiones, y ahora pertenece a la ciudad de Huai'an, provincia de Jiangsu. .
Xuyi se encuentra en un lugar estratégico. Durante el período Chu-Han, el rey Huai de Chu estableció su capital en el territorio. Después de la dinastía Jin occidental, el condado de Linhuai, Yanzhou del sur, Yanzhou del norte, Chuzhou del oeste, el ejército de Zhaoxin y Sizhou establecieron sucesivamente el gobierno en Xuyi. Durante las dinastías del Norte y del Sur y la dinastía Song del Sur, Xuyi fue ascendido al rango de condado y militar.
El reino de Xuyi ha sufrido muchos cambios desde la dinastía Jin del Este, pero se mantuvo relativamente estable durante las dinastías Ming y Qing. Durante la República de China, debido a la reubicación del condado de Jiashan y otras razones, el territorio del condado se redujo casi a la mitad. Después de la fundación de la República Popular China, los límites de los condados cambiaron tres veces. En 1985, el área del condado (nueva división) era de 2.482,4 kilómetros cuadrados.
Las divisiones administrativas por debajo del nivel de condado se implementaron en el sistema de municipios y mapas en la dinastía Ming. Fue seguido a principios de la dinastía Qing y luego implementó el sistema de municipios y fuertes. En los primeros días de la República de China, se implementaron los sistemas de distrito y fuerte, y más tarde se implementaron los sistemas de municipio, bao y Jia. Después de la fundación de la República Popular China, se implementó inicialmente el sistema de distritos y municipios, con aldeas por debajo del nivel de municipio. En 1956, las aldeas fueron reemplazadas por cooperativas de producción agrícola avanzada. En 1957, el distrito fue retirado y fusionado con el municipio. En 1958 se formaron las comunas populares y se integraron el gobierno y la sociedad. Debajo de las comunas estaban las brigadas y los equipos de producción. En 1983, se separaron el gobierno y las instituciones sociales y se restauraron los sistemas de municipios y aldeas.