Xiang Ji es originario de Xiaxiang, con el nombre de cortesía Yu. Tenía veinticuatro años cuando comenzó la rebelión. El tío de Xiang Ji es Xiang Liang, y el padre de Xiang Liang es el general Chu Xiang Yan, quien fue asesinado por el general Qin Wang Jian. La familia Xiang ha sido general del estado de Chu durante generaciones y se le concedió el título de Xiang Di, de ahí su apellido.
Cuando Xiang Ji era niño, una vez aprendió a escribir y leer, pero dejó de aprender sin éxito. También aprendió a manejar la espada, pero también fracasó. Xiang Liang estaba muy enojado con él. Pero Xiang Ji dijo: "La escritura sólo se puede utilizar para recordar nombres; el manejo de la espada sólo puede derrotar a una persona, por lo que no vale la pena aprenderlo. Quiero aprender a derrotar a diez mil personas. Entonces Xiang Liang le enseñó a Xiang Ji el arte de". Guerra, y Xiang Ji era muy bueno en eso. Estoy feliz, pero acabo de aprender un poco sobre el arte de la guerra, pero no estoy dispuesto a aprenderlo hasta el final. Xiang Liang estuvo una vez implicado en un crimen y fue arrestado y encarcelado en el condado de Yue (yuè, Yueyang). Le pidió a Cao Jiu (yuàn, deseo), el carcelero del condado de Qi (qí, Qi), que le escribiera una carta de intercesión. el carcelero de Yueyang, Sima Xin, el asunto quedó resuelto. Más tarde, Xiang Liang mató a otra persona. Para evitar a sus enemigos, él y Xiang Ji huyeron juntos al condado de Wuzhong. Los talentosos académicos-burócratas del condado de Wuzhong no son tan capaces como Xiang Liang. Siempre que había una corvee a gran escala o un funeral importante en el condado de Wuzhong, Xiang Liang a menudo actuaba como anfitrión y utilizaba en secreto arreglos militares para organizar a los invitados y a los jóvenes para que comprendieran sus talentos. Cuando Qin Shihuang visitó el condado de Kuaiji y cruzó la provincia de Zhejiang, Xiang Liang y Xiang Ji fueron a verlo juntos. Xiang Ji dijo: "¡Ese hombre, puedo reemplazarlo!" Xiang Liang rápidamente se tapó la boca y dijo: "¡No digas tonterías, mataré a todos!". Pero Xiang Liang sintió que Xiang Ji era inusual. Xiang Ji medía más de dos metros y medio de altura, era lo suficientemente fuerte como para levantar un caldero y tenía más talento que la gente común. Incluso los jóvenes locales de Wuzhong le tenían miedo.