Después de que Xin Qiji fue degradado, se retiró a la orilla del lago de Xinzhou (ahora Shangrao), provincia de Jiangxi, y vivió una vida de agricultura y pesca en la costa, y se llamó a sí mismo Jiaxuan. Esto significa que si quieres tener suficiente comida y ropa, tienes que hacerlo tú mismo. Durante este período, lo que Xin Qiji no pudo olvidar más fue la restauración de las Llanuras Centrales. No fue hasta once años después, en el tercer año del reinado de Shao Xi (1192), que Xin Qiji, de 53 años, fue encarcelado en Fujian.
Sin embargo, dos años después, el amonestador Huang Ai le acusó de ser "cruel, codicioso y notorio", y el tribunal le ordenó no defenderse, hacer las maletas y marcharse. Sin embargo, la corte imperial no fue tan autoritaria. Si no se le permite defenderse, por supuesto se le impondrá una sentencia leve y se le permitirá ir al templo Chongyou en la montaña Wuyi, prefectura de Jianning, para lanzarse a la batalla. Fue un funcionario tan pequeño el que fue acusado por Cheng Helian en la censura imperial un año después. El motivo del juicio político seguía siendo "crueldad, codicia y notoriedad por adulterio". Xin Qiji no puso ninguna excusa, sino que fue a Guashan, ciudad de Siqi, condado de Qianshan, provincia de Jiangxi, y vivió allí durante ocho años.
Luego llegó el verano del tercer año de Jiatai (1203). A la edad de sesenta y cuatro años, se desempeñó como gobernador de Shaoxing y enviado de Zhejiang East Road. Sin embargo, un año después, fue degradado nuevamente. En junio del primer año de Xi (1205), fue designado para la Mansión Longxing (ahora Nanchang, Jiangxi). Apenas un mes después de asumir el cargo, alguien lo acusó falsamente de ser "lujurioso y codicioso de dinero, lujurioso y codicioso de dinero" y lo destituyó de su cargo por promover el concepto de lealtad.