Mi Fu sirvió en el ejército de Wuwei durante más de dos años, desde julio del tercer año de Chongning (1104) hasta el otoño y el invierno del quinto año de Chongning (1106). Después de que Mi Fu dejó el cargo y murió, Wuwei construyó el templo Mi Gong en el antiguo sitio de Baojinzhai como monumento conmemorativo.
Yuanzhai fue destruido por un incendio y reconstruido dos veces en el segundo año de Wanli en la dinastía Ming y el primer año de Qianlong en la dinastía Qing. En el año treinta y siete del reinado de Qianlong, el magistrado del condado Zhang Gongqiao copió la imagen de Chen Hongshou de adorar la piedra y la grabó en la estela; en el año treinta y nueve de su reinado, el magistrado del condado Zhang Kunyu fundó Baishixuan, Barco de Caligrafía y Pintura; Y el Pabellón Xiangyue, y lo inscribió para él mismo. En el primer año de Xianfeng en la dinastía Qing, fue destruido por un incendio. Durante el reinado de Guangxu Dingzhou, Wang Jun, el magistrado del condado, lo renovó y construyó tres templos Migong con la puerta en el medio y tres habitaciones en las alas a la izquierda y a la derecha de la piscina. El exterior está decorado con paredes de tierra y el centro está separado por una valla de bambú. Se construye una rocalla alrededor del estanque. Se recogen dos esculturas de piedra, como "Mo Chi" y "Hua Cai", y se trasladan al templo.
Durante la República de China, se construyó una biblioteca del condado en el antiguo emplazamiento. Se ha establecido la Oficina de Gestión de Reliquias Culturales del Condado y cuenta con una colección de más de 100 inscripciones y posdatas de escritores famosos de todo el mundo, incluidos "Dieciocho hijos de la dinastía Tang" en escritura regular del emperador Huizong de la dinastía Song y "Wang Zan" con guión de sello de Mi Fu. Más tarde, debido a un incendio, la mayoría de las reliquias culturales del templo fueron destruidas y las inscripciones recopiladas por Mi Fu habían sido destruidas durante mucho tiempo. Después de la liberación, solo quedaron el Pabellón Touyan, Shibai y algunas inscripciones, que fueron llevadas a Wuwei principalmente por Liu, el inspector general de la provincia de Jiangsu a finales de la dinastía Qing. Antes de la fundación de la República Popular China, una gran cantidad de inscripciones se encontraban esparcidas en sus residencias privadas sin ciudades. En 1950, todos fueron trasladados al templo Mi Gong y conservados adecuadamente. En septiembre de 1981, fue designada unidad clave de protección de reliquias culturales en la provincia de Anhui.
Para proteger mejor este patrimonio histórico y cultural de fama mundial, en junio de 2002, el gobierno del condado de Wuwei lanzó el proyecto de restauración del templo Migong, que se dividió en dos fases. La primera fase del proyecto de restauración del templo Migong consideró plenamente el "Mapa de Mochi" reflejado en las "Crónicas del condado de Wuwei" de Qianlong, adoptó el estilo arquitectónico de la dinastía Qing, construyó los pabellones Baojinzhai y Jushan y restauró Mochi, el pabellón Touyan y otros lugares escénicos. Con una inversión de más de 3 millones de yuanes, el templo Mi Gong restaurado y ampliado cubre un área de 4.000 metros cuadrados. Tiene más de 150 preciosas inscripciones caligráficas, incluidas inscripciones manuscritas de Mi Fu, y ha construido Baojinzhai, Mochi, Touyan. Pabellón, Pabellón Jushan, Manantial Xinghua y otras atracciones importantes. Al mismo tiempo, se construirán nuevos edificios como el Salón de la Fama de Wuwei y la Galería de Monumentos. En la segunda fase, se reubicará la Biblioteca Wuwei, se establecerá un museo, el Salón de la Fama de Wuwei y una sala de exhibición de reliquias culturales, y se restaurará la apariencia original del Templo Mi Gong. Para entonces, los visitantes podrán experimentar personalmente hermosas historias y leyendas como "lanzar una piedra de entintar para detener a las ranas" y "volar para adorar piedras". En noviembre de 2010, se estableció oficialmente el Salón Conmemorativo Mi Fu basado en la restauración y expansión del Templo Mi Gong.