A mediana edad, Charlie Wilson dejó su pintura y se dedicó a la construcción del Museo Pierre, que él mismo diseñó en Filadelfia. El primer museo popular del mundo que cubre arte, naturaleza y ciencia, las exhibiciones incluyen pinturas de Pierre y su familia, así como especímenes de vida silvestre. Pierre descubrió estos animales él mismo y creó una forma única de hacerlos parecer más vivos. Una de las exhibiciones más famosas es un enorme esqueleto de un elefante extinto que fue excavado en una granja en Nueva York en 1801 por Pierre.
Los tres hijos de Charlie Peel también son famosos. Raphael Pierre se especializó en bodegones de flores, plantas y queso. Su hermano mayor, Rembrandt, estudió con su padre y pintó muchos retratos de personajes famosos, incluido uno de George Washington. Otro hermano, Rubens Speer, era bueno pintando paisajes y figuras. El hermano de Charles Peel, James Peel, era bueno haciendo retratos pequeños, y su hija Sarah Milly Ampere fue la primera retratista en la historia de Estados Unidos.