Colin Powell nació el 15 de abril de 1937. En aquella época, su familia vivía en Morningside Avenue en Harlem, Nueva York. El nombre de su padre era Luther Powell, un hombre pequeño optimista y confiado que emigró a los Estados Unidos desde Jamaica cuando tenía unos 20 años. Nunca quiso hablar de su vida en Jamaica con sus hijos, pero admitió que nació en la pobreza y era el segundo entre nueve hermanos.
Luther Powell llegó a Estados Unidos en un barco bananero y posteriormente entró en una fábrica de ropa en Manhattan. Al principio, trabajó en el almacén, luego se convirtió en empleado a cargo de envíos y finalmente se convirtió en capataz del departamento de envíos. Luther Powell nunca dejó que su raza o identidad afectaran su sentido de sí mismo y llegó a este país con las manos vacías. Todas las mañanas tomo el metro para ir al trabajo y no llego a casa hasta las 8 de la noche. Trabajo duro todo el día para mantener a mi familia y educar a mis hijos. Él puede hacer lo que puede, ¿quién se atreve a pensar que es inferior? Así fue como Powell padre se ganó el respeto de sus hijos.
Colin Powell recordó una vez su infancia y dijo: "Mi padre tuvo una gran influencia en mí en ese momento. Aunque solo medía 5,2 pies de altura y hacía un trabajo extremadamente normal, era feliz todos los días. Jaja Cuando llego a casa después del trabajo, siempre camino por la calle desde la estación de metro, vestido con traje, corbata y un sombrero de copa gris claro. Sostengo un periódico bajo el brazo y camino de un lado a otro con el dobladillo de. Mi abrigo abierto. Incitante. Silbó y se detuvo para saludar al tendero, al panadero, al administrador del edificio... a casi todas las personas con las que se cruzaba."
También lo estaba la madre de Colin Powell. Son dos hermanos, pero ella es la mayor. En Jamaica, el estatus social de su familia era ligeramente más alto que el de la familia del padre de Powell, por lo que terminó la escuela secundaria, pero el mayor de los Powell no tuvo tanta suerte. Antes de venir a Estados Unidos, la madre de Powell trabajó como taquígrafa en un bufete de abogados. Fue una firme defensora de los sindicatos y miembro del Sindicato Internacional de Trabajadoras de la Confección. Los padres de Powell eran ambos demócratas al principio. Más tarde, a principios de la década de 1950, Powell padre se volvió para apoyar al Partido Republicano, pero su esposa sigue siendo una demócrata acérrima.
En 1943, cuando Colin Powell tenía 6 años, su familia se mudó al área de Huntsker en el sur del Bronx. Se podría decir que Powell creció en 952 Kelly Street. En aquella época, había muchos judíos en el Bronx, además de irlandeses, polacos e italianos. Debido a que la cuadra de Kelly Street es ligeramente curva, durante muchos años se la llamó "Banana Kelly". En aquella época casi no había vallas en la zona, pero la gente siempre mantenía las puertas y ventanas bien cerradas. Los robos eran frecuentes y el abuso de drogas comenzó a extenderse gradualmente. Por supuesto, el crimen y la violencia no fueron tan malos como lo serían más tarde.
En esos primeros años, Colin Powell tenía poco sentido de pertenencia racial en su mente porque no había problemas de minorías en Banana Kelly. Más tarde, a medida que creció y tuvo contactos sociales más amplios, las cuestiones raciales comenzaron a volverse cada vez más profundas en la mente de Powell. Descubrió que a judíos, puertorriqueños y negros se les lanzaban epítetos raciales que a veces incluso provocaban peleas. Y esto a menudo no es para luchar por "tú eres inferior y yo soy superior", sino simplemente para dar rienda suelta al propio grupo de personas.