Ferguson creció en Govan, un barrio pobre de Glasgow. Govan fue una vez el quinto municipio más grande de Escocia y no se incorporó a Glasgow hasta 1912. Era una ciudad importante para la industria de la construcción naval. En 1958, a la edad de 16 años, Ferguson se unió a Queens Park, el club de fútbol más antiguo de Escocia, y comenzó su carrera como delantero. Como el equipo siempre se atuvo al principio de un club de fútbol puramente amateur, también trabajó como aprendiz en Clyde Dockyard.
En 1960, Ferguson jugó en el St Johnstone como jugador semiprofesional y anotó un hat-trick en un partido contra el equipo de su infancia, el Glasgow Rangers. En 1964, fue cambiado a Dunfermline y firmó oficialmente como jugador profesional.
En 1967, Ferguson fichó por el Glasgow Rangers por una transferencia récord de 65.000 libras entre dos equipos escoceses de la época. En la final de la Copa de Escocia de 1969, el Glasgow Rangers perdió 0-4 ante Cenicienta. Ferguson fue degradado al equipo juvenil porque fue acusado de ser responsable de uno de los goles encajados y luego abandonó el equipo enojado.
En octubre del mismo año, no se trasladó a Nottingham Forest porque su esposa no estaba dispuesta a ir a Inglaterra. En cambio, se unió a Falkirk, durante el cual fue nombrado jugador y miembro de la selección. director del equipo. En 1973 se incorporó al Ayr United como semiprofesional y puso fin a su carrera como jugador tras una temporada a la edad de 32 años.