John Williams nació en Melbourne, Australia, de padre inglés (que fundó la London Guitar School) y madre australiana-china, hija del abogado de Melbourne Mai Xixiang. Estudió con el maestro de guitarra Andrés Segovia y estudió piano en el Royal College of Music de Londres (ya que la universidad no tenía especialización en guitarra). Después de graduarse, la escuela lo invitó a estudiar guitarra y la enseñó durante dos años.
Williams está considerado uno de los guitarristas contemporáneos más importantes, habiendo interpretado y grabado un gran número de repertorio de guitarra clásica. Tuvo una larga colaboración a dúo de guitarras con otro guitarrista importante, Julian Bream. Williams encargó conciertos para guitarra a compositores contemporáneos como Stephen Dodgson, Andrew Previn, Patrick Gowers, Richard Harvey y Steve Gray. También colabora con compositores australianos para componer música que refleje la herencia nativa de Australia.
Williams interpretó el famoso tema Cavatina de la película "The Deer Hunter". Williams se centra en la colaboración y el intercambio con la música pop y otros géneros musicales. A finales de la década de 1970, cofundó la banda de rock "Sky" y grabó música híbrida de rock clásico.