En 1296, se abrió un mercado en lo que ahora es "Castle Square" y Sheffield se convirtió en una pequeña ciudad comercial. En el siglo XIV, Sheffield ya era famosa por la producción de cuchillos. En los Cuentos de Canterbury de Chaucer se menciona que en 1600 Sheffield se había convertido en un importante centro de producción de cuchillería en Inglaterra, supervisado por el Harlemshire Cutlery Guild. De 1570 a 1584, María Reina de Escocia estuvo encarcelada como prisionera en el Castillo de Sheffield y en Sheffield Manor.
Los Cuentos de Canterbury es un retrato de Chaucer, un peregrino a Canterbury en la década de 1740, gracias a la invención de la tecnología del acero al crisol, que podía producir acero de mejor calidad que antes. Al mismo tiempo, inventó la tecnología de recubrir una fina capa de plata fundida sobre lingotes de cobre para producir vajillas plateadas, comúnmente conocidas como "vajillas Sheffield". Estas innovaciones permitieron a Sheffield convertirse en una ciudad industrial. Sin embargo, durante la guerra contra Francia a finales de 18 y principios de 19, la pérdida de algunos mercados de exportación importantes en el continente europeo condujo a una depresión económica urbana. La peor ocurrió en 1832, cuando una epidemia de cólera mató a 402 personas. La Revolución Industrial revivió Sheffield en el siglo XIX. Debido al crecimiento demográfico, la ciudad se incorporó como municipio en 1842 y recibió un estatuto municipal en 1893. La afluencia de población creó la necesidad de agua potable, por lo que se construyeron muchos embalses nuevos en las afueras de la ciudad. La presa de uno de los embalses falló en 1864, provocando inundaciones en Sheffield que mataron a 270 personas y destruyeron gran parte de la ciudad. El aumento masivo de la población también ha llevado a la formación de grandes áreas de densos barrios marginales, junto con los contaminantes emitidos por las fábricas. George Orwell escribió en 1937: "Creo que es justo llamar a Sheffield la ciudad más fea del viejo mundo".
La recesión económica de la década de 1930 se detuvo temporalmente en vísperas de la Segunda Guerra Mundial debido a la tensa situación internacional. En ese momento, la acería de Sheffield comenzó a suministrar armas y municiones para el esfuerzo bélico. Pero también significaba que si estallaba la guerra, la ciudad sería blanco de bombardeos. El peor bombardeo ocurrió en 1940, en las noches del 12 y 15 de febrero (ahora conocido como Sheffield Blitz). Más de 660 personas murieron y innumerables edificios quedaron destruidos.
En las décadas de 1950 y 1960 de la posguerra, muchos barrios marginales fueron demolidos y reemplazados por proyectos de vivienda como Park Hill Apartments. Se han despejado grandes zonas del centro de la ciudad para dar paso a un nuevo sistema de carreteras. La mayor automatización y la competencia extranjera han provocado el cierre de muchas plantas siderúrgicas. La década de 1980 marcó el punto más bajo del declive industrial de Sheffield (así como de muchas otras partes del Reino Unido), con la huelga de los mineros británicos de 1984/5 (1984-1985) como punto más bajo. En 1990, la construcción del centro comercial Meadowhall en el emplazamiento de una antigua fábrica de acero tuvo sus pros y contras: creó un gran número de puestos de trabajo pero también aceleró el declive del centro de la ciudad. Cuando la ciudad fue sede de la Universiada de 1991, lanzó un plan de revitalización urbana y construyó una serie de nuevos recintos deportivos, como el Sheffield Arena. Ahora la ciudad está cambiando rápidamente y las partes decadentes de la ciudad han sido reconstruidas. Uno de los proyectos, Heart of Urban Planning, completó muchos proyectos de obras públicas en el centro de la ciudad: la restauración del Ayuntamiento de Sheffield en 1998. La Millennium Gallery se inauguró en abril de 2001, Sheffield Winter Gardens se inauguró el 22 de mayo de 2003 y Millennium Square, un espacio público que conecta los dos lugares, se inauguró en mayo de 2006. Sheaf Plaza abrió sus puertas el 5 de junio de 2006 y el 22 de febrero de 2006, con entretenimiento callejero y exhibiciones de fuegos artificiales. Se están planificando otros planes ambiciosos bajo el tema general de One Sheffield, donde todo el centro de la ciudad se remodelará para convertirlo en un distrito comercial de edificios altos y bajos, cuya finalización está prevista para finales de 2006.