En 1969, como fundador de las redes neuronales artificiales, Marin M. Insky y Papert publicaron conjuntamente el libro "Perceptron", demostrando que el perceptrón lineal simple tiene funciones limitadas y no puede resolver problemas básicos como este. como XOR, aunque también es pesimista sobre las redes multicapa. Estas controversias han asestado un duro golpe a la investigación sobre redes neuronales. Muchos científicos han abandonado este campo uno tras otro, y la investigación sobre redes neuronales ha llegado a su punto más bajo en 10 años.
De ahí la importancia histórica del algoritmo BP: refutó claramente las opiniones erróneas de Minsky y otros, y fue de importancia decisiva para el segundo clímax de las redes neuronales.
Esto significa el estado y la importancia del algoritmo BP en el campo de las redes neuronales.
El algoritmo BP es el algoritmo de aprendizaje de redes neuronales de mayor éxito hasta el momento. Cuando las redes neuronales se utilizan en tareas reales, utilizan principalmente el algoritmo BP para el entrenamiento [2], incluida la red neuronal convolucional (CNN) bajo el reciente concepto popular de aprendizaje profundo.
La red neuronal BP es un modelo de red neuronal que consta de una capa de entrada, una capa de salida y una o más capas ocultas. Su función de activación adopta la función sigmoidea y el algoritmo BP se utiliza para entrenar una red neuronal de avance multicapa.
El nombre completo del algoritmo BP se llama algoritmo de retropropagación de errores. La idea básica del algoritmo es: en la red de avance descrita en 2.1, la señal de entrada se ingresa a través de la capa de entrada, la salida se calcula a través de la capa oculta y el valor de salida se compara con el valor del marcador. Si hay algún error, el error se propaga desde la capa de salida a la capa de entrada en la dirección opuesta. En este proceso, se utiliza un algoritmo de descenso de gradiente para ajustar los pesos de las neuronas.
La herramienta matemática central del algoritmo BP es la regla de cálculo de la derivada de cadena.
El primer defecto del algoritmo BP es el problema del mínimo local.
El algoritmo BP es esencialmente un descenso de gradiente. La función objetivo que quiere optimizar es muy compleja, lo que resulta en la ineficiencia del algoritmo BP.
[1], Pensamiento filosófico sobre el algoritmo BP, Cheng Sumei, Hao Zhonghua.
[2], "Aprendizaje automático", autor Zhou Zhihua
[3], Notas en papel sobre aprendizaje profundo (derivación e implementación de la red neuronal convolucional CNN)
Primera versión
Revisada significativamente el 4 de junio de 2016, se mejoró el proceso de derivación y se modificó el nombre del artículo.
Se modificó un error de derivación de fórmula y una expresión en 2016. -07-23.