Principio del algoritmo de red neuronal

4.2.1 Visión general

La investigación sobre redes neuronales artificiales y ordenadores se desarrolla casi simultáneamente. En 1943, el psicólogo McCulloch y el matemático Pitts propusieron un modelo matemático de neuronas formales. A finales de la década de 1950, Rosenblatt propuso el modelo del perceptrón. Hopfiled introdujo el concepto de función energética en 1982 y propuso un modelo matemático de red neuronal. En 1986, académicos como Rumelhart y LeCun propusieron el perceptrón multicapa.

Con los esfuerzos de muchos investigadores, la tecnología de redes neuronales se ha vuelto cada vez más perfecta en teoría y cada vez existen más tipos de algoritmos. En la actualidad, existen muchos resultados de investigaciones teóricas sobre redes neuronales y se han publicado muchos libros sobre teorías básicas. Sigue siendo uno de los puntos calientes de la investigación científica no lineal en el mundo.

La red neuronal es un sistema de procesamiento de información que simula la estructura neuronal del cerebro humano para realizar las funciones de actividad inteligente del cerebro humano. Tiene las funciones básicas del cerebro humano, pero no es una representación fiel del cerebro humano. Es un modelo abstracto, simplificado y simulado del cerebro humano, por eso se le llama red neuronal artificial (Bian, 2000).

Las neuronas artificiales son nodos de redes neuronales y uno de los componentes más importantes de las redes neuronales. Actualmente existen muchos modelos de neuronas. El modelo más utilizado y más simple es un modelo compuesto por una función de umbral y una función sigmoidea (Figura 4-3).

Figura 4-3 Neuronas artificiales y dos funciones de salida comunes

El método de aprendizaje y reconocimiento de redes neuronales se propuso originalmente a partir del proceso de aprendizaje y reconocimiento de las neuronas del cerebro humano. Los parámetros de entrada son como las señales recibidas por las neuronas, que están conectadas a las neuronas a través de un cierto peso (equivalente a la intensidad de la estimulación de la excitación nerviosa). Este proceso es algo similar a la regresión lineal múltiple, pero las características no lineales de la simulación se reflejan en el siguiente paso, es decir, estableciendo un umbral (el límite de excitación de la neurona) para determinar el modo de excitación de la neurona y obtener el resultado de salida a través de la operación de salida. Después de que una gran cantidad de muestras ingresan al sistema de red para aprendizaje y entrenamiento, los pesos que conectan las señales de entrada y las neuronas son estables y pueden satisfacer en la mayor medida las muestras de aprendizaje entrenadas. Después de confirmar la racionalidad de la estructura de la red y la alta precisión del efecto de aprendizaje, los parámetros de entrada de la muestra a predecir se sustituyen en la red para lograr el propósito de la predicción de parámetros.

4.2.2 Algoritmo de retropropagación (método BP)

Hasta ahora, existen más de una docena de modelos de redes neuronales, como redes neuronales feedforward, perceptrones, redes Hopfiled y funciones básicas de ruta. red, algoritmo de retropropagación (método BP), etc. Sin embargo, en términos de inversión de parámetros de reservorio, el tipo de red más maduro y popular actualmente es la red neuronal de retropropagación de errores (BP-ANN).

La red BP se desarrolla sobre la base de una red neuronal feedforward. Siempre hay una capa de entrada (que contiene nodos correspondientes a cada variable de entrada) y una capa de salida (que contiene nodos correspondientes a cada valor de salida). , hay al menos una capa oculta (también llamada capa intermedia) y el número de nodos no está limitado. En BP-ANN, los nodos de capas adyacentes están conectados mediante pesos iniciales arbitrarios, pero los nodos de la misma capa no están conectados entre sí. Para BP-ANN, las funciones básicas de los nodos de la capa oculta y de la capa de salida deben ser continuas y crecientes monótonamente. Cuando la entrada tiende al infinito positivo o negativo, debe acercarse a un valor fijo, es decir, la función base tiene forma de "S" (Kosko, 1992). El entrenamiento de BP-ANN es un proceso de aprendizaje supervisado que involucra dos conjuntos de datos, a saber, el conjunto de datos de entrenamiento y el conjunto de datos de supervisión.

El proceso de proporcionar un conjunto de información de entrada a la capa de entrada de la red para que pueda producir la salida deseada en la capa de salida a través de la red se denomina aprendizaje de red o método de entrenamiento de red. Para lograr este paso se llama algoritmo de aprendizaje. El proceso de aprendizaje de la red BP incluye dos etapas: la primera etapa es el proceso de avance, que calcula el valor de salida de cada unidad capa por capa a través de la capa de entrada y la capa oculta; la segunda etapa es el proceso de propagación hacia atrás, que calcula gradualmente el valor de salida; Valor oculto del error de salida. Contiene el error de cada unidad en la capa y utiliza este error para corregir el peso de la capa anterior. La información de error se propaga nuevamente a través de la red y los pesos se ajustan de acuerdo con el principio de disminuir gradualmente los errores hasta lograr un resultado satisfactorio. Una vez que la red aprende, se fija un conjunto de pesos apropiados y estables y la muestra a predecir se utiliza como parámetro de la capa de entrada. Después de que la red se propaga hacia adelante, se puede obtener el resultado de salida, que es la predicción de la red. .

Los pasos principales del algoritmo de retropropagación son los siguientes: primero seleccione el valor inicial del coeficiente de peso y luego repita el siguiente proceso hasta la convergencia (calcule cada muestra por turno).

(1) Calcular el Oj de cada unidad de adelante hacia atrás.