Primero, déjame presentarte el álgebra lineal. Una de las funciones más importantes del álgebra lineal es transformar cosas concretas en modelos matemáticos abstractos. No importa cuán complejo sea nuestro mundo, podemos convertirlo en un vector o una matriz. Esta es la función principal del álgebra lineal. Entonces, en el proceso de resolución de problemas de representación con álgebra lineal, incluimos principalmente dos partes. Por un lado está la teoría del espacio lineal, que es lo que llamamos vectores, matrices y transformaciones. El segundo es el análisis matricial. Dada una matriz, podemos hacer lo que se llama descomposición SVD, que es descomposición en valores singulares, o hacer algún otro análisis. De esta manera, las dos partes * * * son isomorfas para formar el álgebra lineal que necesitamos en el aprendizaje automático.
Entonces hablemos de estadísticas de probabilidad. Durante el proceso de evaluación, necesitamos utilizar estadísticas de probabilidad. La estadística de probabilidad incluye dos aspectos, uno es la estadística matemática y el otro es la teoría de la probabilidad. En general, la estadística matemática es fácil de entender y muchos modelos utilizados en el aprendizaje automático se derivan de la estadística matemática. Al igual que la regresión lineal y la regresión logística más simples, todas provienen de la estadística. Después de dar la función objetivo en detalle, usaremos algo de teoría de probabilidad al evaluar esta función objetivo. Cuando se nos da una distribución, necesitamos saber el valor esperado de la función objetivo. En promedio, ¿qué tan bien se logra esta función objetivo? En este momento, se necesita la teoría de la probabilidad. Por tanto, en el proceso de evaluación aplicaremos principalmente algunos conocimientos de probabilidad y estadística.
Por último, hablemos de la teoría de la optimización. De hecho, no hace falta decir que debemos utilizar la teoría de la optimización. En la teoría de la optimización, la principal dirección de investigación es la optimización convexa. Por supuesto, la optimización convexa tiene ciertas limitaciones, pero sus beneficios también son obvios, como simplificar la solución de este problema. Porque en la optimización, todos sabemos que lo que requerimos es un valor máximo o mínimo, pero en la operación real, podemos encontrar algunos valores máximos locales, valores mínimos locales y puntos de silla. La optimización convexa puede evitar este problema. En la optimización convexa, el valor máximo es el valor máximo y el valor mínimo es el valor mínimo. Pero en la práctica, especialmente después de la introducción de las redes neuronales y el aprendizaje profundo, el alcance de la aplicación de la optimización convexa es cada vez más limitado y, en muchos casos, ya no es aplicable, por lo que aquí utilizamos principalmente optimización sin restricciones. Mientras tanto, uno de los algoritmos y métodos de optimización más utilizados en redes neuronales es la retropropagación.