La respuesta a esta pregunta es en realidad muy amplia. Aquí supongo que la pregunta requiere dominar varios fundamentos teóricos, como la alta generación, la teoría de la probabilidad, el conocimiento estadístico necesario y Bayes. Además, en los últimos años, algunos artículos sobre ICLR e ICML han utilizado cada vez más conocimientos matemáticos, incluidos, entre otros, variables reales, funcionales, topología de conjuntos de puntos, geometría diferencial y álgebra abstracta. Si tienes experiencia en ingeniería, mirar un montón de letras griegas y un ramo de flores para escribir las definiciones de las letras a menudo te hará sentir mareado. Quiero ponerme al día con algunos conceptos básicos de matemáticas, pero no sé por dónde empezar.
Mi experiencia personal es que para los estudiantes de ingeniería que se especializan en aprendizaje profundo, no es realista y es una pérdida de tiempo completar todos estos cursos. Sin embargo, incluso para estudiantes de ingeniería, se recomienda aprender lo siguiente:
Función de variable real (esta es la parte más frecuente del artículo. Al menos sepa qué es un conjunto medible, qué es un conjunto medible , qué es integrable, además integrable de Riemann, integrable de Lebesgue; comprenda el concepto de métrica)
Funcional, cálculo de variaciones (este curso es realmente difícil, solo aprendí una parte, pero para el aprendizaje automático, debe conocer la ecuación de Euler-Lagrange del cálculo de variaciones)
Conceptos topológicos básicos (a todos les gusta usar la palabra múltiple en los artículos actuales, siempre que involucre datos de alta dimensión) Múltiple, la fuente es Aquí otro ejemplo es la prueba del clasificador perfecto en WGAN. Esta es en realidad una prueba muy básica del espacio métrico y el espacio de Hausdorff en el libro de texto)
Un poco de conocimiento básico de medición (hay muchos artículos, Pero siento que entiendo los tensores métricos, el mapeo exponencial, las ecuaciones geodésicas y algunos conceptos geométricos más profundos que rara vez aparecen)
No estudié más matemáticas. Por ejemplo, el artículo de ICLR de este año sobre CNN esférico también es muy confuso, pero lo anterior es básicamente suficiente para que usted pueda leer los artículos teóricos más profundos desde una perspectiva estratégica.