Los parámetros del modelo y los hiperparámetros del modelo en el aprendizaje automático son diferentes en función y origen. Los hiperparámetros del modelo a menudo se denominan parámetros del modelo, lo que puede confundir fácilmente a los principiantes. Este artículo proporciona y compara las definiciones de los parámetros del modelo y los hiperparámetros del modelo, y señala la diferencia esencial entre los dos: los parámetros del modelo son variables de configuración dentro del modelo y los valores de los parámetros del modelo se pueden estimar a través de los datos de los hiperparámetros del modelo; Son configuraciones fuera del modelo, los valores de los parámetros deben configurarse manualmente.
Cuando investigamos, nos encontraremos con muchos términos. A veces aparecen términos con el mismo nombre en diferentes campos de estudio. Por ejemplo, los "parámetros del modelo" y los "hiperparámetros del modelo" que se utilizan a menudo en estadística y economía también existen en el aprendizaje automático.
Las funciones y fuentes de los "parámetros del modelo" y los "hiperparámetros del modelo" en el campo del aprendizaje automático son diferentes. Los principiantes suelen tener dificultades para aprender si no los comprenden claramente, especialmente aquellos que provienen de los campos de la estadística y la economía.
Para brindarles a todos una definición clara de "modelo paramétrico" y "modelo de hiperparámetros" al aplicar el aprendizaje automático, analizaremos estos dos términos en detalle en este artículo.
Primero, echemos un vistazo a qué son los “parámetros”.
Como parte del modelo aprendido a partir de datos históricos de entrenamiento, los parámetros son clave para los algoritmos de aprendizaje automático.
"Parámetros" en estadística:
En estadística, se puede asumir una distribución de una variable, como una distribución gaussiana. Los dos parámetros de la distribución gaussiana son la media (μ) y la desviación estándar (sigma). Esto es válido en el aprendizaje automático, donde estos parámetros pueden estimarse a partir de los datos y utilizarse como parte de un modelo predictivo.
"Parámetros" en programación:
En programación se pueden pasar parámetros a funciones. En este caso, el parámetro es un parámetro de función y puede tener un rango de valores. En el aprendizaje automático, el modelo específico que está utilizando es una función y necesita parámetros para predecir nuevos datos.
¿Cuál es la relación entre "parámetro" y "modelo"?
Según la literatura clásica sobre aprendizaje automático, un modelo puede verse como una hipótesis y los parámetros son ajustes específicos a la hipótesis basados en un conjunto de datos específico.
Si el número de parámetros de un modelo es fijo o variable determina si el modelo es un modelo "paramétrico" o un modelo "no paramétrico".
¿Qué son los parámetros del modelo?
En pocas palabras, los parámetros del modelo son variables de configuración dentro del modelo y sus valores se pueden estimar a partir de los datos.
Específicamente, los parámetros del modelo tienen las siguientes características:
La predicción del modelo requiere parámetros del modelo.
Los valores de los parámetros del modelo pueden definir funciones del modelo.
Los parámetros del modelo se obtienen mediante estimación de datos o aprendizaje de datos.
Los profesionales no suelen establecer manualmente los parámetros del modelo.
Los parámetros del modelo generalmente se guardan como parte del modelo aprendido.
Los algoritmos de optimización se utilizan a menudo para estimar los parámetros del modelo. Los algoritmos de optimización son búsquedas eficientes de posibles valores de parámetros.
Algunos ejemplos de parámetros del modelo incluyen:
Pesos en redes neuronales artificiales.
Vectores de soporte en máquinas de vectores de soporte.
Coeficientes en regresión lineal o regresión logística.
¿Qué son los hiperparámetros del modelo?
Los hiperparámetros del modelo son configuraciones fuera del modelo cuyos valores no se pueden estimar a partir de los datos.
Las características específicas son:
Los hiperparámetros del modelo se utilizan a menudo en el proceso de estimación de los parámetros del modelo.
Los profesionales suelen citar directamente los hiperparámetros del modelo.
Los hiperparámetros del modelo a menudo se pueden configurar de forma heurística.
Los hiperparámetros del modelo a menudo se ajustan en función de un problema de modelado predictivo determinado.
Cómo obtener su valor óptimo: Para un problema dado, no podemos conocer el valor óptimo de los hiperparámetros del modelo. Pero podemos encontrar su valor óptimo usando reglas generales, o replicando valores utilizados en otros problemas, o mediante prueba y error.
Algunos ejemplos de hiperparámetros del modelo incluyen:
La tasa de aprendizaje para entrenar una red neuronal.
Los hiperparámetros cy sigma de máquinas de vectores de soporte.
En el barrio de k.
"Parámetros del modelo" e "Hiperparámetros del modelo"
La conexión entre los dos:
Al ajustar un algoritmo de aprendizaje automático para un problema específico, como el uso Búsqueda de cuadrícula o búsqueda aleatoria, ajustará los hiperparámetros del modelo o comando para encontrar un parámetro del modelo que le permita predecir de manera más competente. Muchos parámetros importantes del modelo no pueden estimarse directamente a partir de los datos. Por ejemplo, en el modelo de clasificación del vecino más cercano K... Este tipo de parámetros del modelo se denominan parámetros de ajuste porque no existe una fórmula analítica disponible para calcular los valores adecuados.
Distinguir:
Los hiperparámetros del modelo a menudo se denominan parámetros del modelo y se malinterpretan fácilmente. Una buena regla general para resolver este problema es la siguiente: si tiene que especificar un "parámetro del modelo" manualmente, probablemente sea un hiperparámetro del modelo.
Resumen
Después de leer este artículo, podemos comprender la definición clara y la diferencia entre los parámetros del modelo y los hiperparámetros del modelo.
En resumen, los parámetros del modelo se estiman automáticamente en función de los datos, mientras que los hiperparámetros del modelo se configuran y utilizan manualmente en el proceso de estimación de los parámetros del modelo.