La información de Fisher (Información de Fisher) es un indicador que mide la cantidad de información de una muestra. Describe la cantidad de información obtenida de la muestra bajo una distribución de probabilidad determinada. La información de Fisher se puede utilizar para estimar la precisión de los parámetros del modelo y comparar los efectos de ajuste de diferentes modelos. Se usa ampliamente en estadística, aprendizaje automático y otros campos. Este artículo presentará la fórmula de cálculo de la cantidad de información de Fisher y su aplicación. 1. La definición de cantidad de información de Fisher
Dada una función de densidad de probabilidad $p(x|\theta)$, donde
$\theta$ es un parámetro desconocido, nosotros es Esperaba obtener la cantidad de información sobre el parámetro $\theta$ de las muestras $x_1,x_2,\dots,x_n$. La cantidad de información de Fisher I es un indicador que describe la cantidad de información. Se define como:
$$
I(\theta)=-E_{\theta}\ left[. \frac{\partial^2\log
p(x|\theta)}{\partial\theta^2}\right]
$$
Entre ellos, $\partial^2\log p(x|\theta)/\partial\theta^2$ es la derivada parcial de primer orden sobre $\theta$, $E_{\theta}[ \cdot ]$ Representa la expectativa bajo el parámetro $\theta$.
El significado de la información de Fisher puede entenderse como: bajo las condiciones de una función de densidad de probabilidad dada $p(x|\theta)$, la cantidad de información que obtenemos de la muestra es igual a $\ theta Está relacionado con la curvatura de $, es decir, cuanto más drástico sea el cambio de la curva $\theta$, mayor será la cantidad de información proporcionada por la muestra.
2. Fórmula de cálculo de la información de Fisher
Para algunas distribuciones simples como la distribución de Bernoulli, la información de Fisher se puede calcular directamente, pero para distribuciones generales, resolver la información de Fisher requiere el uso de derivadas de alto orden y el cálculo es más complicado. En aplicaciones prácticas, se puede utilizar la siguiente fórmula para calcular rápidamente la información de Fisher:
$$
I(\theta)=\int_{-\infty}^\infty \ left (\frac{\partial\log
p(x|\theta)}{\partial\theta}\right)^2p(x|\theta)dx
$ $
La demostración de esta fórmula se puede encontrar en libros de texto de estadística matemática relevantes y no se repetirá aquí.
3. Aplicación de la información de Fisher
3.1 Precisión para estimar los parámetros del modelo
Supongamos que tenemos un modelo $f(x|\theta )$, donde
$\theta$ es el parámetro del modelo, y podemos estimar el parámetro $\theta$ mediante la estimación de máxima verosimilitud (estimación de máxima verosimilitud). Específicamente, esperamos encontrar un $\hat{\theta}$ que maximice la función de log-verosimilitud $\log L(\theta)$
de la muestra.
En algunas distribuciones simples, como la distribución normal, la estimación de máxima verosimilitud clásica puede lograr resultados óptimos asintóticos, pero para algunas distribuciones complejas, como el modelo gaussiano mixto, la estimación de máxima verosimilitud puede no caer en una solución óptima local. Para reducir el error de estimación, generalmente calculamos la varianza del estimador, es decir, $\mathrm{Var}[\hat{\theta}]$. El recíproco de esta varianza es la estimación de la cantidad de información de Fisher $\. sombrero{I}( \theta)$.
En aplicaciones específicas, normalmente utilizamos la siguiente fórmula para calcular el valor estimado de la información de Fisher:
$$
\hat{I}( \theta )=\left[-\frac{1}{n}\frac{\partial^2\log
L(\theta)}{\partial\theta^2}\right]_ {\ theta=\hat{\theta}}
$$
El significado de esta fórmula se puede entender como: el parámetro $\hat{\theta}$ estimado utilizando la muestra tiene Ingrese la función de probabilidad logarítmica, calcule el valor negativo de su derivada parcial de segundo orden y divídalo por el tamaño de la muestra $n$. El valor obtenido es la estimación de la cantidad de información de Fisher.
3.2 Utilizado para la selección del modelo
En la comparación de modelos, la información de Fisher se puede utilizar para expresar el efecto de ajuste del modelo. Por lo general, queremos elegir un modelo con una varianza más pequeña de los estimadores de parámetros y una distribución más ajustada de los estimadores, lo que significa que el modelo puede extraer mejor información de la muestra.
En algunas distribuciones simples como la distribución normal, es suficiente usar estándares como AIC (criterio de información de Akaike) para comparar los efectos de ajuste de los modelos, pero para algunas distribuciones complejas distribuciones. Este enfoque puede no ser lo suficientemente preciso. En este momento, la información de Fisher se puede utilizar como índice de evaluación y se puede seleccionar un modelo con mayor información de Fisher.
4. Resumen
La información de Fisher es un indicador que mide el tamaño de la información de una muestra. Se puede utilizar para estimar la precisión de los parámetros del modelo y comparar los efectos de ajuste de diferentes modelos. . Al calcular la derivada parcial de segundo orden de la función de probabilidad logarítmica, se puede encontrar la información precisa de Fisher, pero en aplicaciones prácticas, generalmente utilizamos fórmulas de cálculo rápidas para estimar el valor de la información de Fisher.