1. ¿Qué es la estimación de mínimos cuadrados?
Ejemplo: y = ax (
Entre ellos: y, x se pueden medir; ( — no se puede medir la interferencia elementos;
a — parámetro desconocido A través de N experimentos, se obtienen los datos de medición yk y
xk k = 1, 2, 3..., y el parámetro desconocido a es. determinado que se llamará "Estimación de parámetros". Haga que el criterio J sea el mínimo:
Sea: ( J ( ( a = 0 , derivado a =
se llama "estimación de mínimos cuadrados", es decir, residual al cuadrado La suma es la estimación más pequeña, ¿Gauss en 1792 Yan Ke?
2. Regresión lineal múltiple
Modelo lineal y = a0 a1x1 ( anx n ( Fórmula (2 - 1- 1)
Introducir vector de parámetros: ( = [ a0, a1, (a n ]T (n 1)(1)
Realizar N pruebas y obtener N ecuaciones:
yk = (kT ( (k ; k=1, 2..., N Fórmula (2 -1- 2)
Donde: (k = [ 1, x1, x2, (, x N ] T (n 1) (1
El sistema de ecuaciones se puede expresar como una matriz
y = ( ( ( (Fórmula (2 -1- 3))
Donde: y = [ y1, y2,..., y N ] T (N (1)
( = [ (1, (2,.. ., ( N )] T (N 1)
N (n 1)
Criterios de estimación:
Existen:
= (y — ( ()T( y — ( ()
(1(N) ( N(1)
J = yTy (T (T ( ( -yT ( ( - (T (T y
= yTy (T (T ( ( - 2 (T (T y Fórmula (2 -1- 4)))
Supuesto: ((T ()(n 1)(n 1) rango completo, por
p>Utilice las siguientes dos matrices de álgebra lineal para encontrar la fórmula de las derivadas parciales de vectores:
y
Existen: y
Entonces:
y
p>
Resolver el vector de estimación de parámetros: ( Ls =(( T ()-1 (T y Fórmula (2 -1- 5))
Sea: P = ((T ()-1 Entonces el vector de estimación de parámetros ( Ls = P (T y
El vector de estimación de parámetros ( Ls ) se considera como la solución de la siguiente "ecuación regular":
((T ()( = (T y Fórmula (2 -1- 6)
Nota: Para facilitar la distinción, utilizamos caracteres rojos para representar cantidades estimadas o valores calculados, y caracteres en negrita para representar valores de parámetros verdaderos o valores medidos reales.
3 Discusión sobre las propiedades de la estimación de mínimos cuadrados del parámetro Ls
La solución anterior para la estimación de mínimos cuadrados del parámetro (Ls) no contempla las propiedades estadísticas de { (k}, que son las ventajas mínimas de . estimación cuadrada Cuando { (k } es ruido blanco estacionario de media cero, entonces ( Ls tiene las siguientes buenas propiedades de estimación:
Estimación de mínimos cuadrados del parámetro ( Ls es una estimación lineal de y
( Ls = P (T y es la expresión lineal de y;
b) Estimación de mínimos cuadrados del parámetro ( Ls es una estimación insesgada, es decir, E ( Ls= ( (Valor real del parámetro)
[Prueba]: E
( Ls= E[ P (T y ]= P (T E( y ) = P (T E ( (( ( ) =
P (T ( ( E( ( ) ) = ( 0 = (< / p>
La matriz de covarianza del error estimado de la estimación de mínimos cuadrados (Ls) es (2P (n 1)(n 1)
Es decir: E [ ( ( Ls- ( ) ( ( Ls- ( )T ] = (2P
[Prueba]: E [ ( ( Ls - ( ) ( ( Ls - ( )T ] = E [ P (T ( y -
( () ( y- ( ()T (P ] = E [ P (T ( (T (P ] = P (T E ( (T) (P =
P (T (2 IN( N (P = (2P
Si { (k } es ruido blanco de media cero con distribución normal, entonces ( Ls es una estimación de la varianza mínima lineal insesgada (prueba omitida). Si { (k } es Entonces, el ruido de color ( Ls no tiene las propiedades anteriores, es decir, es una estimación sesgada.
IV. El significado geométrico y las cuestiones de cálculo de la estimación de mínimos cuadrados ( Ls )
1. Mínimos cuadrados El significado geométrico de la estimación por multiplicación
El valor de salida del modelo de la estimación por mínimos cuadrados es yk = ( kT ( Ls k = 1, 2,...N
Genera el valor medido real y el valor de salida del modelo. La diferencia se llama residual: (k = yk – yk
El vector de salida del modelo es y = ( ( Ls y el vector residual es:
( = y – y = y – ( ( Ls
(T ( k = (T y – (T (((T ()-1 (T y = (T y – (T y = 0
)) El vector residual ( es ortogonal al hiperplano (espacio de estimación) abarcado por la matriz de datos de medición ( ( 1, ( 2 ,..., ( N )), y el mínimo El vector de salida del modelo de cuadrados y es el vector de salida real y en la Estimación de la proyección ortogonal en el espacio, este es el significado geométrico de la estimación de mínimos cuadrados.
------------- ------------ --------------------
El método de mínimos cuadrados es una técnica de optimización matemática que encuentra el valor óptimo de un conjunto de datos minimizando la suma de errores al cuadrado. Mejor coincidencia de función.
El método de mínimos cuadrados consiste en utilizar el método más simple para encontrar algunos valores verdaderos absolutamente incognoscibles y minimizar la suma de. errores al cuadrado.
El método de mínimos cuadrados Generalmente se utiliza para el ajuste de curvas. Muchos otros problemas de optimización también se pueden expresar en la forma de mínimos cuadrados minimizando la energía o maximizando la entropía.
Por ejemplo, comencemos con la función lineal más simple y=kx b
Se sabe que existen algunos puntos (1.1, 2.0), (2.1, 3.2), (3, 4.0), (4, 6), (5.1, 6.0) en el eje de coordenadas. Encuentre la imagen que pasa por estos puntos. La idea del método del cuadrado es la expresión de relación de función lineal.