Metodos estadisticos

El método de mínimos cuadrados
Curso de Estadística TAE, 2005 J.J. Gómez-Cadenas

Mínimos cuadrados y máxima verosimilitud
Teorema del límite central Una medida y, puede considerarse como un variable aleatoria, distribuida gausianamente entorno a su valor verdadero λ, siempre que el error total sea la suma de un número grande de contribuciones pequeñas. Considerar un conjunto y1,y2,...yN devariables aleatorias independientes relacionadas con otra variable xi que se asume conocida sin error. Cada yi tiene un valor medio λi (desconocido) y una varianza σi2 (conocida) Las N medidas de yi pueden considerarse como la medida de un vector aleatorio N-dimensional con pdf
g(y1,..., yn ; λ1,..., λ N , σ ,..., σ ) = ∏
2 1 2 N i =1 N

−(yi − λi )2 exp( ) 2 2σ i2 2πσ i 1

Suponer ademásque el valor verdadero de las yi es una función de la variable x que depende de un vector de parámetros desconocido en principio.

  λ = λ (xi ;θ ), θ = (θ1 ,...,θ m )

El objetivo del método de mínimos cuadrados es estimar el vector de parámetros θ. Además, el método permite evaluar la bondad con la que la función λ(x,θ) ajusta los datos experimentales. Para establecer el método tomamoslogaritmos en la pdf que describe los datos:
⎛ 1  −(yi − λi )2 ⎞ log(g) = ∑ log ⎜ exp( )⎟ = A + log L(θ ) 2 2σ i2 i =1 ⎝ 2πσ i ⎠
N

 2 N  1 (y − λ (xi ;θ )) log L(θ ) = − ∑ i 2 i =1 σ i2

⎛ 1 ⎞ A = ∑ log ⎜ ⎟ 2πσ i2 ⎠ i =1 ⎝
N

El principio de máxima verosimilitud establece que la pdf conjunta de las medidas (y por lo tanto la verosimilitud L) es máxima para los parámetros auténticos. Porlo tanto, para encontrar los parámetros maximizamos log L(θ) o bien minimizamos la cantidad:  2 N  (yi − λ (xi ;θ )) 2 χ (θ ) = ∑ σ i2 i =1 Si las medidas no son independientes, pero pueden describirse por una pdf conjunta gausiana, con matriz de covarianza conocida, la definición anterior se generaliza a:
 χ (θ ) =
2

i, j =1

  −1 ∑ (yi − λ (xi ;θ )) V (y j − λ (x j ;θ ))
N

( )Que reduce a la expresión anterior si la matriz de covarianza es diagonal (medidas independientes)

Ajuste por mínimos cuadrados en el caso lineal
En el caso más general, un problema de ajuste se reduce a uno de minimización (del chi2). Sin embargo, cuando λ(x;θ) es una función lineal de los parámetros el problema puede tratarse analíticamente. Se trata del caso:
m  λ (x;θ ) = ∑ a j (x)θ jj =1

donde aj(x) son funciones de x. NB: Requerimos que λ(x;θ) sea lineal en los parámetros, no que las funciones aj(x) sean lineales en x. Por ejemplo:

  −x 2 λ (x;θ ) = e θ1 + sin(x)θ 2 + x θ 3 lineal en θ   2 λ (x;θ ) = x θ1 + θ 2 + θ no lineal en θ

El valor de la función λ(x;θ) en un punto dado xi es: m m  λ (xi ;θ ) = ∑ a j (xi )θ j = ∑ Aijθ j , Aij = a j (xi )
j =1 j =1

Eneste caso, la expresión general:
 χ (θ ) =
2

i, j =1

  −1 ∑ (yi − λ (xi ;θ )) V (y j − λ (x j ;θ ))
N

( )

reduce a (en notación matricial):   T −1     T −1    2 χ (θ ) = ( y − λ ) V ( y − λ ) = ( y − Aθ ) V ( y − Aθ ) Para encontrar los parámetros minimizamos el chi2
  T −1  T −1 ∇χ (θ ) = −2(A V y − A V Aθ ) = 0
2

Si ATV-1A no es singular podemos resolver paralos parámetros

   θ = (AT V −1 A)−1 AT V −1y = By
Es decir los parámetros θ son funciones lineales de las medidas y.

Para encontrar la matrix de covarianza de los parámetros propagamos errores

  T −1 −1 T −1  θ = (A V A) A V y = By U = BVBT = (AT V −1 A)−1

Si λ(x;θ) es lineal en θ el chi2 es cuadrático en θ. Expandiendo en Taylor entorno a los parámetros (en el mínimo laderivada se anula):
 1 m ⎡ ∂2 χ 2 ⎤ 2 ˆ χ (θ ) = χ (θ ) + ∑ ⎢ ⎥ 2 i, j =1 ⎣ ∂θ i ∂θ j ⎦ ⎢ ⎥
2

 θ =θ

ˆ ˆ (θ i − θ i )(θ j − θ j )

ˆ = χ (θ ) +
2

i, j =1

∑U

m

−1
ij

Por lo tanto :

 2 ˆ ˆ ˆ ˆ χ (θ ) = χ 2 (θ ) + 1 = χ min + 1 ⇒ θ → θ ± σ
2

Corresponde a los contornos en el espacio de parámetros cuyas tangentes se separan una desviación estándar de los parámetros...