metodo de minimo cuadrados

El método de mínimos cuadrados
Curso de Estadística
TAE, 2005
J.J. Gómez-Cadenas

Mínimos cuadrados y máxima verosimilitud
Teorema del límite central
Una medida y, puede considerarse como un variable aleatoria, distribuida
gausianamente entorno a su valor verdadero λ, siempre que el error total
sea la suma de un número grande de contribuciones pequeñas.
Considerar un conjuntoy1,y2,...yN de variables
aleatorias independientes relacionadas con otra
variable xi que se asume conocida sin error.
Cada yi tiene un valor medio λi (desconocido) y una
varianza σi2 (conocida)
Las N medidas de yi pueden considerarse como la
medida de un vector aleatorio N-dimensional con
pdf
N

g(y1,..., yn ; λ1,..., λ N , σ ,..., σ ) = ∏
2
1

2
N

i =1

−(yi − λi )2
exp(
)
2
2σ i22πσ i
1

Suponer además que el valor verdadero de las yi es una función de la variable
x que depende de un vector de parámetros desconocido en principio.



λ = λ (xi ;θ ), θ = (θ1 ,...,θ m )

El objetivo del método de mínimos cuadrados es estimar el vector de
parámetros θ.
Además, el método permite evaluar la bondad con la que la función λ(x,θ)
ajusta los datos experimentales.Para establecer el método tomamos logaritmos en la pdf que describe los
datos:
⎛ 1

−(yi − λi )2 ⎞
log(g) = ∑ log ⎜
exp(
)⎟ = A + log L(θ )
2
2σ i2
i =1
⎝ 2πσ i
⎠
N

⎛ 1 ⎞
A = ∑ log ⎜
⎟
2πσ i2 ⎠
i =1
⎝
N

 2
N

1 (y − λ (xi ;θ ))
log L(θ ) = − ∑ i
2 i =1
σ i2

El principio de máxima verosimilitud establece que la pdf conjunta de las
medidas (y por lo tanto laverosimilitud L) es máxima para los parámetros
auténticos. Por lo tanto, para encontrar los parámetros maximizamos log L(θ)
o bien minimizamos la cantidad:
 2
N

(yi − λ (xi ;θ ))
2
χ (θ ) = ∑
σ i2
i =1
Si las medidas no son independientes, pero pueden describirse por una pdf
conjunta gausiana, con matriz de covarianza conocida, la definición anterior
se generaliza a:

χ (θ ) =
2

−1
∑ (yi − λ (xi ;θ )) V (y j − λ (x j ;θ ))
N

i, j =1

( )

Que reduce a la expresión anterior si la matriz de covarianza es diagonal
(medidas independientes)

Ajuste por mínimos cuadrados en el caso lineal
En el caso más general, un problema de ajuste se reduce a uno de
minimización (del chi2). Sin embargo, cuando λ(x;θ) es una función
lineal de los parámetros el problemapuede tratarse analíticamente. Se
trata del caso:
m

λ (x;θ ) = ∑ a j (x)θ j
j =1

donde aj(x) son funciones de x.
NB: Requerimos que λ(x;θ) sea lineal en los parámetros, no que las
funciones aj(x) sean lineales en x. Por ejemplo:



−x
2
λ (x;θ ) = e θ1 + sin(x)θ 2 + x θ 3 lineal en θ


2
λ (x;θ ) = x θ1 + θ 2 + θ
no lineal en θ

El valor de la función λ(x;θ) en unpunto dado xi es:
m
m

λ (xi ;θ ) = ∑ a j (xi )θ j = ∑ Aijθ j , Aij = a j (xi )
j =1

j =1

En este caso, la expresión general:

χ (θ ) =
2



−1
∑ (yi − λ (xi ;θ )) V (y j − λ (x j ;θ ))
N

i, j =1

( )

reduce a (en notación matricial):

 T −1 

  T −1  

2
χ (θ ) = ( y − λ ) V ( y − λ ) = ( y − Aθ ) V ( y − Aθ )
Para encontrar los parámetrosminimizamos el chi2


T −1 
T −1
∇χ (θ ) = −2(A V y − A V Aθ ) = 0
2

Si ATV-1A no es singular podemos resolver para los parámetros




θ = (AT V −1 A)−1 AT V −1y = By
Es decir los parámetros θ son funciones lineales de las medidas y.

Para encontrar la matrix de covarianza de los parámetros propagamos
errores



T −1
−1 T −1 
θ = (A V A) A V y = By
U = BVBT = (AT V −1 A)−1Si λ(x;θ) es lineal en θ el chi2 es cuadrático en θ. Expandiendo en Taylor
entorno a los parámetros (en el mínimo la derivada se anula):

1 m ⎡ ∂2 χ 2 ⎤
2 ˆ
χ (θ ) = χ (θ ) + ∑ ⎢
⎥
2 i, j =1 ⎣ ∂θ i ∂θ j ⎦
⎢
⎥
2


θ =θ

ˆ
= χ (θ ) +
2

m

∑U

i, j =1

Por lo tanto :

ˆ
ˆ
(θ i − θ i )(θ j − θ j )

−1
ij


2
ˆ
ˆ
ˆ ˆ
χ (θ ) = χ 2 (θ ) + 1 = χ min + 1 ⇒ θ...