Metodos Numericos

CURSO DE METODOS NUMERICOS

CUART A PART E

METODOS DE MINIMO CUADRADOS

V. Muto

El problema de m´ınimos cuadrados.

—

Cap. XIX

CAPITULO XIX. EL PROBLEMA DE LOS MINIMOS CUADRADOS:
PRELIMINARES
1. SISTEMAS LINEALES DE ECUACIONES SOBREDETERMINADOS
La discusi´on de los problemas algebr´aicos de la parte anterior se hab´ıa centrado
exclusivamente en la ecuaci´on A x = b, en la cual se haintentado hacer coincidir exactamente el vector b que aparece a la derecha con el vector A x que aparece a la izquierda,
es decir hacer que b sea exactamente una combinaci´on lineal de las columnas de A. En
muchos casos, el vector b no se puede expresar de la forma A x, y el sistema A x = b
es incompatible. El problema lineal de m´ınimos cuadrados se acerca a la optimizaci´on
si se encuentra un vector xque en alg´
un sentido da la mejor (aunque no la perfecta)
aproximaci´
on entre A x y b.
Consid´erese un sistema de m ecuaciones con n inc´ognitas escrito en la forma
Ax=b.

(XIX.1)

Aqu´ı, A es de m × n, x es de n × 1 y b es de m × 1. Supondremos que el rango de A es
n, de lo que resulta que m ≥ n. Si m > n, se dice que el sistema lineal de ecuaciones es
sobredeterminado. Los sistemassobredeterminados son generalmente no compatibles.
Ejemplo.
a) Sea dado el sistema de ecuaciones lineales
x1
x1
− x1

+
−
+

x2
x2
2 x2

=
=
=

1,
3,
−2 .

Las tres ecuaciones del sistema representano rectas en el plano. Las primeras dos se
intersecan en el punto (2, −1), mientras que la tercera no pasa por este punto. Entonces,
no existe ningun punto com´
un entre las tres l´ıneas. El sistema esincompatible.
b) Sea dado el sistema de ecuaciones lineales
x1
2 x1
4 x1
2 x1

+
−
+
−

2 x2
x2
3 x2
x2

+
+
+
+

x3
x3
3 x3
3 x3

=
=
=
=

1
2
4
5

,
,
,
,

Usando eliminaci´on Gaussiana se deduce que el sistema tiene exactamente una u
´nica
soluci´
on (0.1, −0.3, 1.5). El sistema es compatible determinado.
c) Sea dado el sistema de ecuaciones lineales
x1
2 x1
4 x1
3 x1

+
−
+
+

2 x2
x2
3 x2
x2

+
+
+
+180

x3
x3
3 x3
2 x3

=
=
=
=

1
2
4
3

,
,
,
,

V. Muto

El problema de m´ınimos cuadrados.

—

Cap. XIX

Usando eliminaci´on Gaussiana y resolviendo x2 y x1 en funci´on de x3 se deduce que el
sistema tiene una infinidad de soluciones de la forma (1 − 0.6α, −0.2α, α). El sistema es
compatible indeterminado.
2. EL VECTOR RESIDUAL Y EL PROBLEMA
DE LOS MINIMOS CUADRADOS
Por lo general, el sistema(XIX.1) no tiene soluci´on debido a que b no pertenece al
subespacio de Rn de dimensi´on n, generado por las columnas de A. Es frecuente en tales
casos que se requiera encontrar un x tal que b est´e cerca de A x, es decir que minimice
una norma del vector residual r = b−A x. El primer problema ser´a determinar el sentido
de cercan´ıa, es decir la norma que mide la diferencia entre b y A x. Lainterpretaci´
on
y la naturaleza de la soluci´on de este problema var´ıa dependiendo de la norma que se
use. La norma m´as com´
unmente usada es la norma euclidiana, la norma l2 . Entonces, la
soluci´
on en m´ınimos cuadrados de (XIX.1) es el vector x que hace de ||r||2 = ||b − A x||2
un m´ınimo
min ||b − A x||22 ,

(XIX.2)

x∈Rn

Dado que las normas no pueden ser negativas, minimizar una norma esequivalente a
minimizar su cuadrado; hableremos entonces libremente de normas cuadradas y no. Seg´
un
lo que se ha supuesto acerca del rango de A, la soluci´on x ser´a u
´nica.
La formulaci´
on de los m´ınimos cuadrados es popular sobre todo por el hecho de que
resolver un problema de m´ınimos cuadrados lineal es m´as f´acil que minimizar otras normas
de r. Veremos que el problema de m´ınimos cuadradosse puede resolver transformando la
matriz A y resolviendo un sistema compatible a ella relacionado. Al contrario, minimizar
la norma l1 o la norma l∞ es equivalente a un problema de programaci´on lineal no
diferenciable, cuya soluci´on necesita una t´ecnica de iteraci´on.
Es u
´til pensar en el problema de los m´ınimos cudrados en t´erminos de los subespacios definidos por la matriz A. El...