Househpld

´
´
METODOS
MATEMATICOS
(Curso 2012-2013)
Cuarto Curso de Ingeniero Industrial
Departamento de Matem´atica Aplicada II. Universidad de Sevilla

Lecci´on 3: Problemas de M´ınimos Cuadrados.
Optimizaci´on No Lineal
´ DE M´INIMOS
PROBLEMAS SOBREDETERMINADOS: SOLUCION
CUADRADOS.
Introducci´
on. Hay muchas situaciones donde se plantea la obtenci´on de un cierto modelo matem´atico lineal que ajuste aun conjunto de datos dados. Esto conduce usualmente a la resoluci´on
de un sistema de ecuaciones lineales con m´as ecuaciones que inc´ognitas, o problema sobredeterminado, que casi siempre resulta ser incompatible. Para dichos sistemas se introduce un concepto
nuevo de soluci´on (que coincide con el usual cuando el sistema es compatible), denominado soluci´on en el sentido de los m´ınimoscuadrados, determinando vectores que minimicen la norma
eucl´ıdea del correspondiente vector residual.
Problemas sobredeterminados. Cuando un sistema lineal tiene m´as ecuaciones que inc´ognitas es f´acil que sea incompatible, esto es, que no posea soluci´on.
Dada una matriz A real de orden m × n y un vector b ∈ Rm , si m > n se dice que el sistema
Ax = b es sobredeterminado. En la pr´actica es improbableque este sistema sea compatible.
Por ello, introducimos un nuevo concepto de soluci´on: se dice que x˜ ∈ Rn es una soluci´on en el
sentido de los m´ınimos cuadrados del sistema Ax = b si se verifica que
b − A˜
x ≤ b − Ax , para todo x ∈ Rn ,
o, equivalentemente, si x˜ es un m´ınimo de la funci´on real de n variables,
n

x ∈ Rn → f (x) =

(bj − (Ax)j )2 .

(1)

j=1

Desde un punto de vistageom´etrico, estamos buscando la mejor aproximaci´on en norma
eucl´ıdea del vector b al subespacio vectorial col(A) generado por las columnas de A. El teorema
de la mejor aproximaci´on establece que la soluci´on de m´ınimos cuadrados siempre existe y es
justamente la proyecci´on ortogonal de b sobre col(A).
En particular, Si x˜ es soluci´on de m´ınimos cuadrados, entonces tenemos que
b − A˜
x ⊥ col(A) ⇔ AT(b − A˜
x) = 0 ⇔ AT A˜
x = AT b.
Por u
´ltimo, comentemos que si A no tiene rango m´aximo siempre existen vectores x ∈ Rn no
nulos tales que Ax = 0 (observe que este sistema es compatible indeterminado). En este caso,
1

si x˜ es soluci´on de m´ınimos cuadrados tambi´en lo son x˜ + x, pues A(˜
x + x) = A˜
x. En cambio, si
A es una matriz m × n, con m > n y rg(A) = n, la soluci´on de m´ınimoscuadrados s´ı es u
´nica.
Resumimos todo lo anterior en el siguiente resultado:
Teorema 1. (Ecuaciones normales de Gauss). Sea A una matriz real m × n y b ∈ Rm . Las
siguientes afirmaciones son equivalentes:
x˜ es una soluci´on en el sentido de los m´ınimos cuadrados del sistema Ax = b.
x˜ es soluci´on del sistema AT Ax = AT b (ecuaciones normales de Gauss).
b − A˜
x es ortogonal a col(A).
Adem´as,si el rango de A es m´aximo, rg(A) = n, entonces la soluci´on de m´ınimos cuadrados es
u
´nica.
Nota 1. A las ecuaciones normales de Gauss tambi´en se llega sin necesidad de argumentos
geom´etricos. De hecho, la soluci´on de m´ınimos cuadrados x˜ es un m´ınimo de la funci´on f
definida en (1) y por tanto, el gradiente de esta funci´on debe anularse en x˜:
f (x) = b − Ax

2

= (b−Ax)T (b−Ax) = xT ATAx−2xT AT b+bT b ⇒ ∇f (x) = 2(AT Ax−AT b).

Las ecuaciones normales de Gauss est´an peor condicionadas que otros sistemas que tambi´en permiten encontrar la soluci´on de m´ınimos cuadrados, por lo que no conviene usarlas en
los problemas de m´ınimos cuadrados. En realidad, las t´ecnicas eficientes para la resoluci´on de
los problemas de m´ınimos cuadrados suelen basarse en transformar lasecuaciones normales
mediante ciertas factorizaciones matriciales que recordamos a continuaci´on.
Descomposici´
on QR de una matriz. Del mismo modo que el m´etodo de eliminaci´on de Gauss
´
se traduce en la factorizaci´on LU de una matriz A, en la asignatura de Algebra
de primer curso
se mostr´o que cuando el m´etodo de ortogonalizaci´on de Gram-Schmidt se aplica a las columnas
de una matriz A, se...