Minimos cuadrados

PROBLEMAS DE MÍNIMOS CUADRADOS
F. VADILLO

Los mínimos cuadrados es una herramienta muy utilizada desde su invención por Gauss y Legrende hacia el año 1800. En términos de algebra lineal se trata de resolver sistemas lineales Ax = b con más ecuaciones que incógnitas, donde el término resolver se entiende en el sentido de minimizar la norma euclídea de vector residuo r = Ax − b. Estas notas sedividen en dos partes, en la primera se estudia el problema de ajuste de curvas a conjuntos datos que es uno de los principales orígenes de los problemas de mínimos cuadrados. En la segunda parte se comentan los métodos numéricos más habituales para resolver los problemas de mínimos cuadrados.
Resumen.

Índice

1. Introducción 2. Ajustes de curvas por mínimos cuadrados 2.1. Rectas deregresión por mínimos cuadrados 2.2. Ajustes de otras curvas por mínimos cuadrados 2.3. Combinaciones lineales por mínimos cuadrados 3. Solución mínimo cuadrática de sistemas sobre-determinados 3.1. Reectores de Householder 3.2. La factorización QR de una matriz 3.3. Pseudoinversa de una matriz 3.4. Descomposición valores singulares de una matriz 4. Ejercicios Referencias

1 2 2 4 6 8 8 9 10 10 12 131.

Introducción

El término mínimos cuadrados describe el problema muy frecuente de resolver sistemas de ecuaciones lineales sobre-determinados, esto es, sistemas lineales con más ecuaciones que incógnitas. En tal caso, en lugar de resolver las ecuaciones de manera exacta, habitualmente no existe tal solución, se busca sólo minimizar la suma de los cuadrados de los residuos.
1

2

F.VADILLO

Se considera un sistema  a1,1  .  .  . (1.1)  .  . . an,1

lineal de n ecuaciones lineales con m incógnitas    · · · a1,m b1   x .  .. .  1   .   .  . .  .  .  .  .  =  . , . .. .   .  . . . xm · · · an,m bn

que se supone es sobre-determinado, es decir, tiene más ecuaciones que incógnitas (n > m). En notación matricial es (1.2) El vector residuo (1.3)Ax = b.

r = Ax − b,

quizá pueda hacerse pequeño con una adecuada elección de x, pero en general será distinto de cero. Se trata entonces de hacerlo tan pequeño como se pueda en algún sentido y lo que se denomina solución mínimo cuadrática minimiza la norma euclidea del residuo, es decir, el problema se plantea de la siguiente forma:

Dada la matriz A ∈ Rn×m con n > m y el vector b ∈ Rn ,se quiere calcular el vector x ∈ Rm que minimize Ax − b 2 .

En Matlab el operador backslash calcula la solución mínimo cuadrática del sistema: x = A\y utilizando algoritmo de después se estudiaran. ˜

2.

Ajustes de curvas por mínimos cuadrados

2.1. Rectas de regresión por mínimos cuadrados. Una de las fuentes habituales de problemas de mínimos cuadrados son los problemas de ajustes decurvas. Em la ciencia y la ingeniería los experimentos producen un conjunto de datos (x1 , y1 ), ..., (xn , yn ), com las abscisas {xk } diferentes, y el problema que se plantea es determinar una función y = f (x) que relacione los datos, lo mejor posible em algún sentido. Evidentemente, el resultado dependerá del tipo de función que se elija, por ejemplo, em la regresión f (x) = ax + b es unarecta, y para ajustar los parámetros libres se pueden minimizar uno de los siguientes tres valores: El error máximo:
E∞ (f ) = m´x{|f (xk ) − yk | : 1 ≤ k ≤ n}. a

El error medio:
E1 (f ) = 1 n
M

|f (xk ) − yk |.
k=1

PROBLEMAS DE MÍNIMOS CUADRADOS

3

El error medio cuadrático:
E2 (f ) = 1 n
n 1/2

(f (xk ) − yk )
k=1

2

.

Em el método de mínimos cuadrados el error quese minimiza es el error medio cuadrático. Por tanto, la recta de regresión ajusta los parámetros a y b para minimizar el valor
n

(2.1)

E(a, b) =
k=1

(axk + b − yk )2 ,

que son la solución del sistema lineal conocido como ecuaciones normales de

Gauss

n

n

n

x2 k
k=1

a+
k=1 n

xk xk

b =
k=1 n

xk yk , yk ,
k=1

a + nb =

k=1

cuya obtención se deja...