numerico1 04b

Análisis Numérico I

PRACTICA 4b
Aproximación discreta de
mínimos cuadrados.
Aproximación discreta por mínimos cuadrados. En general, los problemas que aparecen en la
ciencia nos enfrentan a la observación de cantidades
que cambian en el tiempo y/o el espacio. Supongamos que este cambio puede ser modelado por una
relación matemática y(x) = f (c1 , . . . , cn ; x) donde x
es el parámetro quedescribe el cambio y c1 , . . . , cn
son n cantidades desconocidas, llamadas parámetros
del modelo, cuyos valores queremos determinar. En
particular consideremos el caso en que el modelo es
lineal en sus parámetros, esto es, la relación funcional
f es lineal respecto de los parámetros c1 , . . . , cn y por
lo tanto puede expresarse como

A sean linealmente independientes o, dicho en forma
equivalente,que el rango de la matriz A sea n. En
tal caso, es fácil ver que la matriz At A es simétrica y
definida positiva1 , con lo cual un método numérico
apropiado para resolver las ecuaciones normales es el
método de Choleski. Sin embargo, en la práctica, muy
a menudo las columnas de A son aproximadamente
linealmente dependientes lo cual conduce a un sistema
de ecuaciones normales con una matriz malcondicionada. Por tal motivo resulta fundamental recurrir a
otra forma de resolución numérica del problema. En
particular el método QR evita la formación de las
ecuaciones normales y garantizan la estabilidad de la
solución frente a los errores de redondeo. Este método
se basa en la existencia de la factorización QR de la
matriz A m × n, cuando la misma es de rango n,
A = QR,

siendo Q es una matrizm × n cuyas columnas son
una base ortonormal del espacio columna de A (con
f (c1 , . . . , cn ; x) =
cj φj (x)
lo cual Qt Q = In ) y R es una matriz cuadrada de
j=1
orden n triangular superior con elementos positivos
para n funciones φj (x) del parámetro x. Un conjunto sobre la diagonal. En tal caso las ecuaciones normales
de m observaciones de f proveerá de valores medidos toman la forma
yiafectados de errores i
(QR)t (QR) x = (QR)t b,
yi = y(xi ) + i
n
es decir
=
φj (xi )cj + i , i = 1, 2, . . . , m.
Rt R x = Rt Qt b
n

j=1

y como R es no-singular, se obtiene R x = Qt b. Así,
Definiendo la matriz de diseño, m×n, A de elementos conocida la factorización QR de A, la solución de míaij = φj (xi ), el vector de parámetros, n × 1, x de ele- nimos cuadrados resulta, pues, por sustituciónhacia
mentos ci , el vector de medidas, m×1, b de elementos atrás del sistema triangular superior
yi , el vector de residuos, m × 1, r de elementos i ,
el conjunto de ecuaciones anteriores puede escribirse
ˆ
ˆ = Qt b.
R x = b,
b
matricialmente como
La subrutina LA_GELS de la biblioteca de rutinas
Lapack95 efectúa este procedimiento para resolver el
problema de mínimos cuadrados.

A x + r = b.

Estarelación constituye nuestro modelo lineal de
las observaciones. Si m ≥ n (más observaciones que
La teoría anterior puede ser aplicada en particular
parámetros) se trata ahora determinar el conjunto de al caso en que la relación funcional del modelo lineal
parámetros x que satisfaga mejor, en algún sentido, sea un polinomio de grado a lo más (n − 1):
el modelo lineal. De acuerdo al método de mínimosn
cuadrados, los estimadores de mínimos cuadrados de
f
(c
,
.
.
.
,
c
;
x)
=
cj xj−1 = c1 +c2 x+· · ·+cn xn−1 .
1
n
los parámetros son aquellos valores que minimizan la
j=1
norma euclideana de los residuos
r

2

= b − Ax

2

= rt r

1/2

Este requisito conduce a que la solución de mínimos
cuadrados debe satisfacer las ecuaciones normales

En este caso la matriz A tiene elementos aij = xj−1
.
i
Losestimadores de mínimos cuadrados conducen así
al ajuste de los datos observacionales por un polinomio
de mínimos cuadradados.

(At A) x = At b,
Ejercicio 1. Mostrar que la recta y = c1 + c2 x que
de donde se sigue que, cuando At A es no-singular, la ajusta por mínimos cuadrados (llamada recta de regresolución de mínimos cuadrados existe y es única. La sión) un conjunto de m datos (xi , yi ), i...