esnor

Aproximaci´n por m´
o
ınimos cuadrados
Juan Piccini
27 de octubre de 2003
Este material se basa en el libro ”Numerical Methods and Software”de David
Kahaner, Cleve Moler y Stephen Nash, Ed. Prentice Hall International
Introducci´n
o
Consideremos el siguiente ejemplo: colocamos una cierta cantidad de sal en un
tanque vac´ y luego comenzamos a llenarlo con agua. Cada cierto tiempo,
ıo,digamos 5 segundos, medimos la concentraci´n de sal en el agua
o
Es de esperar que la concentraci´n decrezca en forma lineal a medida que el
o
tanque se va llenando (¿por qu´?). Si llamamos f (t) a la concentraci´n de sal en
e
o
el tanque medida en el tiempo t, tendremos una relaci´n del tipo f (t) = α+β t.
o
Si graficamos concentraci´n versus tiempo, obtenemos la siguiente gr´fica
o
aDATOS EXPERIMENTALES
82

80

78

Concentración

76

74

72

70

68

66

64

0

1

2

3

4

5

6

7

8
Tiempo

1

9

10

11

12

13

14

15

16

A partir de la misma, vemos que los puntos no est´n alineados. Esto era de
a
esperar, puesto que es inevitable cometer errores en la medici´n, la mezcla de
o
la sal en el agua puede no serhomog´nea, etc. Esta situaci´n es muy com´n
e
o
u
en todas las ramas de las ciencias e ingenier´ : efectuamos mediciones de un
ıas
cierto fen´meno, obteniendo datos y deseamos obtener un modelo que explique
o
dichos datos. En el ejemplo anterior, dicho modelo nos permitir´ por ejemplo,
a
predecir el valor de la concentraci´n en tiempos entre medidas. O puede suceder
o
que disponemos deun modelo, y queremos someterlo a prueba (ver qu´ tan bien
e
ajusta los datos provenientes de nuevos experimentos). Pero los datos siempre
vienen con errores . ¿Qu´ se puede hacer al respecto?.
e
Para ello, adoptaremos de aqu´ en m´s una notaci´n conveniente, que nos perı
a
o
mita un planteo lo m´s general posible.
a
Supongamos que tenemos datos (t1 , b1 ), (t2 , b2 ), ..., (tm , bm )correspondientes a
una cierta funci´n f que es quien est´ ”detr´s”de los datos (y a la cual nos
o
a
a
gustar´ conocer). En el ejemplo anterior, t1 , ..., t15 son los tiempos en los cuales
ıa
medimos la concentraci´n, y b1 , ..., b15 los valores de la concentraci´n en dichos
o
o
tiempos.
En una situaci´n ideal, tendr´
o
ıamos bi = f (ti )∀i = 1...m. Sin embargo, en la
realidad lo quetenemos es bi ≈ f (ti ).
Asumiremos que: observaci´n = modelo + error, o lo que es lo mismo,
o
bi = f (ti ) + ei ∀ i = 1, .., m, donde las ei son variables aleatorias iid ∼ N (0, σ 2 )
(que es la hip´tesis habitual sobre los errores).
o

2

1.

M´
ınimos cuadrados, caso lineal

M´s espec´
a
ıficamente, asumiremos que el modelo es de la forma
f (ti ) = x1 φ1 (ti ) + x2 φ2 (ti ) + ...+ xn φn (ti ). Las funciones φj , j = 1...n se llaman
funciones modelo. En nuestro ejemplo, bi ≈ f (ti ),
donde f (ti ) = x1 + x2 ti ∀i = 1...m, con φ1 (t) = 1 ∀t, φ2 (t) = t ∀t. Los coeficientes xj (en el ejemplo x1 = α y x2 = β) son los par´metros del modelo,
a
los n´meros que querremos hallar. Como nuestro modelo depende de dichos
u
par´metros, en realidad tendremos f (x1 , x2 , ti ) = x1+ x2 ti , y en general,
a
f (x1 , x2 , ..., xn , ti ) = x1 φ1 (ti ) + x2 φ2 (ti ) + ... + xn φn (ti ). Notemos que estamos
diciendo que el fen´meno puede explicarse por una funci´n f que es combinaci´n
o
o
o
lineal de {φ1 , ..., φn }, y que los par´metros del modelo son los coeficientes de
a
dicha combinaci´n. Por eso diremos que tenemos un modelo lineal (lineal en
o
x). Por ejemplo, f(t) = x1 + x2 t, f (t) = x1 exp(t) + x2 sin(t) + x3 t2 son
ejemplos de modelos lineales, mientras que f (t) = x1 tx2 o f (t) = x1 exp(x2 t)
no lo son.
Volviendo al tema, si tenemos los datos (t1 , b1 ), ..., (tm , bm ) y el modelo
bi ≈ x1 φ1 (ti ) + ... + xn φn (ti ), entonces tendremos las ecuaciones :
x1 φ1 (t1 ) + x2 φ2 (t1 ) + · · · + xn φn (t1 ) ≈ b1
x1 φ1 (t2 ) + x2 φ2 (t2 ) + · · ·...