jpiuhhi

CLASE 13. RECTA DE REGRESIÓN Y AJUSTE DE CURVAS.
Supóngase que un conjunto de datos {(x0, y0), (x1, y1), , (xm , ym)} proviene de un experimento del cual
se conoce el comportamiento esperado. Es decir, existe una función f y se espera que f (xk) = yk. Esto
podría no ocurrir debido a errores en la medición, pero aún así puede resolverse el problema de encontrar
los parámetros que minimizan elerror ek = f (xk) − yk.
Por ejemplo, si se toman m mediciones {xk }, {yk } y la teoría del experimento indica que estos datos presentan
una relación lineal, es decir, que existe constantes a y b tales que yk = f (xk) = axk + b entonces uno podría
preguntarse cómo encontrar estos valores.
Si las mediciones fueran exactas bastarían tan solo dos datos para despejar estas constantes pues y1 − y0 =y −y
a(x1 − x0) ⇒ a = x1 − x0 y b = y0 − ax0. Pero, por supuesto, estamos pensando que el conjunto de datos
1
0
fue obtenido con mediciones físicas que involucran siempre un nivel de error asociado a la precisión de
los instrumentos. La pregunta es, entonces, ¿cuáles de los posibles valores para A y B minimizan el error
yk − axk − b globalmente? Esto es, la recta y = ax + b que pasa lo máscerca posible de todos los puntos
aunque no necesariamente a través de ellos.
Para estimar el error se pueden usar una variedad de normas, pero en lo que sigue utilizaremos la norma 2,
x 2 6 ( n |xi |2)1/2, es decir, la norma usual de Rn. Así que buscamos, en el caso de la recta, constantes
i=1
a, b que minimizan el error total absoluto
1/2

m

|axk + b − yk |2
k=0

o, lo que es lomismo,
m

(axk + b − yk)2

(1)

k=0

Recta de mínimos cuadrados
Sea {(xk , yk)}m un conjunto de m + 1 datos. La recta de mínimos cuadrados y = f (x) = ax + b es la línea
k=0
que minimiza el error global (1).
2
Para ello, introducimos la función E(a, b) 6 m
k=0 axk + b − yk , que es una función en las variables a y
b. Lo que se quiere, entonces, es encontrar el mínimo de la funciónE. El cálculo de varias variables indica
∂E
∂E
que tal mínimo debe ser un punto crítico de E, es decir, que ∂a = ∂b = 0, así que derivamos con respecto a
a y b y obtenemos
m
k=0
m
k=0

2(axk + b − yk)xk = 0
.
2(axk + b − yk) = 0

Equivalentemente,
2
2

m
k=0
m
k=0

(ax2 + bxk − xkyk) = 0
k
(axk + b − yk) = 0

(
(

m
k=0
m
k=0

m

m

x2 )a + ( k=0 xk)b = ( k=0xkyk)
k
m
xk)a + (m + 1)b = ( k=0 yk)

(2)

es decir, a y b es la solución del sistema lineal (2).
Tal sistema se conoce como sistema de ecuaciones normales, por la teoría de álgebra lineal. Esto es, si
se quiere resolver el sistema Mz = p, donde M es una matriz m × n y m > n (es decir, el sistema está
sobredeterminado) puede resolverse el sistema normal asociado M TMz = M Tp.
1Esto ofrece otra manera de resolver el problema de ajuste de mínimos cuadrados. El sistema original sería
aquel con ecuaciones yi = axi + b, i = 0, , m que está sobredeterminado pues hay dos incógnitas y m + 1
ecuaciones. Minimizar el error Mz − p 2 es equivalente a resolver el sistema normal asociado. Escribimos
2
el sistema original en términos matriciales así:





x0 1
 x1 1  a


 b
xm 1
z


y0
 y 
= 1 


ym

M

p

que, corresponde, claramente a las m + 1 ecuaciones yi = axi + bi. Buscamos resolver entonces el sistema
para el vector z, y para ello consideramos el sistema normal M TMz = M Tp que tiene matriz de coeficientes
de orden n × n así que está bien determinado.
Ahora,

M TM =

x0 x1
1 1

xm
1

y

M Tp =

x0 x1
1 1


x0 1
 x1 1 

=


xm 1

xm
1




y0
 y1 

=


ym

m
i=0
m
i=0

x2
i
xi

m
i=0

xi
m+1

m
i=0 xiyi
m
i=0 yi

.

Con esto, claramente resolver el sistema normal M TMz = M Tp es equivalente a resolver (2), sin embargo,
nótese que las deducciones provienen de caminos distintos: una del cálculo multivariado y la otra del álgebra...