practica

SESIÓN N° 16:

Regresión Lineal – Método de Mínimos Cuadrados
I
OBJETIVOS




Comprender los conceptos de regresión lineal y ajuste de curvas.
Aplicar algoritmos iterativos que resuelvan el método de mínimos cuadrados.
Valorar los beneficios que proveen los algoritmos iterativos para resolver problemas de
regresión lineal.

II
TEMAS A TRATAR





Introducción.Método de MÍNIMOS CUADRADOS.
Regresión Lineal
Resumen

III
MARCO TEORICO
1.

INTRODUCCIÓN
Mínimos cuadrados es una técnica de análisis numérico encuadrada dentro de la
optimización matemática, en la que, dados un conjunto de pares ordenados: variable
independiente, variable dependiente, y una familia de funciones, se intenta encontrar la
función, dentro de dicha familia, que mejor seaproxime a los datos (un "mejor ajuste"), de
acuerdo con el criterio de mínimo error cuadrático.
En su forma más simple, intenta minimizar la suma de cuadrados de las diferencias en las
ordenadas (llamadas residuos) entre los puntos generados por la función elegida y los
correspondientes valores en los datos. Específicamente, se llama mínimos cuadrados
promedio (LMS) cuando el número de datosmedidos es 1 y se usa el método de
descenso por gradiente para minimizar el residuo cuadrado. Se puede demostrar que LMS
minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración),
pero requiere un gran número de iteraciones para converger.
Desde un punto de vista estadístico, un requisito implícito para que funcione el método de
mínimos cuadrados es que los errores decada medida estén distribuidos de forma

Mgter. Ángel Montesinos Murillo

Sesión N° 16

Laboratorio de Métodos Computacionales

Página 105

aleatoria. El teorema de Gauss-Márkov prueba que los estimadores mínimos cuadráticos
carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, a una
distribución normal. También es importante que los datos a procesar esténbien
escogidos, para que permitan visibilidad en las variables que han de ser resueltas.
La técnica de mínimos cuadrados se usa comúnmente en el ajuste de curvas. Muchos
otros problemas de optimización pueden expresarse también en forma de mínimos
cuadrados, minimizando la energía o maximizando la entropía.

2.

MÉTODO DE MÍNIMOS CUADRADOS
Este es el método más popular de estimación deparámetros de coeficientes de modelos
de regresión. Este tiene conocidas

distribuciones de probabilidad y da estimadores

insesgados de parámetros de regresión con la menor varianza.
Nosotros

queremos

el

método

para

predecir

la

respuesta

a

n

puntos

( x1 , y1 ), ( x2 , y 2 ),......, ( xn , y n ) por un modelo de regresión dado por:
y  f (x)
Donde, la funciónf (x) tiene constantes de regresión que necesitan ser estimadas.

Por Ejemplo:

f ( x)  a0  a1 x es un modelo de regresión lineal con constantes a0 y a1 .
f ( x)  a0e a1x es un modelo exponencial con constantes a0 y a1 .
f ( x)  a0  a1 x  a2 x 2 es un modelo cuadrático con constantes a0 , a1 y a2 .
Una medida de bondad de ajuste, que es como el modelo de regresión

f (x) predice lavariable respuesta y es la magnitud de la residuos, E i en cada uno de los n puntos de
datos.

Ei  yi  f ( xi ), i  1,2,....n
Idealmente, si todos los residuos

Ei son cero, uno puede haber encontrado una ecuación

en la que todos los puntos se encuentran en un modelo. Por lo tanto, la minimización de
los residuos es un objetivo para obtener coeficientes de regresión.
En el método demínimos cuadrados, las estimaciones de las constantes de los modelos
se eligen de manera que la minimización de la suma de los cuadrados de los residuos se
logra, que se minimizen

n

E
i 1

Mgter. Ángel Montesinos Murillo

2
i

.

Sesión N° 16

Laboratorio de Métodos Computacionales

Página 106

¿Por qué minimizar la suma de los cuadrados de los residuos?
¿Por qué...