Regresion Lineal

 

Materia:
Metodos Numericos


Grupo:
3101 ININ

Profesor:
Ing. Liliana Ramirez Rosales

Trabajo:
Regresion Lineal.

Fecha De Entrega:
Miércoles 30 De Noviembre del 2011

REGRESION LINEAL.

Regresión es un conjunto de técnicas que son usadas para establecer una relación entre una variable cuantitativa llamada variable dependiente y una o más variables independientesllamadas variables predictoras. Las variables independientes también deberían ser cuantitativas, sin embargo es permitido que algunas de ellas sean cualitativas. La ecuación que representa la relación es llamada el modelo de regresión. Si todas las variables independientes fueran cualitativas entonces el modelo de regression se convierte en un modelo de diseños experimentales. Ejemplos de modelos deregression:

a) La variable de respuesta puede ser la tasa de divorcio y una variable predictora puede ser el
nivel de ingreso familiar.

b) El precio de una casa puede ser la variable dependiente y el área, número de cuartos,
número de baños, años de antiguedad pueden ser usadas como variables predictoras.

Para estimar la ecuación del modelo se debe tener una muestra de entrenamiento. En elcaso de una sola variable independiente, esta muestra consiste de n pares ordenados (xi,yi) para i=1,..,n. En el caso de varias variables independientes se deben tener n nuplas (xi,yi), para i=1,..,n, domde xi es el vector de mediciones de las variables predictoras para la i-ésima observación.

La forma de la función f en principio podría ser arbitraria, y tal vez se tenga que la relación másexacta entre las variables peso y altura definidas anteriormente sea algo de la forma3.1

Por el momento no pretendemos encontrar relaciones tan complicadas entre variables, pues nos vamos a limitar al caso de la regresión lineal. Con este tipo de regresiones nos conformamos con encontrar relaciones funcionales de tipo lineal, es decir, buscamos cantidades a y b tales que se pueda escribir
 con el menor error posible entre e Y, o bien

de forma que sea una variable que toma valores próximos a cero.
3.12.4.1 Observación
Obsérvese que la relación 3.12 explica cosas como que si X varía en 1 unidad, varía la cantidad b. Por tanto:
Si b>0, las dos variables aumentan o disminuyen a la vez;
Si b<0, cuando una variable aumenta, la otra disminuye.
Por tanto, en el casode las variables peso y altura lo lógico será encontrar que b>0.
El problema que se plantea es entonces el de cómo calcular las cantidades a y b a partir de un conjunto de n observaciones

de forma que se minimice el error. Las etapas en que se divide el proceso que vamos a desarrollar son de forma esquemática, las que siguen:
1.
Dadas dos variables X, Y, sobre las que definimosmedimos el error que se comete al aproximar Y mediante calculando la suma de las diferencias entre los valores reales y los aproximados al cuadrado (para que sean positivas y no se compensen los errores):

2.
Una aproximación de Y, se define a partir de dos cantidades a y b. Vamos a calcular aquellas que minimizan la función
 

3.
Posteriormente encontraremos fórmulas para el cálculodirecto de a y b que sirvan para cualquier problema.
3.12.4.2 Regresión de Y sobre X
Para calcular la recta de regresión de Y sobre X nos basamos en la figura 3.9.

  
Figura: Los errores a minimizar son las cantidades |
|

Una vez que tenemos definido el error de aproximación mediante la relación (3.13) las cantidades que lo minimizan se calculan derivando con respecto a ambas eigualando a cero (procedimiento de los mínimos cuadrados):
  

La relación (3.15), no es más que otra manera de escribir la relación (3.14), que se denomina ecuaciones normales. La primera de (3.14) se escribe como

Sustituyendo se tiene que

Lo que nos da las relaciones buscadas:

La cantidad b se denomina coeficiente de regresión de Ysobre X.

3.12.4.3 Regresión de X sobre Y
Las...