Regresion

MODELO DE REGRESIÓN LINEAL SIMPLE
Los Modelos de Regresión estudian la relación entre una variable de interés y un conjunto de variables explicativas.
Cuando se estudia la relación entre una variable de interés, variable respuesta o variable dependiente Y, y un conjunto de variables regresoras (explicativas, independientes) (X1, X2, … Xp) puede darse las siguientes situaciones:

Existeuna relación funcional entre ellas, en el sentido de que el conocimiento de las variables regresoras determina completamente el valor que toma la variable respuesta, esto es,
Y = m (X1, X2, … Xp)
Ejemplo: la relación que existe entre el tiempo (Y) que tarda un móvil en recorrer una distancia y dicha distancia (X) a velocidad constante  

No exista ninguna relación entre la variablerespuesta y las variables regresoras, en el sentido de que el conocimiento de éstas no proporciona ninguna información sobre el comportamiento de la otra. 
Ejemplo: la relación que existe entre el dinero (Y) que gana una persona adulta mensualmente y su altura (X).

El caso intermedio, existe una relación estocástica entre la variable respuesta y las variables regresoras, en el sentido de que elconocimiento de éstas permite predecir con mayor o menor exactitud el valor de la variable respuesta. Por tanto siguen un modelo de la forma,
Y = m (X1, X2, … Xp) + ε
Siendo m la función de regresión desconocida y  ε una variable aleatoria de media cero (el error de observación).
El objetivo básico en el estudio de un modelo de regresión es el de estimar la función de regresión, m,  y ladistribución que sigue el error aleatorio

RECTA DE REGRESIÓN
El modelo de regresión más sencillo es el Modelo de Regresión Lineal Simple que estudia la relación lineal entre la variable respuesta Y y la variable regresora X, a partir de una muestra (Xi , Yi)i = 1,…,n que sigue el siguiente modelo:
Y = a + b X,
a se denomina la ordenada en el origen y b la pendiente de la recta.
De manera queel modelo a ajustar es
Yi = a + bXi + εi i = 1,2,…,n.
En forma matricial Y = a1 + bX + e
donde Y` = (y1, y2, …, yn), 1` =(1,1,…,1), X` =(x1, x2, …, xn), ε`= (ε1, ε 2,… ε n)
Se supone que se verifican las siguientes hipótesis:
1. La función de regresión es lineal,
m(xi) = a + bxi nos da la media de la variable dependiente para un valor de la variable independiente
O,equivalentemente, E(ε i) = 0, i = 1,...,n.
2. La varianza es constante (homocedasticidad),
V ar(ei )= 2, i = 1,...,n.
3. La distribución es normal,
Y/X=xi ~ N(a + bxi , σ2)
O, equivalentemente, εi ~ N(0,σ2), i = 1,...,n.
4. Las observaciones Yi son independientes. Bajo las hipótesis de normalidad, esto equivale a que la Cov(Y iY j) = 0, si i ≠ j.
Esta hipótesis en función de los erroressería “los εi son independientes”, que bajo normalidad, equivale a que Cov(εi , εj ) = 0, si i ≠ j.

En el modelo de regresión lineal simple hay tres parámetros que se deben estimar: los coeficientes de la recta de regresión, a y b y la varianza de la distribución normal, σ 2.
El cálculo de estimadores para estos parámetros puede hacerse por diferentes métodos, nosotros utilizamos el métodode mínimos cuadrados.
Dado un valor de X, xi, tenemos los dos valores de Y, el observado, yi, y el teórico o predicho, = a +bxi Los residuos se definen ei = yi-
Así pues, hemos de minimizar:

Que derivando respecto a a y a b e igualando a cero:

Que nos dará un sistema de dos ecuaciones normales y dos incógnitas (a, b). Resolviendo elsistema:

Y obtenemos que la recta de regresión de Y sobre X es y = a + bx con los valores a y b anteriormente calculados, o bien la siguiente expresión:

Que sería la misma recta pero expresada en punto pendiente. A la pendiente b de la recta de regresión de Y sobre X se le denomina coeficiente de...