Regresión Simple


Metodología
El modelo general de Análisis de Regresión para dos o más variables es de la forma
, donde es un vector de observaciones de tamaño (nx1) y representa la variable a explicar odependiente, beta es un vector de parámetros que se suponen de tamaño (px1), es una matriz con las variables independientes escritas en forma de columnas de tamaño (nxp), la primera columnas es de 1’s encaso de que el modelo tenga intercepto, si no lo tiene, la primera columna representa a la primera variable incluida en el modelos, más un vector de tamaño (nx1) representando a los erroresaleatorios , de los cuales se suele suponer que distribuyen normal media 0 ( )y varianza constante (), para cada observación en la muestra . Para estimar el parámetro, podemos usar mínimos cuadrados o máximaverosimilitud, en el primer caso y en el segundo, el estimador de coincide, sólo que a través de caminos distintos y con distintas consecuencias. Para mínimos cuadrados, se quiere minimizar la suma decuadrados de la diferencia entre los valores observados y los valores esperados teóricos de la forma:

A través de la suma de cuadrados


Diferenciando respecto a beta e igualando a 0 en formamatricial el parámetro a estimar por mínimos queda como:

El cual comentábamos coincide con el estimador máximo verosímil, solo que el método por mínimos cuadrados no permite poder construiralgunas cosas, como los test T de Student para la significancia individual de los parámetros, para obtener una distribución en el test F de la tabla ANOVA, entre otras. La tabla ANOVA y la descomposición dela varianza puede obtenerse por mínimos cuadrados sin la necesidad del supuesto de normalidad, el cual nos sirve para poder obtener regiones de confianza o test de hipótesis, la idea es la siguiente:La suma de cuadrados asociada a la variabilidad de la Y es
=
La que puede ser descompuesta es una parte que es debida a la regresión (o las X) y una parte debida al error. La parte debida a...