Modelo de regresión lineal clásico

Modelo de Regresión Lineal clásico.

A partir de los datos observados de la variable “y” y de algunos[pic], intentamos inferir las propiedades estocásticas del vector de variables [pic].
La función de distribución conjunta de todas estas variables es el PROCESO GENERADOR DE DATOS ( a partir de unos datos buscamos la relación de la que proceden los datos). Como el número de variablesexplicativas es suficientemente grande , marginalizamos el estudio de las propiedades estocásticas.
Pasamos de ese vector [pic]a otro[pic] siendo “z” poco relevante para explicar “y”. Las “x” las podemos contemplar como exógenas. El estudio de [pic] se reduce al estudio de[pic]( esto es “y” condicionado a “x”).
Si suponemos una distribución normal multivariante, el estudio quedaría reducido a:
a.-[pic], esto es, la regresión de “y” frene a “x”; y
b.- [pic], esto es, el comportamiento medio de “y” respecto al comportamiento medio de x. Si suponemos que [pic] son series temporales, suponemos también que los procesos que generan esas series temporales son estacionarios. La dependencia entre [pic] no sabemos “ a priori” si es dinámica o contemporánea.
[pic]

Modelo de Regresión Lineal ClásicoEl modelo de regresión lineal clásico (MRLC) recoge relaciones contemporáneas, y por eso [pic], porque son los parámetros que recogen las relaciones dinámicas.

I .- Representación del MRLC con k variables: [pic]
Hay un término no implícito con el MRLC, y es [pic], ya que no es necesario, sólo en algunos casos aparece la constante ([pic]).
|Población |[pic]|
| |( Modelo Lineal Uniecuacional estático) |
|Muestra |[pic] |
|i=1,..n | |

“ A priori” podríamos haber observado infinitas muestras ( principio de variabilidad muestral).[pic]
Mj es la muestra que observamos.
El problema de la inferencia es, una vez observada Mj, ¿ Qué parámetros [pic] poblacionales son los que han generado la muestra?. Hay que dotarse de criterios para trasladar la muestra a la población y esos serán mínimos cuadrados y máxima verosimilitud.

| |Criterio Mínimos Cuadrados |Criterio Máxima verosimilitud|
|I |No hay necesidad de introducir supuestos sobre la |Necesitamos introducir supuestos sobre la función de distribución. |
| |función de distribución. | |
|II |[pic]permite calcular los [pic]poblacionales que |Siempre ocurre lo más probable ( si hemoscogido Mj, es que es la |
| |hacen mínimos la suma de cuadrados de los residuos. |más probable en función de los valores poblacionales). Busco el |
| | |estimador de máxima probabilidad ( Verosimilitud máxima respecto a |
| | |los [pic]poblacionales).|
|III |[pic] |[pic]; si además [pic] |
| | |entonces [pic] |

II .- Resultados algebraicos: Son resultados que no dependen del MRLC.

1.- [pic]; si [pic]

La suma de ladiferencia es cero ,[pic]; y si premultiplicamos todo por [pic].

2.- La suma de cuadrados de los valores observados es igual a la suma de cuadrados de los valores ajustados más la suma de cuadrados de los residuos.
[pic]

[pic]
3.- Variabilidad en torno al nivel medio ( a veces en libros como suma de cuadrados).
1.- Variabilidad total: [pic]; Suma de cuadrados de la regresión.
2.-...