regresion lineal

PICI-109 Análisis de Datos

01-04-2013

PICI-109 Análisis de Datos

Clase 2.1
Capítulo II. Modelo de Regresión
Lineal Múltiple
Abril 01, 2013

II. Modelo de Regresión Lineal Múltiple
• El modelo de regresión lineal se utiliza para estudiar la
relación que existe entre una variable dependiente y varias
variables independientes. La forma genérica del modelo de
regresión lineal es:donde
yi = variable dependiente o explicada
xik= variables independientes o explicativas
i = indica las n observaciones muestrales
k = indica el número de variables explicativas
 = perturbación aleatoria (residuos o errores)
• Si  no fuera una v.a., la relación sería determinística estable

Dr. Nicolás Bronfman
Depto. Ciencias de la Ingeniería

1

PICI-109 Análisis de Datos01-04-2013

II. Modelo de Regresión Lineal Múltiple

II.1. Estimación de Parámetros por MCO
•

El vector de coeficientes de mínimos cuadrados minimiza la
suma de los cuadrados de los residuos:

•

Los estimadores de mínimos cuadrados deben satisfacer

Dr. Nicolás Bronfman
Depto. Ciencias de la Ingeniería

2

PICI-109 Análisis de Datos

01-04-2013

II.1.1. Ecuaciones Normales•

La forma matricial de las ecuaciones normales es:

•

Para resolver las ecuaciones normales se multiplican ambos
lados por la inversa de X’X.

II.1.1. Ecuaciones Normales
•

(X’X)-1 existe dado el supuesto de rango completo de la
matriz X.

•

Para lograr que se minimice la suma de los cuadrados, debe
cumplirse que:

Dr. Nicolás Bronfman
Depto. Ciencias de la Ingeniería

3PICI-109 Análisis de Datos

01-04-2013

II.1.2. Modelo Ajustado y Valor Residual
•

El modelo ajustado de regresión que corresponde a los
niveles de las variables explicativas x’ = [1, x1, x2,..., xk] es

•

Por su parte, el vector de valores ajustados
corresponden a los valores observados yi es

•

Los n residuales se pueden escribir como

que

II.1.3. Normalidad y laDistribución de
•

En general, el analista puede elegir los valores de X (por
ejemplo, resultados de una encuesta, datos históricos, etc.),
por lo que las variables explicativas pueden considerarse
como no estocásticos.

•

Las propiedades del estimador de mínimos cuadrados
pueden obtenerse tratando X como una matriz de
constantes

Dr. Nicolás Bronfman
Depto. Ciencias de la Ingeniería4

PICI-109 Análisis de Datos

01-04-2013

II.1.3. Normalidad y la Distribución de

El modelo ajustado de regresión que corresponde a los niveles
de las variables regresoras x’ = [1, x1, x2,..., xk] es

•

Si X es no estocástico, entonces

II.1.3. Normalidad y la Distribución de
•

La matriz de
cuadrados es:

Dr. Nicolás Bronfman
Depto. Ciencias de la Ingenieríacovarianzas

del

estimador

de

mínimos

5

PICI-109 Análisis de Datos

01-04-2013

II.1.3. Normalidad y la Distribución de
• Recordar: cualquier función lineal de un vector de variables
distribuidas conjuntamente como una normal, también
distribuye normal.
• Luego, como   N[0, 2I], y
, entonces:

es una combinación lineal de

• Esta es una distribución normalmultivariante, por lo que
cada elemento de /X distribuye normal.

II.1.3. Normalidad y la Distribución de
• NOTA: El supuesto de normalidad de las perturbaciones sólo
es importante cuando trabajamos con una muestra pequeña.
Para el caso de muestras grandes, solo basta que las
perturbaciones tengan alguna distribución, ya que por el TCL
/X distribuirá normal.

Dr. Nicolás Bronfman
Depto. Ciencias dela Ingeniería

6

PICI-109 Análisis de Datos

01-04-2013

II.1.4. Estimación de 2
•

Se puede desarrollar un estimador de 2 a partir de la Suma
de Cuadrados de Residuales, o Suma de Cuadrados de Error.

Repaso: La Distribución Chi-cuadrado (2)
•

Si z ~ N[0,1], entonces
Es decir, z2 distribuye chi-cuadrado con un grado de
libertad. En general, los “grados de libertad”...