Modelos Lineales

M A34B – ESTADÍSTICA
MODELOS LINEALES
Prof. Rodrigo Abt B.
ma34b.abt@gmail.com

I NTRODUCCIÓN
En muchas oportunidades a un investigador le interesa saber cómo el comportamiento de un
conjunto de variables impacta sobre otra, no solo desde el punto de la influencia o grado de
asociatividad, sino que describir la posible relación funcional entre las mismas.
Muchas leyes de cienciasexperimentales como la Física y la Biología intentan construir
modelos basados en experimentos en que interviene el azar, lo que hace impracticable una
formulación determinista.
Es decir dado un conjunto de variables explicativas X(1), X(2),…,X(p) y una variable de interés Y,
se intenta determinar la relación que existe entre ellas a través de una forma funcional f:
Y = f(X(1), X(2),…,X(p))‫‏‬
Untipo de forma funcional de interés es la forma lineal, es decir, aquella en que Y depende
linealmente de las “p” variables explicativas:
Y = β0+β1X(1)+β1X(1)+…+βpX(p)‫‏‬

C ASO: 1 VARIABLE EXPLICATIVA
Supongamos que hemos recopilado la siguiente tabla con observaciones:

C ASO: 1 VARIABLE EXPLICATIVA
Si graficamos los valores:

C ASO: 1 VARIABLE EXPLICATIVA
Se observa un tendencialineal positiva (lo cual puede ser corroborado con el coeficiente de
correlación lineal).
Podríamos suponer entonces que Y es una función lineal de X, es decir Y = a+bX.
El problema es, ¿cómo determino los valores de a y b?
Podríamos probar al ojo primero:

C ASO: 1 VARIABLE EXPLICATIVA

R2
R3
R1

C ASO: 1 VARIABLE EXPLICATIVA
De las 3 rectas representadas, R1, R2 y R3, ¿Cuál es la quemejor
representa la relación?¿Qué criterio utilizaría para determinar la mejor
recta?
La intuición nos dice que aquella recta que se encuentre “más cerca”
de los puntos será mejor.
Una manera de medir “cercanía” es a través de distancias.
Sea ŷ = a+bx la recta buscada.
Si definimos y-ŷ como la diferencia entre lo observado y lo predicho,
esperaremos que estas diferencias sean pequeñas.

CRITERIO DE LOS MÍNIMOS
C UADRADOS
Sea

Entonces buscamos valores de a y b tales que Q sea mínimo.
Basta entonces con derivar e igualar a 0:

Y obtenemos un sistema de ecuaciones que al resolver nos da:

O BSERVACIONES
Este método se denomina Mínimos Cuadrados Ordinarios (MCO)‫‏‬
Este es un método NUMÉRICO que nos proporciona el mejor ajuste de
coeficientes para un conjunto de datos.Como no hacemos suposiciones estadísticas respecto del problema,
no es posible llevar a cabo estimaciones ni tests de hipótesis.

C ASO MULTIVARIADO
Consideremos un modelo lineal general con un conjunto de “k” variables independientes o
“regresores”:

La expresión anterior se puede escribir matricialmente como:

S OLUCIÓN MCO
Para encontrar la recta de mejor ajusta, podemos utilizar elmismo criterio que en el caso
bivariado, es decir buscar β1,β2,…,βk tales que Q = ∑εi2 sea mínimo, es decir, se tiene que
resolver:

Derivando con respecto a cada coeficiente β, e igualando a 0, se tiene un sistema de “k”
ecuaciones.

S OLUCIÓN MCO
El resultado del sistema, escrito de manera matricial es:

Este resultado requiere que la matriz XtX sea invertible, es decir, que
lascolumnas de X sean l.i.
NOTA: Este resultado se puede obtener directamente aplicando
derivadas a la expresión matricial.

INTERPRETACIÓN GEOMÉTRICA

SX
Se busca aproximar y que es de dimensión “n” por un vector y = Xβ (de dimensión “k”) contenido en
el subespacio generado por las columnas de X (Sx).
Para constituir una “buena” aproximación, el vector “y” debe encontrarse “cerca” de “y”dentro del
subespacio Sx.
El vector requerido se obtiene proyectando ortogonalmente y sobre el subespacio Sx.

INTERPRETACIÓN GEOMÉTRICA

SX
Si P es el operador de proyección de y sobre Sx, entonces Xβ = Py
El operador P se puede encontrar en función de X, dado que el vector ε = y-ŷ = y–Py es ortogonal a
cada columna de X.

INTERPRETACIÓN GEOMÉTRICA
Se cumple entonces que:

De manera...