Modelos Lineales

MA34B – ESTADÍSTICA MODELOS LINEALES
Prof. Rodrigo Abt B. ma34b.abt@gmail.com

INTRODUCCIÓN
En muchas oportunidades a un investigador le interesa saber cómo el comportamiento de un conjunto de variables impacta sobre otra, no solo desde el punto de la influencia o grado de asociatividad, sino que describir la posible relación funcional entre las mismas. Muchas leyes de ciencias experimentalescomo la Física y la Biología intentan construir modelos basados en experimentos en que interviene el azar, lo que hace impracticable una formulación determinista. Es decir dado un conjunto de variables explicativas X(1), X(2),…,X(p) y una variable de interés Y, se intenta determinar la relación que existe entre ellas a través de una forma funcional f: Y = f(X(1), X(2),…,X(p))‫‏‬ Un tipo de formafuncional de interés es la forma lineal, es decir, aquella en que Y depende linealmente de las “p” variables explicativas: Y = β0+β1X(1)+β1X(1)+…+βpX(p)‫‏‬

CASO: 1 VARIABLE EXPLICATIVA
Supongamos que hemos recopilado la siguiente tabla con observaciones:

CASO: 1 VARIABLE EXPLICATIVA
Si graficamos los valores:

CASO: 1 VARIABLE EXPLICATIVA
Se observa un tendencia lineal positiva (locual puede ser corroborado con el coeficiente de correlación lineal). Podríamos suponer entonces que Y es una función lineal de X, es decir Y = a+bX. El problema es, ¿cómo determino los valores de a y b? Podríamos probar al ojo primero:

CASO: 1 VARIABLE EXPLICATIVA

R2 R3 R1

CASO: 1 VARIABLE EXPLICATIVA
De las 3 rectas representadas, R1, R2 y R3, ¿Cuál es la que mejor representa larelación?¿Qué criterio utilizaría para determinar la mejor recta? La intuición nos dice que aquella recta que se encuentre “más cerca” de los puntos será mejor. Una manera de medir “cercanía” es a través de distancias. Sea ŷ = a+bx la recta buscada. Si definimos y-ŷ como la diferencia entre lo observado y lo predicho, esperaremos que estas diferencias sean pequeñas.

CRITERIO DE LOS MÍNIMOS CUADRADOSSea

Entonces buscamos valores de a y b tales que Q sea mínimo. Basta entonces con derivar e igualar a 0:

Y obtenemos un sistema de ecuaciones que al resolver nos da:

OBSERVACIONES
Este método se denomina Mínimos Cuadrados Ordinarios (MCO)‫‏‬ Este es un método NUMÉRICO que nos proporciona el mejor ajuste de coeficientes para un conjunto de datos. Como no hacemos suposiciones estadísticasrespecto del problema, no es posible llevar a cabo estimaciones ni tests de hipótesis.

CASO MULTIVARIADO
Consideremos un modelo lineal general con un conjunto de “k” variables independientes o “regresores”:

La expresión anterior se puede escribir matricialmente como:

SOLUCIÓN MCO
Para encontrar la recta de mejor ajusta, podemos utilizar el mismo criterio que en el caso bivariado, esdecir buscar β1,β2,…,βk tales que Q = ∑εi2 sea mínimo, es decir, se tiene que resolver:

Derivando con respecto a cada coeficiente β, e igualando a 0, se tiene un sistema de “k” ecuaciones.

SOLUCIÓN MCO
El resultado del sistema, escrito de manera matricial es:

Este resultado requiere que la matriz XtX sea invertible, es decir, que las columnas de X sean l.i. NOTA: Este resultado se puedeobtener directamente aplicando derivadas a la expresión matricial.

INTERPRETACIÓN GEOMÉTRICA

SX
Se busca aproximar y que es de dimensión “n” por un vector y = Xβ (de dimensión “k”) contenido en el subespacio generado por las columnas de X (Sx). Para constituir una “buena” aproximación, el vector “y” debe encontrarse “cerca” de “y” dentro del subespacio Sx. El vector requerido se obtieneproyectando ortogonalmente y sobre el subespacio Sx.

INTERPRETACIÓN GEOMÉTRICA

SX
Si P es el operador de proyección de y sobre Sx, entonces Xβ = Py El operador P se puede encontrar en función de X, dado que el vector ε = y-ŷ = y–Py es ortogonal a cada columna de X.

INTERPRETACIÓN GEOMÉTRICA
Se cumple entonces que:

De manera matricial:

Esta última expresión da origen al sistema de...