Problemas De Regresion

Unidad 1 Regresión lineal simple y múltiple 1.5 Regresión lineal múltiple En la mayor parte de los problemas de investigación donde se aplica el análisis de regresión se necesita más de una variable independiente en el modelo de regresión. La complejidad de la mayor parte de los mecanismos científicos es tal que para ser capaces de predecir una respuesta se necesita un modelo de regresiónmúltiple. Esta respuesta se obtiene con la ecuación de regresión:
⌢ Y = b 0 + b1x 1 + b 2 x 2 + ........ + b k x k k = Número de variables independientes
Donde cada uno de los coeficientes b0 , b1 , b2 ,....bk , se estiman con el uso del método de mínimos cuadrados.

Estimación de los coeficientes
Para encontrar los valores bi , donde i = 1, 2...k , se genera un conjunto de l = k + 1 ecuacionesnormales, estas ecuaciones se pueden resolver mediante cualquier método de resolución de sistemas de ecuaciones lineales.

∑y ∑x y ∑x y
1 2

=

nb 0 + b1 ∑ x 1 + b 2 ∑ x 2 + .................
2 1

+b k ∑ x k

= b0 ∑ x 1 + b1 ∑ x + b 2 ∑ x 1x 2 ........... +b k ∑ x 1x k
2 = b0 ∑ x 2 + b1 ∑ x 1x 2 + b 2 ∑ x 2 .......... +b k ∑ x 2 x k

.

.
k

.

.

∑x

y

= b 0 ∑ x k + b1 ∑ xk x 1 + b 2 ∑ x k x 2 ......... +b k ∑ x k2

Para nuestro análisis de regresión vamos a definir estas ecuaciones en forma matricial, esta notación permite formular resultados generales en forma compacta y usar con gran ventaja los resultados de la teoría de matrices. Es costumbre denotar las matrices con letras mayúsculas en negritas y los vectores con letras minúsculas en negritas. Parexpresar las ecuaciones dadas en el párrafo anterior, en una notación matricial, definimos las siguientes tres matrices 1 x 11 . x 1n   y1   b0        1 x 21 . x 2 n  y 2 b   y =  y b = 1 X =    .   . . . . .      1 x y  b  . x nk  n1   n  k La primera X , es una matriz de n ×(k + 1) que consiste en los valores dados de las x , con la columna de términos 1agregada para acomodar el término constante, el vector y de

Unidad 1 Regresión lineal simple y múltiple
n ×1 que consiste en los valores observados de la variable de respuesta y , y el vector b de

(k +1)×1 que consiste en las estimaciones por mínimos cuadrados de los coeficientes de
regresión. Las estimaciones por mínimos cuadrados de los coeficientes de regresión múltiple están dadas porb = ( XT X) ( XT y )
-1

Donde XT es la transpuesta de X y ( XT X) es la inversa de XT X . Para verificar esta relación, determinamos primero XT X , XT Xb y XT y

-1

 n   ∑x1 XT X =   .  x  ∑ k

∑x ∑x
.

1 2 1

. . .

∑x ∑x x

∑x

k

x1 .

  b0 n    b ∑x1 1 k  XT Xb =  0  . .    b ∑ x k2   0 ∑ x k
k

b1 ∑ x 1 b1 ∑ x 12 . b1 ∑ x k x 1

b k∑ x k  . b k ∑ x 1x k   . .  2  . b k ∑ x k  .

 ∑y     x 1 y  ∑ XT y =  .    x y  ∑ k  Se observan que los elementos de XT Xb son las expresiones en el lado derecho de las ecuaciones lineales y los de XT y son las expresiones en el lado izquierdo, se puede escribir; XT Xb = XT y Ahora multiplicando por la izquierda por ( XT X) , obtenemos
-1

( XT X)
Y finalmente-1

XT Xb = ( XT X) XT y

-1

b = ( XT X) ( XT y ) Puesto que ( XT X) XT X es una matriz identidad (k + 1)×(k + 1) , y por definición Ib = b . Se supone que XT X es no singular, por lo que su inversa existe.
-1

-1

Unidad 1 Regresión lineal simple y múltiple
Ejemplo 5: Se realizó un estudio a 12 alumnos que llevan la materia de Química. Se encontró que la calificación que obtienense ve influida por un examen de inteligencia que se les aplico anteriormente y por el número de clases perdidas. Encuentre la ecuación de regresión. Los datos se encuentran en la tabla; Calificación Química 85 74 76 90 85 87 94 98 81 91 76 74 (y ) Examen Inteligencia (x 1 ) Clases perdidas (x 2 ) 65 50 55 65 55 70 65 70 55 70 50 55

1

7

5

2

6

3

2

5

4

3

1

4...