Minimos cuadrados

uaMÍNIMOS CUADRADOS ORDINARIOS
Se define el modelo lineal general como una relación estadística lineal entre una variable dependiente y una o más variables explicativas, relación que podemos expresar de tres formas equivalentes:
1. Yi=β1+β2X2i+ ∙∙∙+βkXki+ui, i=1,…,n
2. Yi=xi'β+ui, i=1,…,n
3. y=Xβ+u
en donde xi=1 X2i…Xki',
y=Y1Y2⋮Yn, X=1 X21 … Xk11 X22 … Xk2⋮ ⋮ ⋱⋮1 X2n … Xkn, β=β1β2⋮βk y u=u1u2⋮un
La forma 1 y su versión compacta dada por la forma 2 son la representación escalar del modelo lineal general, y son útiles para introducir los conceptos básicos del método de estimación de mínimos cuadrados. Sin embargo, para profundizar en el estudio del análisis de regresión resulta más conveniente la forma 3 o forma matricial del modelo linealgeneral.
Vamos a describir el algebra de mínimos cuadrados, es decir, un método estadístico para obtener estimaciones de los parámetros desconocidos β1, …, βk a partir de un conjunto de observaciones sobre las variables Y, X2, … , Xk. el método de estimación de mínimos cuadrados se presenta utilizando tanto la forma escalar como la forma matricial del modelo lineal general.

Ecuacionesnormales
Forma escalar. Si en la forma escalar del modelo lineal general reemplazamos los parámetros desconocidos β1, …, βk por las estimaciones β1, …, βk, obtenemos el modelo estimado
Yi=β1+ β2X2i+…+βkXki+ui, i=1,…, n
En donde ui es una estimación del error ui. Surgen aquí dos conceptos fundamentales.
DEFINICIÓN: el valor ajustado Yi es la combinación lineal
Yi= β1+ β2X2i+…+βkXki, i=1,…, nDEFINICIÓN: el residuo ui es la diferencia entre el valor observado Yi y el valor ajustado Yi,
ui= Yi - Yi = Yi - β1 - β2X2i-…-βkXki i=1,…, n
Vemos que al estimar los parámetros del modelo lineal general descomponemos cada observación Yi en la suma de dos componentes
Yi=Yi+ui, i=1,…, n
En donde podemos interpretar el valor ajustado Yi como la predicción de Yi dada por el modelo estimadoy el residuo ui como el error de predicción asociado.

DEFINICIÓN: las estimaciones de minimocuadraticos de los parámetros β1, …, βk son los valores β1, …, βk que minimizan la suma de cuadrados de los residuos

Q=i=1nui2= i=1nYi- β1-β2X2i- ⋯- βkXki2
ui

Como Q es una función cuadrática de βj (j=1,…, n), se trata de una función diferenciable. Los valoresβj(j=1,…, n) que minimizan Q son los que cumplen las condiciones de primer orden:
∂Q∂β1= i=1n2Yi- β1-β2X2i- ⋯- βkXki-1=O

∂Q∂β2= i=1n2Yi- β1-β2X2i- ⋯- βkXki-X2i=O (A)
⋮
∂Q∂βk= i=1n2Yi- β1-β2X2i- ⋯- βkXki-Xki=O

De las condiciones de primer orden obtenemos el sistema de k ecuaciones en k variables
nβ1+β2i=1nX2i+⋯+βki=1nXki=i=1nYiβ1i=1nX2i+β2i=1nX2i2+⋯+βki=1nX2iXki=i=1nX2iYi (B)
⋮
β1i=1nXki+β2i=1nKkiX2i+⋯+βki=1nXki2=i=1nXkiYi

Cuya solución permite encontrar las estimaciones de mínimos cuadrados βj(j=1,…, n).
Cuando k es mayor que dos, es conveniente escribir B en forma matricial:

n i=1nX2i… i=1nX2ii=1nX2i i=1nX22i … i=1nX2iXki ⋮ ⋱⋮ i=1nXki i=1nXkiX2i … i=1nX22i β1β2⋮βk = i=1nYii=1nX2iYi⋮i=1nXkiYi (C)
X'X β X'y
Vemos que el elemento genérico (i,j) de la matriz cuadrada X´X de orden k es el producto escalar de las variables explicativas Xi y Xj, es decir, la suma de losproductos de los valores de Xi por los correspondientes valores de Xj, h=1nXihXjh. De aquí, los elementos que se encuentran en la diagonal principal i , j son sumas de cuadrados h=1nXjh2j=1,…,k, mientras que los que se encuentran en la primera fila o columna son sumas de observaciones: h=1nX1hXjh= h=1nXjh por que Xih=1 h=1,…, n. Es claro que el elemento (1,1) es el tamaño muestral por que h=1nXih2=...