Minimos Cuadrados

http://www.musicascristianas.net/

Mínimos cuadrados es una técnica de análisis numérico encuadrada dentro de la optimización matemática, en la que, dados un conjunto de pares ordenados: (variable independiente, variable dependiente) y una familia de funciones, se intenta encontrar la función, dentro de dicha familia, que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con elcriterio de mínimo error cuadrático.
En su forma más simple, intenta minimizar la suma de cuadrados de las diferencias ordenadas (llamadas residuos) entre los puntos generados por la función y los correspondientes en los datos. Específicamente, se llama mínimos cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se usa el método dedescenso por gradiente para minimizar el residuocuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración), pero requiere un gran número de iteraciones para converger.

Deducción analítica de la aproximación discreta mínimo cuadrática lineal
Sea  un conjunto de n pares con abscisas distintas, y sea  un conjunto de m funciones linealmente independientes (en un espacio vectorial defunciones), que se llamarán funciones base. Se desea encontrar una función  de dicho espacio, o sea, combinación lineal de las funciones base, tomando por ello la forma:
.
Ello equivale por tanto a hallar los m coeficientes: . En concreto, se desea que tal función  sea la mejor aproximación a los n pares  empleando, como criterio de "mejor", el criterio del mínimo error cuadrático medio de lafunción  con respecto a los puntos .
El error cuadrático medio será para tal caso:

Minimizar el error cuadrático medio es equivalente a minimizar el error cuadrático, definido como el radicando del error cuadrático medio, esto es:

Así, los  que minimizan  también minimizan , y podrán ser calculados derivando e igualando a cero este último:
 Siendo i=1,2, . . .,m
Se obtiene un sistema de m ecuacionescon m incógnitas, que recibe el nombre de "Ecuaciones Normales de Gauss". Operando con ellas:
, para i=1,2, . . .,m
, para i=1,2, . . .,m

Si se desarrolla la suma, se visualiza la ecuación "i-ésima" del sistema de m ecuaciones normales: , para cada i=1,2, . . .,m

Lo cual, en forma matricial, se expresa como:

Siendo  el producto escalar discreto, definido para dos funciones dadas h(x) yg(x) como:
,
y para una función h(x) y vector cualquiera u, como:

La resolución de dicho sistema permite obtener, para cualquier base de funciones derivables localmente, la función f(x) que sea mejor aproximación mínimo cuadrática al conjunto de puntos antes mencionado. La solución es óptima –esto es, proporciona la mejor aproximación siguiendo el criterio de mínimo error cuadrático–, puestoque se obtiene al optimizar el problema.
[editar]Corolario
Si se tratara de hallar el conjunto de coeficientes  tal que  pase exactamente por todos los pares , esto es, tales que  interpole a , entonces tendría que cumplirse que:

Que en forma matricial se expresa como:

Esto establece un sistema de n ecuaciones y m incógnitas, y como en general n>m, quedaría sobredeterminado: no tendríasiempre una solución general. Por tanto, la aproximación tratará en realidad de hallar el vector c que mejor aproxime .
Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de Gauss coincide con , siendo A la matriz de coeficientes exactas, y como el término independiente de las ecuaciones normales de Gauss coincide con el vector , se tiene que los valores  que mejoraproximan f(x) pueden calcularse como la solución al sistema:

que es, precisamente, el sistema de las ecuaciones normales de Gauss.
[editar]Deducción geométrica de la aproximación discreta mínimo cuadrática lineal
La mejor aproximación deberá tender a interpolar la función de la que proviene el conjunto de pares , esto es, deberá tender a pasar exactamente por todos los puntos. Eso supone que...