Introduccion minimos cuadrados

INTRODUCCION:
Mínimos cuadrados es una técnica de análisis numérico encuadrada dentro de la optimización matemática, en la que, dados un conjunto de pares (o ternas, etc), se intenta encontrar la función que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con el criterio de mínimo error cuadrático.
En su forma más simple, intenta minimizar la suma de cuadrados de las diferenciasordenadas (llamadas residuos) entre los puntos generados por la función y los correspondientes en los datos. Específicamente, se llama mínimos cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se usa el método de descenso por gradiente para minimizar el residuo cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración),pero requiere un gran número de iteraciones para converger.
Desde un punto de vista estadístico, un requisito implícito para que funcione el método de mínimos cuadrados es que los errores de cada medida estén distribuidos de forma aleatoria. El teorema de Gauss-Márkov prueba que los estimadores mínimos cuadráticos carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, auna distribución normal. También es importante que los datos recogidos estén bien escogidos, para que permitan visibilidad en las variables que han de ser resueltas (para dar más peso a un dato en particular, véase mínimos cuadrados ponderados).
La técnica de mínimos cuadrados se usa comúnmente en el ajuste de curvas. Muchos otros problemas de optimización pueden expresarse también en forma demínimos cuadrados, minimizando la energía o maximizando la entropía.

FORMULACION:
Supóngase el conjunto de puntos (xk,yk), siendo . Sea fj(x), con una base de m funciones linealmente independientes. Queremos encontrar una función combinación lineal de las funciones base tal que , esto es:

Se trata de hallar los m coeficientes cj que hagan que la función aproximante f(x) sea la mejoraproximación a los puntos (xk,yk). El criterio de mejor aproximación puede variar, pero en general se basa en aquél que dé un menor error en la aproximación. El error en un punto (xk,yk) se podría definir como:

En este caso se trata de medir y minimizar el error en el conjunto de la aproximación. En matemáticas, existen diversas formas de definir el error, sobre todo cuando éste se aplica a un conjuntode puntos (y no sólo a uno), a una función, etc. Dicho error podrá ser:
Error Máximo:
Error Medio:
Error Cuadrático Medio:
La aproximación mínimo cuadrada se basa en la minimización del error cuadrático medio, o, equivalentemente, en la minimización del radicando de dicho error, el llamado error cuadrático, definido como:

Para alcanzar este objetivo, suponemos que la función f es de unaforma particular que contenga algunos parámetros que necesitamos determinar. Por ejemplo, supongamos que es cuadrática, lo que quiere decir que , donde no conocemos aún , y . Ahora buscamos los valores de , y que minimicen la suma de los cuadrados de los residuos (S):

Esto explica el nombre de mínimos cuadrados. A las funciones que multiplican a los coeficientes buscados, esto es, a x2, x y1, se les conoce con el nombre de funciones base de la aproximación. Dichas funciones base pueden ser cualesquiera funciones, y para ese caso se deduce a continuación la fórmula general en el caso de que la aproximación sea discreta y lineal.
La aproximación de mínimos cuadrados es la mejor aproximación al conjunto de puntos (xk,yk), según el criterio del error cuadrático medio. Es posiblegenerar otro tipo de aproximaciones si se toman los errores máximo o medio, pero la dificultad que entraña operar con ellos debido al valor absoluto de su expresión hace que apenas se usen.

SOLUCION:
La aproximación mínimo cuadrado tiene solución general para el caso de un problema de aproximación lineal en sus coeficientes cj cualesquiera sean las funciones base fj(x) antes expuestas. Por lineal...