Algoritmo De Newton

Algoritmo de Newton.
En matemáticas, el algoritmo de Gauss-Newton se utiliza para resolver problemas no lineales de mínimos cuadrados. Es una modificación del método de optimización de Newton que nousa segundas derivadas y se debe a Carl Friedrich Gauss.
El algorimo de Gauss-Newton es un procedimiento iterativo. Esto significa que debemos proporcionar una estimación inicial del parámetrovector que denominaremos p0.
Estimaciones posteriores pk para el vector parámetro son producidas por la relación recurrente:

donde f=(f1,..., fm) yJf(p) denota el Jacobiano de f en p (nótese que no esnecesario que Jf sea cuadrada).
La matriz inversa, en la práctica, nunca se computa explícitamente. en lugar de ellos se utiliza

y se computa la actualización de δk resolviendo el sistema linealuna buena implementación del algoritmo de Gauss-Newton utiliza también un algoritmo de búsqueda lineal: en lugar de la fórmula anterior para pk+1, se utiliza

donde el número αk es de algún modoóptimo.

La relación de recurrencia del Método de Newton para minimizar la función S es

donde  y  denotan el Jacobiano y Hessiano de S respectivamente. utilizando el método de Newton para lafunción

obtenemos la relación recurrente

Podemos concluir que el método de Gauss-Newton es el mismo que el metodode Newton ignorando el término Σ f H(f).
Otros algoritmos utilizados para resolver elproblema de los mínimos cuadrados incluyen el algoritmo de Levenberg-Marquardt algorithmy de descenso de gradiente.

Este es uno de los métodos más eficientes para aproximar las soluciones de laecuación . El método de Newton empieza con una aproximación inicial , la siguiente aproximación  corresponde a la intersección con el eje  de la recta tangente a la gráfica de  en . Laaproximación corresponde a la intersección con el eje  de la tangente a la gráfica de  en el punto , y así sucesivamente. Este proceso genera una sucesión, definida por

para .
El algoritmo del método se muestra...