Gradiente

METODO DEL GRADIENTE



Desarrollado por el matemático francés Cauchy, el método calcula en cada punto [pic] el gradiente y determina [pic] minimizando [pic] en la dirección de [pic] desde [pic].Luego el método viene dado por el paso iterativo:

[pic]

Con [pic] solución óptima de problema:

[pic]

En este sentido el método del gradiente (conocido también como método de Cauchy odel descenso más pronunciado) consiste en un algoritmo específico para la resolución de modelos de PNL (Programación no Lineal) sin restricciones, perteneciente a la categoría de algoritmos generalesde descenso, donde la búsqueda de un mínimo está asociado a la resolución secuencial de una serie de problemas unidimensionales.

EJEMPLO:
[pic]
[pic]
Tomemos [pic]
-Primera iteración para k=0[pic] por lo tanto [pic] no es estacionario

[pic]

Luego:

[pic]



Así, para encontrar [pic] se debe resolver el problema

[pic]

Como [pic] es convexa, el problema equivale aresolver:

[pic]

Con esto:

[pic]

-Segunda iteración para k=1

[pic] es punto estacionario de [pic]

Es minímo?. Veamos el hessiano de [pic]:

[pic]

Luego [pic] es definida positiva[pic] es convexa [pic] es mínimo global de [pic]

En este caso, se llega al óptimo en un paso, pero en general, el método del gradiente produce una sucesión infinita de puntos y es necesarioestablecer criterios de detención apropiados.



Posibles criterios de detención (en lugar de [pic])



1. [pic]



2. [pic]







3. [pic]






Convergencia del MétodoGradiente



Si [pic] es continuamente diferenciable y la sucesión [pic] generada por el método está contenida en un conjunto compacto, entonces el método converge a un punto estacionario. Si además[pic] es convexa y el método converge entonces la sucesión generada converge a un punto mínimo de [pic].

Una condición para que el método converja es que la función [pic] sea tal que [pic]...