Redes Neuronales Recurentes

*REDES NEURONALES RECURENTES*



Red de Hopfield:
Antecedentes: En la década de los 80´s con el fin de estudiar procesos que involucran sistemas gobernados por ecuaciones diferenciales no lineales surge la teoría clásica de control geométrico basada en la geometría diferencial; simultáneamente renace el estudio de las RedesNeuronales debido al redescubrimiento del algoritmo Backpropagation, este hecho sumado al fracaso de las metodologías tradicionales aplicadas a la inteligencia artificial y a la disponibilidad de herramientas computacionales de bajo costo permitieron el desarrollo las redes neuronales recurrentes cuya principal aplicación es el control e identificación de sistemas no lineales. Este desarrollo esposible debido a que las propiedades matemáticas de las redes recurrentes están enmarcadas en las mismas propiedades que fundamentan el control geométrico, la primera red neuronal recurrente de naturaleza dinámica fue propuesta por Hopfield en 1984 bajo el contexto de las memorias asociativas.
Estructura de la red: En búsqueda de una implementación practica, Hopfield presentó su modelo básicocomo un circuito eléctrico, el cual se muestra en la figura 1, donde cada neurona se representa por un amplificador operacional y una red asociada formada por una capacitancia y una resistencia, la entrada a cada amplificador es la suma de las corrientes Ii mas las realimentaciones provenientes de otros amplificadores, por ejemplo el segundo amplificador realimenta al amplificador S a través de laresistencia RS2, en caso de necesitarse realimentaciones con signo negativo, estas se hacen por medio de la salida inversora de cada amplificador; la ecuación para el modelo de Hopfield basado en las leyes de Kirchhoff se muestra en la ecuación (1). 
  
  

Figura 1. Circuito Eléctrico red Hopfield

 (1)
Donde: ni es el voltaje de entrada a cada amplificador y ai =f(ni) su salida, concaracterística de amplificación f la cual es generalmente de tipo sigmoidal,.
Multiplicando a ambos lados de la ecuación (1) por Ri  y definiendo Î =RiC, wij=RiTij y bi=RiIi, esta puede reescribirse en la ecuación (2) la cual describe el comportamiento de cada una de las neuronas dinámicas que componen el circuito eléctrico de la red de Hopfield.
 (2)
Utilizando la ecuación (2) y escribiéndola en suforma matricial con a(t)=f(n(t)), se obtiene (3), en esta ecuación se describe el comportamiento de la red de Hopfield
 (3)
La red de Hopfield en notación compacta se muestra en la figura 2, en donde el vector de p no se considera como la entrada a la red sino como la condición inicial de la red 
  
  

Figura 2. Notación compacta red de Hopfield

Como se observa, la red de Hopfield estácompuesta de neuronas dinámicas altamente interconectadas gobernadas por ecuaciones diferenciales no lineales, esta red funciona como una memoria asociativa no lineal que puede procesar patrones presentados de forma incompleta o con ruido, siendo útil como una poderosa herramienta de optimización
En el libro "Neural Network Design", se muestra que una de las principales contribuciones de Hopfieldfue la aplicación de la teoría de estabilidad de Lyapunov al análisis de las redes recurrentes, la teoría de estabilidad de Lyapunov se aplica a través del teorema de LaSalle y para su utilización el primer paso es escoger una función de Lyapunov, para lo cual Hopfield sugirió la siguiente función:
 (4)
Donde a es la salida de la red, W es la matriz de pesos y b es el vector de ganancias.
Laescogencia de esta particular función, fue clave en el desarrollo de Hopfield, pues el primer y el tércer termino de esta ecuación conforman una función cuadrática, las cuales pueden aproximar gran cantidad de funciones en un pequeño intervalo, especialmente cerca de puntos donde se encuentre un mínimo local.
Para usar el teorema de La Salle se necesita evaluar la derivada de la ecuación (4), por...