Bacpropagation - Modelos Basicos De Computacion Neuronal - Redes A Capas
Páginas: 8 (1838 palabras)
Publicado: 21 de febrero de 2013
BACPROPAGATION MODELOS BASICOS DE COMPUTACION NEURONAL REDES A CAPAS Compendio realizado por
José Rafael Sosa.
a partir del material de clase del Prof. José Ali Moreno y el libro Introduccion to the Theory of Neural Computation De Hertz, Krogh y Palmer.
INTRODUCCIÓN Además de la capacidad de memorizar otro tipo de computo que ocurre en el sistema nervioso central consiste en aprenderreacciones a estímulos. La clase de redes sinápticas asimétricas neuronales artificiales que ejecuta este tipo de computo suele diferir radicalmente de los dispositivos de memoria, en particular presentan conexiones estudio del tipo físico (en algunos casos unidireccionales) lo que impide la aplicación de formalismos de (termodinámica de sistemas en equilibrio) para su estudio. Esta clase dedispositivos suelen denominarse Redes neuronales cibernéticas.
Las redes neuronales a capas pertenecen a la clase de redes cibernéticas y son las mejor estudiadas, aunque no con un enfoque tan general como el de las redes de Hopfield. En estas redes la información “fluye” unidireccionalmente desde una capa de entrada constituida por “elementos censores” hasta otra capa de neuronas motoras) U.P.S. Entérminos matemáticos puede pensarse que la relación entrada-salida define una correspondencia (relación) y la red neuronal a capas provee una representación de esta en las cuales se U.P.S (generalmente manifiesta la respuesta o salida . En su
recorrido la información es procesada parcialmente por diferentes capas intermedias de
correspondencia. Por tal razón suelen también denominarse redes decorrespondencias o relaciónales. En este trabajo nos concentraremos en dos redes neuronales a capas: el perceptron estas arquitecturas son generalizado y la red de funciones de base radial (RBF)
suficientemente poderosas para cualquier tarea del tipo considerado, es por esta razón que también son considerados como un aproximador universal de funciones de gran utilidad en problemas no linealmenteseparables y no lineales en general. TOPOLOGÍA DE LA RED Además consideraremos solo redes de una capa escondida (intermedia) como se ilustra a continuación:
O1
O2
On Oi Wij Vj Wjk xk
x1
xm
La notación es que los subíndices i se refieren a las salidas, j a capa oculta y k a la entrada. Cada capa de estas redes puede tener un numero arbitrario de U.P.s, estas solo se interconectancon las U.P.s de la capa siguiente (no existe interconexión en una misma capa o con U.P.S en capas arbitrarias) la salida de cada U.P. es conectada a la entrada de cada U.P. en la capa siguiente. Así mismo cada componente del patrón de entrada es comunicado a cada U.P. de la primera capa.
En general la capa de entrada no se cuenta como tal ya que no procesa la información. La única tarea querealiza es la de distribuir el patrón de entrada a todas las unidades de la capa intermedia. L as entradas siempre permanecen ancladas a un valor particular. Estos pueden ser valores binarios, bipolares o reales preferiblemente normalizados. Como antes, m denota a dimensionalidad del patrón de entrada, n la del patrón de salida y p el número de patrones de entrenamiento. El computo que realizanlas U.P.s escondidas en el perceptron generalizado es: V j = f (h jµ ) = f ( ∑ w jk xkµ )
k
mientras que las U.P.s de salida: Oi = f ( ∑ WijV j )
j
en todos los casos la función de transferencia es o la sigmoide simple (rango entre 0 y 1) o la bipolar (rango entre –1 y 1): f ( x) = 1 o f ( x) = tanh( x ) 1 + exp(−αx)
Estas funciones tienes las características comunes de ser continuas yderivables para todo x, así mismo mantienen un valor de inactividad (0 ó -1) para los valores de x menores al llamado umbral de activación, alrededor del cual la función crece hasta saturarse en el valor máximo de activación (1). Para obtener la forma bipolar basta con calcula la expresión 2f(x)-1,con f(x) las funciones ya descritas.
El computo que realizan las U.P.s escondidas en la red de...
José Rafael Sosa.
a partir del material de clase del Prof. José Ali Moreno y el libro Introduccion to the Theory of Neural Computation De Hertz, Krogh y Palmer.
INTRODUCCIÓN Además de la capacidad de memorizar otro tipo de computo que ocurre en el sistema nervioso central consiste en aprenderreacciones a estímulos. La clase de redes sinápticas asimétricas neuronales artificiales que ejecuta este tipo de computo suele diferir radicalmente de los dispositivos de memoria, en particular presentan conexiones estudio del tipo físico (en algunos casos unidireccionales) lo que impide la aplicación de formalismos de (termodinámica de sistemas en equilibrio) para su estudio. Esta clase dedispositivos suelen denominarse Redes neuronales cibernéticas.
Las redes neuronales a capas pertenecen a la clase de redes cibernéticas y son las mejor estudiadas, aunque no con un enfoque tan general como el de las redes de Hopfield. En estas redes la información “fluye” unidireccionalmente desde una capa de entrada constituida por “elementos censores” hasta otra capa de neuronas motoras) U.P.S. Entérminos matemáticos puede pensarse que la relación entrada-salida define una correspondencia (relación) y la red neuronal a capas provee una representación de esta en las cuales se U.P.S (generalmente manifiesta la respuesta o salida . En su
recorrido la información es procesada parcialmente por diferentes capas intermedias de
correspondencia. Por tal razón suelen también denominarse redes decorrespondencias o relaciónales. En este trabajo nos concentraremos en dos redes neuronales a capas: el perceptron estas arquitecturas son generalizado y la red de funciones de base radial (RBF)
suficientemente poderosas para cualquier tarea del tipo considerado, es por esta razón que también son considerados como un aproximador universal de funciones de gran utilidad en problemas no linealmenteseparables y no lineales en general. TOPOLOGÍA DE LA RED Además consideraremos solo redes de una capa escondida (intermedia) como se ilustra a continuación:
O1
O2
On Oi Wij Vj Wjk xk
x1
xm
La notación es que los subíndices i se refieren a las salidas, j a capa oculta y k a la entrada. Cada capa de estas redes puede tener un numero arbitrario de U.P.s, estas solo se interconectancon las U.P.s de la capa siguiente (no existe interconexión en una misma capa o con U.P.S en capas arbitrarias) la salida de cada U.P. es conectada a la entrada de cada U.P. en la capa siguiente. Así mismo cada componente del patrón de entrada es comunicado a cada U.P. de la primera capa.
En general la capa de entrada no se cuenta como tal ya que no procesa la información. La única tarea querealiza es la de distribuir el patrón de entrada a todas las unidades de la capa intermedia. L as entradas siempre permanecen ancladas a un valor particular. Estos pueden ser valores binarios, bipolares o reales preferiblemente normalizados. Como antes, m denota a dimensionalidad del patrón de entrada, n la del patrón de salida y p el número de patrones de entrenamiento. El computo que realizanlas U.P.s escondidas en el perceptron generalizado es: V j = f (h jµ ) = f ( ∑ w jk xkµ )
k
mientras que las U.P.s de salida: Oi = f ( ∑ WijV j )
j
en todos los casos la función de transferencia es o la sigmoide simple (rango entre 0 y 1) o la bipolar (rango entre –1 y 1): f ( x) = 1 o f ( x) = tanh( x ) 1 + exp(−αx)
Estas funciones tienes las características comunes de ser continuas yderivables para todo x, así mismo mantienen un valor de inactividad (0 ó -1) para los valores de x menores al llamado umbral de activación, alrededor del cual la función crece hasta saturarse en el valor máximo de activación (1). Para obtener la forma bipolar basta con calcula la expresión 2f(x)-1,con f(x) las funciones ya descritas.
El computo que realizan las U.P.s escondidas en la red de...
Leer documento completo
Regístrate para leer el documento completo.