inteligencia

Redes Estáticas: Aprendizaje
•

El aprendizaje es un proceso consistente en la adaptación de los
parámetros libres de la red a través de la estimulación continua por
parte del entorno. El tipo de aprendizaje viene determinado por el
modo de adaptar los parámetros.

wkj (n + 1) = wkj (n) + ∆wkj (n)
• El conjunto de reglas preestablecidas para la solución de un problema
de aprendizaje sedenomina algoritmo de aprendizaje.
• Tipos de reglas de aprendizaje más comunes:
–aprendizaje Hebbiano
–aprendizaje competitivo
–aprendizaje por corrección de error

Curso de doctorado: Decisión, estimación y clasificación. Autor: José Luis Alba Castro. Departamento de Teoría de la Señal y Comunicaciones.

Aprendizaje Hebbiano (I)
•

El postulado de aprendizaje de Hebb (neurosicólogo,1949) es el más
antiguo. En su libro “La organización del comportamiento” postula:
“Cuando una célula A está suficientemente cerca de otra B como
para tomar parte en excitarla, y lo hace persistentemente,
suceden cambios metabólicos en una o ambas células de tal
forma que se incrementa la eficiencia de A en excitar B”

•

Extensión de la regla de Hebb (Stent, 1973)
– 1) Si dos neuronas aambos lados de una sinapsis se activan
simultáneamente, se incrementa selectivamente la fuerza de dicha sinapsis.
– 2) Si dos neuronas a ambos lados de una sinapsis no se activan
simultáneamente, la sinapsis se debilita o elimina.

Así, una regla de aprendizaje Hebbiana es un mecanismo dependiente
del tiempo, de ámbito local, que incrementa la eficiencia de una sinapsis
en función de lacorrelación entre las actividades pre y post-sinápticas.

Curso de doctorado: Decisión, estimación y clasificación. Autor: José Luis Alba Castro. Departamento de Teoría de la Señal y Comunicaciones.

Aprendizaje Hebbiano (II)
• Modelos matemáticos del aprendizaje Hebbiano
– regla del producto de actividades:
∆wkj (n) = η yk (n) x j (n)

η: velocidad de aprendizaje.
Inconveniente:posibilidad de saturación por persistencia de xj(n)

– regla del producto de actividades generalizada:
∆wkj (n) = η yk (n) x j (n) − α yk (n) wkj (n)

con α : constante de olvido
debilitamiento sináptico si x j (n) < wkj (n) α / η

Planteamiento en términos estadísticos (Sejnowski, 1977)
– regla de la covarianza de actividades:
∆wkj (n) = η cov[ yk (n) x j (n)]
= η E[( yk (n) − yk )( x j (n) −x j )] = η E[ yk (n) x j (n) − yk x j ]
Curso de doctorado: Decisión, estimación y clasificación. Autor: José Luis Alba Castro. Departamento de Teoría de la Señal y Comunicaciones.

Aprendizaje competitivo (I)
•

En el aprendizaje competitivo las neuronas compiten entre si para que
sólo se excite una.
– Una red neuronal con aprendizaje Hebbiano puede tener varias neuronas
de salidaactivadas simultaneamente; una red neuronal con aprendizaje
competitivo estricto sólo puede tener una.

•

•

La competición lleva a la especialización:
– detectores de características
– formación de mapas topográficos en el cerebro
Elementos del aprendizaje competitivo (Rumelhart & Zisper, 1985)
– un conjunto de neuronas iguales con pesos inicialmente aleatorios que
responden, por tanto,de forma diferente a una misma excitación
– un límite impuesto a la “fuerza” de cada neurona (p.ej. |wi|= 1)
– un mecanismo que permite la competición entre las neuronas para
responder a un subconjunto de vectores de excitación. Mecanismo
conocido como Winner-Takes-All (WTA).

Curso de doctorado: Decisión, estimación y clasificación. Autor: José Luis Alba Castro. Departamento de Teoría de laSeñal y Comunicaciones.

Aprendizaje competitivo (II)
• Modelos matemáticos del aprendizaje competitivo
– regla “estándar” de aprendizaje competitivo:
⎧η ( xi − w j ) si la neurona j gana
∆w j = ⎨
si la neurona j no gana
⎩0

– regla competitiva con sensibilidad a la vecindad:
∆wk = η Λ ( j, k )( xi − wk ) (con j ganador y k ∈V(j) " vecindad de

j" )

Λ ( j, k ) = exp( − | rk − rj...