Modulo IV 2014

Modulo IV:
Clasificación de las
RNA
Universidad de Guadalajara
Redes Neuronales Artificiales
Dra. Alma Yolanda Alanís García

Las Redes Neuronales Artificiales se pueden clasificar bajo
diferentes criterios como son:
A.
B.
C.
D.
E.

Origen
Topología
Mecanismo de aprendizaje
Asociación E/S
Tipo de datos

A. Clasificación de las RNA por su origen
Una primera clasificación de los modelos de RNApodría ser,
atendiendo a su similitud con la realidad biológica:
Modelos de tipo biológico. Estos comprenden las redes que
tratan de simular los sistemas neuronales biológicos así como las
funciones auditivas o algunas funciones básicas de la visión.
Modelos dirigidos a la aplicación. Estos modelos no tienen
porque guardar similitud con los sistemas biológicos. Sus
arquitecturas están fuertementeligadas a las necesidades de las
aplicaciones para las que son diseñados.

B. Clasificación de las RNA por su topología





Unicapa
Multicapa
Recurrentes
 Recurrencia externa
 Recurrencia interna
 Recurrencia total
 Con auto-lazo
 Sin auto-lazo

Redes neuronales unicapa
En el caso más simple, una red neuronal unicapa, la capa de
entrada se conecta directamente a la capa de neuronas desalida
por medio de las sinapsis.
Capa
de
entrada

Capa
de
salida

(a)

Redes neuronales multicapa

Las redes neuronales multicapa se distinguen por tener una o
más capas de neuronas ocultas, cuyos nodos computacionales
son llamados neuronas ocultas o unidades ocultas.
Capa
de
entrada

Capa
oculta

Capa
de
salida

(b)

Redes neuronales recurrentes
Las redes neuronales recurrentes, se distinguen delas anteriores,
en que por lo menos tienen un lazo de retroalimentación. La
presencia de una estructura recurrente tiene un profundo
impacto en la capacidad de aprendizaje de la red neuronal.

z

-1

z

-1

z

-1

z
z

z

-1
-1

Salidas

-1

Entradas

(c)

(d)

C. Clasificación de las RNA por su mecanismo de
aprendizaje

Algoritmos de aprendizaje. Conjunto de reglas para resolver el
problema deaprendizaje. Difieren en como determinar wnj(k).
Paradigmas de aprendizaje. Es la forma cómo la red neuronal
interactúa con el medio ambiente.

Algoritmos de aprendizaje



Corrección del error



Regla de Hebb



Aprendizaje competitivo



Aprendizaje tipo Boltzman

1. Corrección del error

Considérese la n – ésima neurona
k:
instante de muestreo (iteración)
dn(k): respuesta deseada para laneurona k
yn: respuesta de la neurona
x(k): vector estímulo del ambiente

x  k  , d  k :
n

par de entrenamiento

Medio
Ambiente

dn(k)

x1(k)

vk

en(k)

()

xp(k)
yn(n)

ambiente estocástico  descripción probabilística.
Señal de error:

en (k) = dn(k) - yn(k)
El objetivo es minimizar una función de costo (criterio), que
considera este error.

Una vez seleccionado el criterio, elproblema de aprendizaje por
corrección de error se convierte en uno de optimización.

Criterios de mínimos cuadrados (muy utilizado)
1 l 2 
J  E   en (k ) 
 2 n 0

E: operador de esperanza estadística o valor esperado.

Para resolverlo se utiliza el gradiente descendiente

Para condiciones dadas, el descenso
más rápido hacia el mínimo es
colineal al gradiente

Se debe conocer lacaracterización probabilística. Una solución
aproximada es tomar como criterio el valor instantáneo del error.

1 l 2
J (k )   en (k )
2 n 1

La regla de aprendizaje de los pesos es:
wnj (k )  en (k ) x j (k )

-1
: > 0 razón de aprendizaje.  q u (k )  u (k - 1) 

Usando el operador de retardo (q-1), esta regla de aprendizaje se
puede representar en el siguiente diagrama de flujo.

x1(k)
wnj(k+1)q-1

wnj(k)

vn(k)

(vn(k))

xj(k)

yn(k)

en(k)

dn(k)

-1

xm(k)

xj(k)

Nota: en este diagrama se han invertido el orden de
pesos sinápticos y señal de entrada.

q -1  wnj (k  1)   wnj (k )
m

vn (k )   x j (k ) wnj (k )
j 1

yn (k )    vn  k  

 debe seleccionarse cuidadosamente para evitar inestabilidades
 pequeño  aprendizaje suave pero lento
 grande  mayor velocidad...