Modulo VI

Modulo VI: Redes
Multicapa
Universidad de Guadalajara
Redes Neuronales Artificiales
Dra. Alma Yolanda Alanís García

Introducción
En 1969 Minsky y Papert publicaron su libro “Perceptrons: An
introduction to computational geometry”, el cual significo un
gran estancamiento en la teoría de redes neuronales.
En él, se presentaba un análisis detallado del Perceptrón, en
términos de sus capacidades ylimitaciones, en especial en
cuanto a las restricciones que existen para los problemas que
una red tipo Perceptrón puede resolver;
La mayor desventaja de este tipo de redes es su incapacidad
para resolver problemas de clasificación que no sean
linealmente separables.

El Perceptrón multicapa, inicialmente desarrollado por P.
Werbos (1974) permite resolver este problema. Posee una
estructura conal menos una capa oculta; y su algoritmo de
entrenamiento es del tipo corrección de error. Implementa el
gradiente distribuido en los diferentes componentes de la red.
Las redes neuronales tipo Perceptrón multicapa (MLP, por su
nombre en ingles “MuLtilayer Perceptron”), han sido aplicadas
satisfactoriamente para resolver muy diversos y difíciles
problemas por medio del algoritmo conocido comoretropropagación

El algoritmo de retropropagación consta de dos etapas:
1. Etapa hacia adelante.
Parámetros de la red fijos. Se presenta la señal de entrada a la
red, que se propaga hacia adelante para producir la salida.
2. Etapa hacia atrás.
El error entre la salida deseada y la red se propaga hacia atrás.
Los parámetros de la red se modifican para minimizar el
cuadrado de dicho error.

El MLPtiene tres características distintivas:
1. El modelo de cada neurona en la red incluye una función
de activación no lineal. Lo importante aquí es que la nolinealidad es suave (diferenciable en cualquier punto), lo
opuesto a la función signo utilizada en el Perceptrón de
Rosenblatt. Una de las funciones de activación más
utilizadas es la logística lo cual tiene motivos biológicos.
2. La red contieneuna o más capas ocultas que no son
parte de las entradas o las salidas de la red. Estas
neuronas ocultas permiten que la red “aprenda” tareas
complejas por la extracción progresiva de las
características principales de los patrones de entrada

3. La red presenta altos grados de conectividad,
determinados por las sinapsis de la red.
La combinación de estas características junto a la habilidad deaprender de la experiencia a través del entrenamiento del MLP
da como resultado un gran potencial de computación.

El algoritmo de retropropagación
Preliminares
•Estructura
x1

x2

y1

.
.
.

y2

xm
Capa de
entrada

1a. Capa

2a. Capa

Capa de

oculta

oculta

salida

Información
Error

•

Señales

1. Señal de información. Constituida por el flujo de
información, desde la capa de entrada hacia lacapa de salida
2. Señal de error. Constituida por el flujo de error, desde la capa
de salida hacia la capa de entrada.

Notación.
vi


  vi 

Neurona i

vj


 v j 

Neurona j

vn


  vn 

Neurona n

• Sub-índices i,j,n : identifican las diferentes capas de la red.
• k : identifica la iteración. En la iteración k se presenta el patrón

 x(k ), d (k )
• (k) : suma instantánea delerror al cuadrado.
• av (k) : valor promedio del error.
• dl(k) : respuesta deseada de la neurona l, de la capa de salida.
• yl(k) : salida de la neurona l, de la capa de salida.
• el(k) : error de la neurona l

Desarrollo del algoritmo de retropropagación.
y0  1

wj0 (k)  j (k)
y1

yi

wji (k)

d j (k)

vj (k) 

yj (k)

1

ej (k)

El j -ésimo componente del error de aproximación se puedeexpresar como:
ej k   d j k   y j k 
Entonces la suma de los errores instantaneos al cuadrado se formula como:
1 l 2
 k    ej k 
2 jC
donde C es el conjunto de las neuronas de salida C  1, 2, , l

Por lo tanto el error promedio queda como
1
 av 
N

N

 k 
k 1

con N los pares de entrenamiento
El objetivo es minimizar  av con respecto a los pesos
El problema se reduce...