Algoritmos de aprendizaje

Algoritmos de
Aprendizaje.

AGOSTO 2002

ESCOM IPN

1

Aprendizaje
• El aprendizaje es el proceso por medio del
cual, los parámetros libres de una red
neuronal son adaptados a través de un
proceso de estimulación por el ambiente en
el cual la red se encuentra inmersa.
• El tipo de aprendizaje es determinada por
la manera en la cual el cambio de
parámetros tiene lugar.
– Mendeland Mc Claren (1970)
AGOSTO 2002

ESCOM IPN

2

Aprendizaje
El aprendizaje es el proceso por el cual
una red neuronal modifica sus pesos en
respuesta a una informacíon de
entrada.
Los cambios que se producen durante el
proceso de aprendizaje son la
destrucción, modificación y creación de
conexiones entre las neuronas.
W = 0 Destrucción; W › 0 Creación
AGOSTO 2002

ESCOM IPN3

Tipos de Aprendizaje
• Aprendizaje Supervisado
– entrada, salida, objetivo

• Aprendizaje No supervisado
– entrada, salida

• Aprendizaje por Reforzamiento.
– Recompensa/castigo
AGOSTO 2002

ESCOM IPN

4

Reglas de Aprendizaje
• Aprendizaje Supervisado

A la red se le proporciona un conjunto de ejemplos del
comportamiento propio de la red
(inputs/targets)

{ p1, t 1} { p2, t 2}    {pQ,tQ }

• Aprendizaje No supervisado

Las entradas son las unicas disponibles para el
aprendizaje, el algoritmo de la red aprende a categorizar
las entradas (clustering)
• Aprendizaje por Reforzamiento

A la red se proporciona un grado de desempeño de la
misma.
AGOSTO 2002

ESCOM IPN

5

Aprendizaje
Supervisado

AGOSTO 2002

ESCOM IPN

6

AprendizajeSupervisado
• Se
realiza mediante un
entrenamiento controlado por un
agente
externo
(supervisor,
maestro), que determina la
respuesta que debería generar la
red apartir de una entrada
determinada.
AGOSTO 2002

ESCOM IPN

7

Algoritmos de
Aprendizaje
Supervisado

AGOSTO 2002

ESCOM IPN

8

Algoritmos con
Aprendizaje Supervisado
Se realiza mediante un entrenamientocontrolado
por un agente externo (supervisor, maestro), que
determina la respuesta que debería generar la red
apartir de una entrada determinada.

Aprendizaje por Corrección de error.
Aprendizaje por Refuerzo.

Aprendizaje Estocástico.
AGOSTO 2002

ESCOM IPN

9

Aprendizaje por
Corrección de Error
Consiste en ajustar los pesos
de las conexiones de la red
en función de ladiferencia
entre los valores deseados y
los obtenidos en la salida de
la red; es decir en función del
error cometido en la salida
 :factor de aprendizaje ( 0 <  < 1 )
AGOSTO 2002

ESCOM IPN

10

Ejemplos de Corrección
de Error
• Regla de aprendizaje del perceptrón
• Regla delta () o del mínimo error cuadrado
; LMS (Widrow - Hoff).
• Regla delta generalizada o algoritmo deRetropropagación de error (Rumelhart,
Hinton, Williams),
• Ejemplos
de
Redes:
Perceptrón,
Adaline/Madaline, y Backpropagation
AGOSTO 2002

ESCOM IPN

11

Redes que utilizan el
Aprendizaje por Corrección de
Error:

AGOSTO 2002

ESCOM IPN

12

Aprendizaje
No Supervisado

AGOSTO 2002

ESCOM IPN

13

Aprendizaje no supervisado

AGOSTO 2002

ESCOM IPN

14Aprendizaje No supervisado
• El aprendizaje no supervisado o
autosupervisado no hay un maestro o
critico externo para supervisar el
proceso de aprendizaje.
• No existen ejemplos etiquetados de la
función que será aprendida por la red
AGOSTO 2002

ESCOM IPN

15

Aprendizaje No Supervisado
• Esta constituido por un conjunto de reglas
que dan a la red la habilidad de aprender
asociacionesentre los patrones que ocurren
en conjunto frecuentemente.
• Una vez aprendido como asociación permite
a las redes realizar tareas útiles de
reconocimiento de patrones y recordar.

AGOSTO 2002

ESCOM IPN

16

REDES CON APRENDIZAJE
NO SUPERVISADO

Tambien
llamado
autosupervisado,
no
requieren influencia externa para ajustar los
pesos de las conexiones entre sus neuronas.
existen...