Red Neuronal entrenada con PSO

Entrenamiento de una Red Nueronal Artificial con PSO


1


o
o
o
o

o
e


Resumen En el presente trabajo se muestra la implementaci´ n del algoritmo
o
PSO (Particle Swarm Optimization) en 2 de sus variantes, como una herramienta
para el entrenamiento de una Red Neuronal Artificial Feed-Forward (RNAFF).
Mediante la minimizaci´ n del error cuadr´ tico obtenido durante elentrenamieno
a
to de la RNAFF se realizar´ la clasificaci´ n de patrones con el vector de pesos
a
o
que obtuvo el menor error cuadr´ tico durante la ejecuci´ n del algoritmo. Los rea
o
sultados de los 2 algoritmos son evaluados a trav´ s de las pruebas de Friedman,
e
Friedma Alineado y Quade para determinar el algoritmo con mejores resultados.

1.

Introducci´ n
o

La optimizaci´ n en elsentido de encontrar la mejor soluci´ n, o una soluci´ n lo
o
o
o
suficientemente buena para un problema es un campo de vital importancia en la vida
real. Constantemente estamos resolviendo peque˜ os problemas de optimizaci´ n, como
n
o
´
el camino m´ s corto de ir un lugar a otro, la organizaci´ n de una agenda, etc. Estos son
a
o
lo suficientemente peque˜ os y pueden ser resueltos pornuestro cerebro. Pero conforme
n
los problemas se hacen m´ s grandes y complejos, el uso de las computadoras para su
a
resoluci´ n es inevitable[2].
o
Debido a la gran importancia de los problemas de optimizaci´ n, a lo largo de la
o
historia de la Computaci´ n se han desarrollado m´ ltiples m´ todos para tratar de resolo
u
e
verlos. Los m´ todos basados en poblaci´ n se caracterizan portrabajar con un conjunto
e
o
de soluciones (poblaci´ n) en cada iteraci´ n. El resultado final proporcionado por este
o
o
tipo de algoritmos depende fuertemente de la forma en que se manipula la poblaci´ n[2].
o
Dentro de estos m´ todos se encuentran los algoritmos basados en C´ mulos de Part´cue
u
ı
las o Particle Swarm Optimization (PSO) son t´ cnicas metaheur´sticas inspiradas en ele
ı
comportamiento social del vuelo de las bandadas de aves o el movimiento de los bancos
de peces.

2.

Algoritmo PSO

Los algoritmos basados en c´ mulos de part´culas o Particle Swarm Optimization
u
ı
(PSO), es una t´ cnica metaheur´stica basada en poblaci´ n e inspirada en el comportae
ı
o
miento social del vuelo de las bandadas de aves o el movimiento de los bancos de peces.PSO fue originalmente desarrollado por J. Kennedy y por R. Eberhart en 1995, bas´ ana
dose en un concepto conocido como la ”met´ fora social”[1]. PSO se fundamenta en
a

Entrenamiento de una Red Nueronal Artificial con PSO

3

los factores que influyen en la toma de decisi´ n de un agente que forma parte de un
o
conjunto de agentes similares. La toma de decisi´ n por parte de cada agentese realiza
o
conforme a una componente social y una componente individual, mediante las que se
determina el movimiento (direcci´ n) de este agente para alcanzar una nueva posici´ n
o
o
en el espacio de soluciones. Simulando este modelo de comportamiento se obtiene un
m´ todo para resolver problemas de optimizaci´ n [2].
e
o
´
Los algoritmos basados en c´ mulos de part´culas se hanaplicado con exito en diu
ı
ferentes campos de investigaci´ n. Algunos ejemplos son: optimizaci´ n de funciones
o
o
num´ ricas, entrenamiento de redes neuronales entre otros.
e

3.

Bath Training

En este m´ todo todos los patrones de entrenamiento son procesados uno tras otro
e
en la red, despu´ s los pesos son actualizados bas´ ndose en una funci´ n de error acue
a
o
mulativa. Elproceso es repetido durante un n´ mero de iteraciones/´ pocas. En este tipo
u
e
de entrenamiento la red se queda atascada en m´nimos locales, donde el m´nimo solo
ı
ı
depende del estado inicial de la red [3].

4.

Experimentaci´ n
o

Se tomaron 5 bases de datos BD 1 del UCI Machine Learning Repository, para
realizar los experimentos de entrenamiento de la RNAFF con los diferentes...