Redes Neuronales
UNA NEURONA
w1
Μ
w2
wm
Introducción a las Redes Neuronales Artificiales
Neuronas de McCulloch-Pitts
(El Perceptrón)
Rosenblatt, F. (1958), The Perceptron: A Probabilistic Model
for Information Storage and Organization
in The Brain, Psychological Review, Vol. 65, pp. 386408
Rosenblatt, F. (1962), Principles of Neurodynamics:
Perceptrons and the Theory ofBrain Mechanisms. Spartan Books, Washington, DC.
w1
Μ
w2
wm
Introducción a las Redes Neuronales Artificiales
El Perceptrón
x0
b
x1
w1
x2
ΜΜ
w2
wm
∑
y = φ (v )
v
ρt ρ
v = ∑ w j x j + b = ∑ wi xi = w x
con
m
m
j =1
xm
i =0
ρ
t
w = [b w1 w2 Λ wm ]
ρ
t
x = [1 x1 x2 Λ xm ]
ρt ρ
⎧1 w x>0
y=⎨
ρt ρ
⎩− 1 w x ≤ 0Introducción a las Redes Neuronales Artificiales
El Perceptrón
El Perceptrón divide al hiperplano en dos clases
siempre y cuando estas sean linealmente separables.
En 2D:
Si es
separable
No es
separable
No es
linealmente
separable
Introducción a las Redes Neuronales Artificiales
El Perceptrón
Entrenamiento: Actualizar los pesos sinápticos
para minimizar el error declasificación.
Algoritmo
Entrada: X(n)=[1, x1(n),x2(n),......,xm(n)]t
W(n)=[b(n),w1(n),w2(n),......,wm(n)]t
y(n), respuesta real
d(n), respuesta deseada
η, constante positiva (tasa de aprendizaje)
1) Inicializar W(0)=0, n=1.
2) En el paso n, activamos le perceptrón con la entrada
X(n) y la salida deseada d(n).
y(n)=sgn[W t(n) * X(n) ];
3) Actualizar los pesos según la regla
W(n+1)= W(n) +η[d(n)-y(n)]X(n)
1 si X(n) pertenece a C1
d(n)=
-1 si X(n) pertenece a C2
4) n= n+1, retornar a 2) hasta alcanzar la condición de
parada
Introducción a las Redes Neuronales Artificiales
El Perceptrón
Definición: Una época es la presentación del conjunto completo de datos.
OBSERVACIONES
1. Definimos Δ(n) = d(n) –y(n). Δ(n) es el error de la
clasificación en la iteración n.
2. Cuando elerror de clasificación es 0, los pesos no
se actualizan.
3. Condición de parada: Realizar tantas épocas como
hagan falta hasta lograr que todos los Δ(n) de una
época sean 0.
4. La inicialización de los pesos iniciales puede ser a
cualquier valor.
5. Se puede demostrar que el algoritmo termina con
Δ(n)=0 para cualquier valor de η positivo (OJO)
Introducción a las Redes NeuronalesArtificiales
El Perceptrón
Interpretación Geométrica
Queremos encontrar pesos W tales que
ρρ
sgn(wt x ) = d
La proyección del patrón X sobre
W tenga el mismo signo que d
La frontera entre proyecciones positivas y negativas es......
ρt ρ
El hiperplano w x =0
En 2D, es la ec. de la recta
Con vector perpendicular W
Si y=d no cambio W
Si y≠ d actualizo según la reglaWnuevo=Wviejo + η (d - y) X, para todo d
Introducción a las Redes Neuronales Artificiales
El Perceptrón
d=1
d=-1
P1
w
2ηp1
Wnuevo=Wviejo + η (d - y) X
Introducción a las Redes Neuronales Artificiales
El Perceptrón
Qué pasa si η es muy grande?
Tardaremos MUCHO en converger
Qué pasa si P1es un punto atípico?
Tardaremos MUCHO en converger
Mejora es este caso: Wnuevo=Wviejo +η (d - y) X / ||X||
Introducción a las Redes Neuronales Artificiales
El Perceptrón
Ejemplo:
x1
1
1
2
2
x2
1
2
1
2
d(X)
-1
+1
+1
+1
Es linealmente separable? Si
Hay algún punto atípico? No
Introducción a las Redes Neuronales Artificiales
El Perceptrón
TEOREMA DE CONVERGENCIA
Considere la entrada: x1 , x2 , Λ
que representan
Muestras de dos claseslinealmente separables,
C1 y C2 , asuma que existe un vector w tal que
ρt ρ
w x>0
ρt ρ
w x≤0
ρ
si x ∈ C1
ρ
si x ∈ C2
•Sea H1 el subconjunto de entrenamiento que pertenecen a la clase C1
•Sea H2 el subconjunto de entrenamiento que pertenecen a la clase C2
.
Si H es el conjunto de entrenamiento (linealmente separable) y para η positivo, el
Algoritmo termina (converge)....
Regístrate para leer el documento completo.