Redes Neuronales

ALGUNOS MODELOS DE
UNA NEURONA
w1

Μ

w2

wm

Introducción a las Redes Neuronales Artificiales

Neuronas de McCulloch-Pitts
(El Perceptrón)
Rosenblatt, F. (1958), The Perceptron: A Probabilistic Model
for Information Storage and Organization
in The Brain, Psychological Review, Vol. 65, pp. 386408
Rosenblatt, F. (1962), Principles of Neurodynamics:
Perceptrons and the Theory ofBrain Mechanisms. Spartan Books, Washington, DC.
w1

Μ

w2

wm

Introducción a las Redes Neuronales Artificiales

El Perceptrón

x0
b

x1

w1

x2
ΜΜ

w2

wm

∑

y = φ (v )

v

ρt ρ
v = ∑ w j x j + b = ∑ wi xi = w x

con

m

m

j =1

xm

i =0

ρ
t
w = [b w1 w2 Λ wm ]
ρ
t
x = [1 x1 x2 Λ xm ]

ρt ρ
⎧1 w x>0
y=⎨
ρt ρ
⎩− 1 w x ≤ 0Introducción a las Redes Neuronales Artificiales

El Perceptrón

El Perceptrón divide al hiperplano en dos clases
siempre y cuando estas sean linealmente separables.
En 2D:
Si es
separable

No es
separable

No es
linealmente
separable

Introducción a las Redes Neuronales Artificiales

El Perceptrón

Entrenamiento: Actualizar los pesos sinápticos
para minimizar el error declasificación.
Algoritmo
Entrada: X(n)=[1, x1(n),x2(n),......,xm(n)]t
W(n)=[b(n),w1(n),w2(n),......,wm(n)]t
y(n), respuesta real
d(n), respuesta deseada
η, constante positiva (tasa de aprendizaje)
1) Inicializar W(0)=0, n=1.
2) En el paso n, activamos le perceptrón con la entrada
X(n) y la salida deseada d(n).
y(n)=sgn[W t(n) * X(n) ];
3) Actualizar los pesos según la regla
W(n+1)= W(n) +η[d(n)-y(n)]X(n)
1 si X(n) pertenece a C1
d(n)=
-1 si X(n) pertenece a C2
4) n= n+1, retornar a 2) hasta alcanzar la condición de
parada
Introducción a las Redes Neuronales Artificiales

El Perceptrón

Definición: Una época es la presentación del conjunto completo de datos.
OBSERVACIONES
1. Definimos Δ(n) = d(n) –y(n). Δ(n) es el error de la
clasificación en la iteración n.
2. Cuando elerror de clasificación es 0, los pesos no
se actualizan.
3. Condición de parada: Realizar tantas épocas como
hagan falta hasta lograr que todos los Δ(n) de una
época sean 0.
4. La inicialización de los pesos iniciales puede ser a
cualquier valor.
5. Se puede demostrar que el algoritmo termina con
Δ(n)=0 para cualquier valor de η positivo (OJO)

Introducción a las Redes NeuronalesArtificiales

El Perceptrón

Interpretación Geométrica
Queremos encontrar pesos W tales que

ρρ

sgn(wt x ) = d

La proyección del patrón X sobre
W tenga el mismo signo que d

La frontera entre proyecciones positivas y negativas es......

ρt ρ
El hiperplano w x =0

En 2D, es la ec. de la recta
Con vector perpendicular W

Si y=d no cambio W
Si y≠ d actualizo según la reglaWnuevo=Wviejo + η (d - y) X, para todo d

Introducción a las Redes Neuronales Artificiales

El Perceptrón

d=1
d=-1
P1

w
2ηp1

Wnuevo=Wviejo + η (d - y) X
Introducción a las Redes Neuronales Artificiales

El Perceptrón

Qué pasa si η es muy grande?
Tardaremos MUCHO en converger
Qué pasa si P1es un punto atípico?
Tardaremos MUCHO en converger
Mejora es este caso: Wnuevo=Wviejo +η (d - y) X / ||X||

Introducción a las Redes Neuronales Artificiales

El Perceptrón

Ejemplo:

x1
1
1
2
2

x2
1
2
1
2

d(X)
-1
+1
+1
+1

Es linealmente separable? Si
Hay algún punto atípico? No

Introducción a las Redes Neuronales Artificiales

El Perceptrón

TEOREMA DE CONVERGENCIA
Considere la entrada: x1 , x2 , Λ
que representan
Muestras de dos claseslinealmente separables,
C1 y C2 , asuma que existe un vector w tal que

ρt ρ
w x>0
ρt ρ
w x≤0

ρ
si x ∈ C1
ρ
si x ∈ C2

•Sea H1 el subconjunto de entrenamiento que pertenecen a la clase C1
•Sea H2 el subconjunto de entrenamiento que pertenecen a la clase C2

.

Si H es el conjunto de entrenamiento (linealmente separable) y para η positivo, el
Algoritmo termina (converge)....