Ejercicios IA

Sistemas Inteligentes

2013 - 2014

Relaci´n 7 - Redes neuronales
o
Problemas
Ejercicio 1. Explicar c´mo se usar´ una red neuronal para obtener un reconocedor de
o
ıa
letras escritas a mano. Describir con precisi´n qu´ estructura de red usar´ qu´ repreo
e
ıas, e
sentar´ tanto la entrada como la salida de la red, en qu´ consistir´ un conjunto de
ıan
e
ıa
entrenamiento y c´mo sepodr´ obtener, y c´mo se buscar´ unos pesos adecuados para
o
ıa
o
ıan
la red ¿Qu´ entendemos en este contexto por “pesos adecuados”?
e
Ejercicio 2. Dise˜ar un perceptr´n simple con n valores de entrada y funci´n umbral de
n
o
o
activaci´n que sirva para calcular la funci´n MAYORIA-SIMPLE; esta funci´n recibe n
o
o
o
entradas (cada una puede ser un 0 o un 1) y devuelve como salida un 1si hay estrictamente
m´s 1s que 0s, o 0 en caso contrario.
a
Ejercicio 3. Demostrar geom´tricamente que un perceptr´n simple no puede calcular la
e
o
funci´n XOR. Construir una red neuronal (con funci´n umbral como funci´n de activaci´n)
o
o
o
o
que s´ la calcule. Indicaci´n: Tener en cuenta que XOR se puede obtener mediante AND
ı
o
y OR, y que estas dos funciones si pueden sercalculadas por perceptrones.
Ejercicio 4. La funci´n PARIDAD es aquella que recibiendo n bits, devuelve 1 si hay
o
un n´mero par de ellos igual a 1, y 0 en caso contrario ¿Se puede calcular la funci´n
u
o
PARIDAD mediante un perceptr´n simple? ¿Y mediante una red neuronal con una capa
o
oculta y funci´n umbral como funci´n de activaci´n? Indicaci´n: incluir n neuronas en la
o
o
o
o
capaintermedia, donde cada neurona i de la capa intermedia se debe activar con un 1 si
hay m´s de i entradas iguales a 1.
a
Ejercicio 5. Sea f una funci´n de R × R en {−1, 1} tal que f (−1, 1) = f (0, 0) = 1
o
y f (−1, 0) = f (0, 1) = −1. Supongamos que con ese conjunto de ejemplos aplicamos el
algoritmo de entrenamiento del perceptr´n simple bipolar ¿Ser´ el algoritmo capaz de
o
a
encontrarlos pesos adecuados para que la unidad bipolar correspondiente calcule correctamente los cuatro ejemplos anteriores? En el caso de usar el algoritmo de entrenamiento
de la regla delta para encontrar un perceptr´n simple con funci´n activaci´n diferenciable,
o
o
o
¿hacia qu´ converge el vector de pesos que va construyendo el algoritmo?
e
Ejercicio 6. Aplica el Algoritmo de Entrenamiento deDescenso por el Gradiente hasta obtener la primera actualizaci´n del peso w2 al problema de aprendizaje
o
del perceptr´n con η = 0,1, la funci´n sigmoide como funci´n de activaci´n y el conjunto
o
o
o
o
de aprendizaje
x1 x2 x3
y
e1 0,7 0,2 0,1 0,3
e2 0,3 0,5 0,2 0,8
e3 0,1 0,1 0,8 0,6
Tomar como pesos iniciales w0 = 0,1, w1 = 0,1, w2 = 0,1 y w3 = 0,1.
Ejercicio 7.
Consideremos lasiguiente red neuronal, un factor de aprendizaje η =0.1 y la funci´n sigmoide como funci´n de activaci´n. Representaremos por
o
o
o

1

2

4

6

8

1

3

5

wij el peso asociado a la sinapsis desde la
neurona i a la neurona j y por w0j el peso
asociado a la entrada virtual de la neurona
j. Consideraremos todos los pesos iniciales de la red neuronal valen 1.0. ¿Cu´nto
a
valeel peso w36 tras dar un paso del algoritmo de retropropagaci´n asociado al
o
ejemplo (0,5, 0,5), (0,8, 0,8) ? Detallar todos los pasos del algoritmo. [Nota: Para

7

hacer los c´lculos tomaremos 4 decimales.]
a
Ejercicio 8.
Supongamos que entrenamos un perceptr´n cuya funci´n de activaci´n es la identidad,
o
o
o
usando la regla Delta como algoritmo de entrenamiento. Si el conjunto deentrenamiento
es linealmente separable ¿Est´ garantizado que en alg´n momento encontraremos unos
a
u
pesos que hagan que el perceptr´n clasifique correctamente a cada uno de los ejemplos
o
del conjunto de entrenamiento?
Ejercicio 9. Consideremos la red neuronal de la siguiente figura formada por unidades
bipolares (considerando x0 = −1 en todos los casos):

X

wAx

A
w CA
w Ay

w...