modelo lineal

Clasificación con modelos lineales

Carlos Alonso González
Grupo de Sistemas Inteligentes
Departamento de Informática
Universidad de Valladolid

Contenido
Clasificación lineal con modelos lineales.
Regresión lineal.
Clasificación lineal multirespuesta.
Regresión logística.
Redes Neuronales Artificiales.

1.
2.
3.
4.
5.
1.
2.

Perceptrón.

6.
1.
2.

7.

Elementos deproceso
Topología básica.
Perceptrón discreto.
Perceptrón lineal

Bibliografía.

2

1. Clasificación lineal con modelos
lineales.

3

Patrones linealmente separables



Un conjunto de patrones de un espacio de
características n-dimensional, pertenecientes a dos
clases, es linealmente separable si y solo si el espacio
se puede dividir mediante un hiperplano en dos
regiones,de forma que cada región contenga patrones
de una única clase

4

Clasificación lineal con modelos
lineales


Si las clases son linealmente separables, basta con
encontrar hiperplano que discrimine (por ejemplo
perceptrón).



También pueden utilizarse métodos de regresión lineal.



Adecuado para atributos numéricos.

5

Problema linealmente separable

a2

a1
62. Regresión lineal

7

2. Regresión lineal







Natural si la clase y los atributos son numéricos.
Obtener la clase como una combinación lineal de
atributos:
x=w0 + w1a1+w2a2+… +wkak
Valor predicho para instancia i-ésima:
w0a0(i) + w1a1(i)+w2a2(i)+… +wkak(i)= Σj=0,kwjaj(i)
(añadiendo atributo a0(i)=1)

8

Minimizar error cuadrático





Ajustar coeficientes(k+1 pesos) para minimizar error
cuadrático sobre n ejemplos de entrenamiento.
Error cuadrático
Σi=1,n (x(i) - Σj=0,kwjaj(i))2

x(i):clase ejemplo i-ésimo, Σj=0,kwjaj(i): clase predicha ejemplo i-ésimo


Mínimos cuadrados:



Más ejemplos que atributos.
Matriz no singular.

9

3. Clasificación lineal:
regresión lineal multirespuesta

10

3. Clasificación lineal:regresión lineal multirespuesta


Cualquier técnica de regresión se puede utilizar para
clasificación:






Entrenamiento: regresión para cada clase, con clase=1
para los ejemplos de la clase y clase=0 para los restantes
Prueba: calcular el valor de cada regresión y asignar la
clase correspondiente a la regresión con máximo valor.

Para regresión lineal: Regresión linealmultirespuesta

11

Comportamiento
Regresión lineal multirespuesta


Interpretación:




rlm aproxima una función de pertenencia para cada clase
(1 si la instancia pertenece a la clase, 0 en otro caso).
Para clasificar una instancia no vista, se calcula la función
de pertenencia de cada clase y se selecciona la mayor.



Buen comportamiento si clases linealmente separables.

Interesante como elemento básico de otros métodos.

12

Problemas
Regresión lineal multirespuesta


Los valores de la función de pertenencia no se pueden
asimilar a probabilidades:




Mínimos cuadrado asume que los errores están
normalmente distribuidos:




Fuera del rango [0,1]

Está suposición se viola en problemas de clasificación: los
valores de la clases en losejemplos de entrenamiento son
0 y 1.

Solución: regresión logística.

13

4. Regresión logística

14

4. Regresión logística









A pesar del nombre, es un clasificador .
Realiza una transformación de variable y luego
construye un clasificador lineal.
Para un problema binario (dos clases).
En vez de intentar estimar:
Pr[1/a1, a2,… , an]
Busca un modelo linealpara:
log(Pr[1/a1, a2,… , an]/(1-Pr[1/a1, a2,… , an]))

15

Transformación logística (logit)





Cambio de variable
x  log(x/(1-x))
Aplica [0, 1] en
(-∞, +∞)

16

Modelo lineal



Modelo lineal para
log(Pr[1/a1, a2,… , an]/(1-Pr[1/a1, a2,… , an]))

log(Pr[1/a1, a2,… , an]/(1-Pr[1/a1, a2,… , an]))=Σj=0,kwjaj
Al deshacer el cambio:
Pr[1/a1, a2,… , an]=1/(1+ exp(-w0...