Aprendizaje Basado En Instancias

Aprendizaje Basado en Instancias
En este tipo de aprendizaje, se almacenan los ejemplos de entrenamiento y cuando se quiere clasificar un nuevo objeto, se extraen los objetos más parecidos y se usa su clasificación para clasificar al nuevo objeto.
Contrario a los otros esquemas vistos, el proceso de aprendizaje es trivial y el de clasificación es el que consume el mayor tiempo.
Este tipo deaprendizaje también se conoce como lazy learning o memory-based learning donde los datos de entrenamiento se procesan solo hasta que se requiere (cuando se requiere constestar alguna pregunta), y la relevancia de los datos se mide en función de una medida de distancia.
Vecinos más cercanos
El algoritmo de k-NN (k-nearest neighbours) es el más simple.
El algoritmo es robusto con ejemplos quetienen ruido.
Los vecinos más cercanos a una instancia se obtienen, en caso de atributos continuos, utilizando la distancia Euclideana sobre los  posibles atributos (luego veremos otro tipo de distancias):

El resultado de la clasificación de k-NN puede ser discreto o continuo.
En el caso discreto, el resultado de la clasificación es la clase más común de los k-vecinos

El algoritmo de los kvecinos más cercanos. |
|
La forma que se genera con  es un diagrama de Voronoi alrededor de las instancias almacenadas. A una nueva instancia se le asigna la clasificación del vecino más cercano.
Para clasificaciones continuas, se puede tomar la media de las clasificaciones.

Un extensión obvia al algoritmo es pesar las clasificaciones de los vecinos de acuerdo a su distancia con el objeto aclasificar (la clasificación de vecinos más cercanos tienen más peso). Promedio ponderado (weigthed average) promedia la salida de los puntos pesados inversamente por su distancia.
Para clases discretas:

donde:  (si la distancia es  entonces ).
Para clase continuas:

Una suposición es que los vecinos más cercanos nos dan la mejor clasificación y esto se hace utilizando todos los atributos.El problema es que es posible que se tengan muchos atributos irrelevantes que dominen sobre la clasificación (e.g., 2 atributos relevantes dentro de 20 irrelevantes no pintan).
Una posibilidad es pesar las distancias de cada atributo, dandole más peso a los atributos más relevantes.
Otra posibilidad es tratar de determinar estos pesos con ejemplos conocidos de entrenamiento. Alterando los pesospara minimizar el error.
Finalmente, también se pueden eliminar los atributos que se consideran irrelevantes.
Un elemento práctico adicional, tiene que ver con el almacenamiento de los ejemplos. En este caso se han sugerido representaciones basadas en árboles (-trees) donde las instancias están distribuidas en base a su cercania.

Regresión pesada local
Locally weigthed regression es unageneralización que construye una función que ajusta los datos de entrenamiento que están en la vecindad de .
Se pueden usar funciones lineales, cuadráticas, redes neuronales, etc. Si utilizamos una función lineal:

Podemos usar gradiente descendiente para ajustar los pesos que minimizan el error.
El error lo podemos expresar por diferencias de error al cuadrado de la siguiente forma:

Lo quequeremos es determinar el vector de pesos que minimice el error . Esto se logra alterando los pesos en la dirección que produce el máximo descenso en la superficie del error.
La dirección de cambio se obtiene mediante el gradiente. El gradiente nos especifica la dirección que produce el máximo incremento, por lo que el mayor descenso es el negativo de la dirección.
La regla de actualización depesos es entonces: 

donde  es el factor de aprendizaje (qué tanto le creemos al error para ajustar nuestos pesos).

Por lo que: 

Para modificar los pesos se puede hacer:
1. Minimizar el error cuadrado usando los  vecinos más cercanos.

2. Minimizar el error cuadrado usando todos los ejemplos pesados por su distancia a .

3. Minimizar el error cuadrado usando los  vecinos más...