Ada boost

Páginas: 5 (1147 palabras) Publicado: 25 de junio de 2014
1.-Introducción.
AdaBoost es un algoritmo predictivo para la clasificación y la regresión .
AdaBoost (Adaptive Boosting) es un algoritmo de aprendizaje conjunto que se puede utilizar para la
clasificación o la regresión . Aunque AdaBoost es más resistente a overfitting (Sobre entrenamiento)
que muchos algoritmos de aprendizaje automático, es a menudo sensible a los datos ruidosos y valoresatípicos .
AdaBoost se llama Adaptativo, ya que utiliza múltiples iteraciones para generar un único Strong
Learner o Clasificador Fuerte compuesto a partir de varios Weak Learners o Clasificadores Debiles.
AdaBoost crea el Clasificador Fuerte ( un clasificador que está bien correlacionado con la salida del
clasificador fuerte final) añadiendo iterativamente mas clasificadores débiles que leayudaran a emitir
un juicio integrado por con Comité de varios clasificadores débiles ( un clasificador que se correlaciona
muy poco al verdadero clasificador) . Durante cada ronda de entrenamiento, se añade un nuevo
clasificador débil para el conjunto y un vector de ponderación de pesos D se ajusta a centrarse en
ejemplos que fueron mal clasificados en las rondas anteriores . El resultado dejuntar todas las opniones
de los clasificadores en una función signo, es un clasificador que tiene una precisión mayor que los
clasificadores débiles.
Antes de comenzar a entrenar cabe recalcar que primero se normalizaron los datos de las casas a una
escala entre 0 y 1, esto a razon de que hay datos demasiado variados, y para evitar los problemas que
eso pudiera ocasionar se utilizo la siguienteformula de normalizacion:

Algoritmo:
Dado (x1,y1),... (xn,yn) donde xi € X, yi € {-1,+1}
Inicializamos los pesos D(i) para la primera vuelta haciedo D(i) = 1/m desde i = 1 hasta i = m.
Para t=1 hasta T donde T es el numero maximo de clasificadores debiles hacer:
1. Entrenar clasificador debil utilizando la distribucion D
2. Obtener una hypotesis debil ht: h--->{-1,1}
3. Seleccionar el htcon el error mas bajo
4. Et = Σ D(i) [ht(x(i) =! y(i))]
5. calculamos α = 1/2 Logn(1-et/et)
6. actualizamos desde i = 1 hasta i = m
7. D_t+1(i) = (D_t(i) exp(-α y(i) ht(x(i))))/Zt
Donde Zt es un factor de normalización que convierte D_t+1 en una distribución de probabilidad cuya
sumatoria es igual a 1.
Finalmente la salida de los clasificadores debiles se suma y se le aplica la funcionsigno lo cual nos
dara una salida a la que llamaremos nuestro clasificador Fuerte.
H(x) = SIGN(t=1; hasta T Σ αt ht(x) ).

2.-Origen de los datos y parámetros del experimento.
Para entrenar a los clasificadores débiles ht y sus pesos α, y su posterior testeo utilizamos un conjunto
de datos pertenecientes a casas y propiedades, las cuales definimos un umbral para catalogarlas como
caras obaratas. Este umbral fue 21.2 * (10^4). A continuación presentamos la información de este
conjunto de datos:
Origen:
Este conjunto de datos fue tomada de la biblioteca StatLib que se mantiene en la Universidad Carnegie
Mellon.
Creador:
Harrison, D. y Rubinfeld, D. L.
'Precios hedónicos y la demanda de aire limpio', J. Environ. Economía y Gestión, vol.5, 81-102, 1978.
Datos Conjunto deInformación:
Preocupaciones valor de la vivienda en los suburbios de Boston.
Atributo de la información:
1. Tasa de criminalidad per cápita por municipio: CRIM
2. ZN: proporción de suelo residencial dividido en zonas para las porciones más de 25.000 pies
cuadrados
3. INDUS: proporción de acres de negocios no minoristas por la ciudad
4. CHAS: Charles River variable ficticia (= 1 si los límites delas vías fluviales; 0 en caso contrario)
5. NOX: concentración de óxidos de nitrógeno (partes por 10 millones de dólares)
6. RM: número medio de habitaciones por vivienda
7. EDAD: proporción de unidades ocupadas por sus propietarios construidas antes de 1940
8. Distancias ponderadas a cinco centros de empleo de Boston: DIS
9. RAD: el índice de la accesibilidad a las autopistas radiales
10....
Leer documento completo

Regístrate para leer el documento completo.

Estos documentos también te pueden resultar útiles

  • BOOST
  • boost
  • BOOSTER
  • Adaed
  • ADAE
  • ---Ada
  • De ada
  • adae

Conviértase en miembro formal de Buenas Tareas

INSCRÍBETE - ES GRATIS