Redes neuronales

Tesis doctoral

MODELOS PREDICTIVOS BASADOS EN REDES NEURONALES RECURRENTES DE TIEMPO DISCRETO

Juan Antonio P´rez Ortiz e Julio de 2002

Memoria presentada para optar al grado de doctor Dirigida por Mikel L. Forcada y Jorge Calera Rubio

Universidad de Alicante Departamento de Lenguajes y Sistemas Inform´ticos a

Tesis doctoral

MODELOS PREDICTIVOS BASADOS EN REDES NEURONALESRECURRENTES DE TIEMPO DISCRETO

Juan Antonio P´rez Ortiz e
Julio de 2002

Departamento de Lenguajes y Sistemas Inform´ticos a Universidad de Alicante

MODELOS PREDICTIVOS BASADOS EN REDES NEURONALES RECURRENTES DE TIEMPO DISCRETO Juan Antonio P´rez Ortiz e

Resumen Este trabajo estudia la aplicaci´n de distintos modelos de redes neuroo nales recurrentes de tiempo discreto a diversas tareasde car´cter predictivo. a Las redes neuronales recurrentes son redes neuronales que presentan uno o m´s ciclos en el grafo definido por las interconexiones de sus unidades de a procesamiento. La existencia de estos ciclos les permite trabajar de forma innata con secuencias temporales. Las redes recurrentes son sistemas din´micos no lineales capaces de descubrir regularidades temporales en las asecuencias procesadas y pueden aplicarse, por lo tanto, a multitud de tareas de procesamiento de este tipo de secuencias. Esta tesis se centra en la aplicaci´n de las redes neuronales recurrentes a la predicci´n del siguiente o o elemento de secuencias de naturaleza simb´lica o num´rica. o e No obstante, la predicci´n en s´ no es el objetivo ultimo: en esta tesis o ı ´ la capacidad predictiva delas redes recurrentes se aplica a la compresi´n de o se˜ales de voz o de secuencias de texto, a la inferencia de lenguajes regulares n o sensibles al contexto, y a la desambiguaci´n de las palabras hom´grafas o o de una oraci´n. o Los modelos concretos de redes utilizados son, principalmente, la red recurrente simple, la red parcialmente recurrente y el modelo neuronal de memoria a corto y largoplazo; este ultimo permite superar el llamado pro´ blema del gradiente evanescente que aparece cuando los intervalos de tiempo m´ ınimos entre eventos interdependientes son relativamente largos. Para determinar valores correctos de los par´metros libres de las redes se usan dos a algoritmos, el cl´sico algoritmo del descenso por el gradiente y una forma a del filtro de Kalman extendido. Palabrasclave: redes neuronales recurrentes de tiempo discreto, modelos predictivos en l´ ınea y fuera de l´ ınea, aprendizaje de secuencias simb´licas, o predicci´n de se˜ales de voz, etiquetado de categor´ l´xicas. o n ıas e

PREFACIO

Las redes neuronales recurrentes son uno de los modelos posibles para tratar secuencias temporales. Su principal ventaja estriba en la posibilidad de almacenar unarepresentaci´n de la historia reciente de la secuencia, lo que o permite, a diferencia de lo que ocurre con las redes neuronales no recurrentes, que la salida ante un determinado vector de entrada pueda variar en funci´n o de la configuraci´n interna actual de la red. o Como se ver´ a lo largo de esta tesis, las redes recurrentes han sido muy a utilizadas en multitud de tareas relacionadas con elprocesamiento de secuencias temporales. Dentro de estas tareas, la predicci´n de secuencias, o en la que se estima el valor futuro de uno o m´s elementos de la secuencia a a partir de la historia observada, tiene importantes aplicaciones en campos tales como la inferencia de lenguajes o la compresi´n de se˜ales. Esta tesis o n se centra en este aspecto del procesamiento de secuencias discretas conredes recurrentes de tiempo discreto y estudia tareas que van desde la predicci´n o en l´ ınea de secuencias simb´licas o de voz hasta la desambiguaci´n de las pao o labras hom´grafas de una oraci´n a partir de la predicci´n de sus categor´ o o o ıas l´xicas, pasando por la inferencia de lenguajes no regulares. e Este trabajo demuestra algunas limitaciones de los modelos neuronales recurrentes...