SISTEMAS DE INFORMACIÓN

Evaluación de los Sistemas de Información

Los progresos realizados en un sistema deben ser medidos o evaluados para conocer las deficiencias y problemas que éste presenta. Aunque una evaluación cualitativa puede resultar útil en las etapas iniciales del desarrollo del sistema, medidas cuantitativas bajo unas mismas condiciones resultan de vital importancia para ver el progreso real delsistema y compararlo consigo mismo o con otros. Los números no aportan información si se desconoce de dónde proceden, es decir, qué representan.

La elaboración de sistemas debe ser evaluada con mucho detalle, para lo cual se debe revisar si existen realmente sistemas entrelazados como un todo o bien si existen programas aislados. Otro de los factores a evaluar es si existe un plan estratégico parala elaboración de los sistemas o si se están elaborando sin el adecuado señalamiento de prioridades y de objetivos.

Acuerdos alcanzados en la evaluación de sistemas

* Conjuntos de Datos de Entrenamiento y de Prueba Independientes: La importancia de disponer de conjuntos de datos independientes para el entrenamiento/desarrollo y para la evaluación de sistemas de reconocimiento de habla vienesiendo aceptada desde hace bastante tiempo por la comunidad científica. Sigue siendo igual de importante para el desarrollo y evaluación de los sistemas de comprensión de habla, aunque para estos últimos nos interesará tener datos de prueba dónde aparezcan el mayor número de fenómenos del habla posibles (son importantes las construcciones gramaticales, los efectos propios del habla espontánea,etc.), para colocar al sistema en el mayor número de situaciones (léxicas, sintácticas y semánticas) posible. Sin embargo, es conveniente resaltar que el proceso de evaluación no deja de ser parte del proceso de entrenamiento, pues en muchos casos los resultados de la misma sirven para depurar o mejorar el comportamiento final del sistema. Por tanto, es importante que exista un conjunto de datosindependiente y realista, tan grande como sea posible, con el que se evalúe definitivamente un sistema y con cuyos resultados no se intente seguir desarrollando (mejorando) el sistema.

* Evaluación del Sistema como Caja Negra: La evaluación de los componentes de un sistema es una tarea importante durante el desarrollo del mismo, aunque no es especialmente útil para comparar sistemas entre sí, almenos que los sistemas a comparar sean muy similares, lo que no suele ser el caso. La motivación para evaluar los componentes de un sistema es puramente interna, por tanto, no es absolutamente necesario llegar a acuerdos en la comunidad internacional sobre la metodología de evaluación de los mismos. Las medidas de evaluación de los componentes internos de un sistema pueden utilizarse para evaluar lastecnologías empleadas en cada componente como una función de sus parámetros de diseño; por ejemplo, el funcionamiento de un módulo de reconocimiento acústico puede ser evaluado como una función de la perplejidad alofónica y sintáctica, el funcionamiento de un analizador sintáctico (parser) como una función de la calidad (errores) de la secuencia de palabras (frase) de entrada. Además, estasmedidas son útiles para evaluar el progreso conseguido, y cómo los cambios en varios componentes afectan al resto de los mismos.

* Evaluación Cuantitativa vs. Cualitativa: Una evaluación cualitativa de un sistema puede ser animador, pero mucho más convincente para aquellos que no pueden observar el sistema son las medidas cuantitativas llevadas a cabo de forma automática. Las medidas deberían serestandarizadas en la medida de lo posible, y ser reproducibles, para considerarlas significativas. El proceso automatizado evita errores humanos debido a fatiga, falta de atención, malas intenciones, etc. y además, permite capturar muchos más datos que en un caso manual, y sacar conclusiones sobre el funcionamiento de ciertos procesos o hechos que ocurren, con una mayor fiabilidad.


* Captura...