cap 5

Capítulo 5. Evaluaciones

Capítulo 5. Evaluaciones
5.1 Esquema general de evaluaciones
En este capítulo trataremos el tema de las pruebas que se hicieron a esta
aplicación. Las evaluaciones se harán en tres categorías: pruebas de usabilidad, pruebas
de carga de datos, pruebas de desempeño y pruebas de relevancia. Por último se analizan
las desventajas que tiene nuestro sistema.
Otraprueba interesante es la de comparar nuestro sistema con otros existentes.
De todos estos, los candidatos de evaluación son Blobworld y CIS (ver sección 2.4), ya
que son los únicos que actualmente se encuentran disponibles al público mediante el
Web. Desgraciadamente esta comparación no es posible debido tres factores principales:
no existe una plataforma de pruebas uniforme, dominio de lasimágenes utilizadas y falta
de información acerca de detalles técnicos.
El primer factor se refiere a que no se tiene un ambiente uniforme de pruebas en
donde se puedan evaluar los sistemas de manera equivalente. Para poder realizar estas
pruebas y obtener resultados confiables, sería necesario que todos los sistemas fueran
evaluados bajo las mismas condiciones tanto de hardware como de software. Unaopción
podría ser la de implementar, bajo estas mismas condiciones, los distintos enfoques de
CBIR utilizados en los sistemas a evaluar, probarlos y obtener nuestras propias
conclusiones, tal como se hizo en [Stehling et. al 2002].
El segundo factor se refiere a que las imágenes utilizadas por nuestro sistema y
por los candidatos de evaluación son diferentes.

Para poder hacer unaevaluación

confiable de las imágenes relevantes que un sistema debería de desplegar, se necesitaría
que dichas evaluaciones se hicieran con el mismo conjunto de imágenes. En el caso de

Capítulo 5. Evaluaciones

Blobworld, se utilizan imágenes comerciales que están sujetas a derechos de autor y no es
posible evaluar nuestro sistema usando estas imágenes. Este sistema tampoco provee la
opción deusar imágenes externas como consulta, por lo que es imposible evaluarlo
utilizando imágenes de Tesis Digitales.
Por último, la falta de información acerca de los detalles técnicos detrás de los
sistemas candidatos también nos impide hacer una comparación equitativa. Esto se debe
a que ciertos detalles de implementación de los candidatos son transparentes al usuario
(por ejemplo, si utilizanarchivos o base de datos).

5.2 Pruebas de usabilidad
Las pruebas de usabilidad se realizaron usando dos enfoques: pruebas con usuarios
y evaluación de heurísticas de Nielsen. Más adelante veremos el plan de pruebas que se
preparó, así como el marco teórico referente a las heurísticas.

5.2.1

Objetivos
Estas pruebas están orientadas a probar la usabilidad del sistema. Esto se refiere aprobar la facilidad con la cual los usuarios de una aplicación la pueden operar. En
nuestro caso, los objetivos principales serán: (1) determinar si un usuario puede utilizar
nuestra aplicación completando satisfactoriamente el proceso de búsqueda. (2) determinar
si la interfaz del usuario es lo suficientemente intuitiva tanto para usuarios que tienen
experiencia en aplicaciones de softwarecomo para aquellos que no la tienen. (3)
determinar si la aplicación requiere modificaciones para que cumpla los objetivos
anteriores.

Capítulo 5. Evaluaciones

5.2.2

Usuarios de prueba
Las pruebas de usabilidad se realizaron con cinco usuarios quienes actualmente

son estudiantes de nuestra universidad. Este número de usuarios se determinó así debido
a que la razón decosto/beneficio de la prueba es mayor cuando se utilizan entre tres y
cinco usuarios, según [Nielsen 1993]. Se seleccionaron 5 estudiantes de la UDLA porque
ellos forman parte de la población objetivo del sistema y por lo tanto existe un mayor
grado de validez en la evaluación.

5.2.3

Ambiente de pruebas
La evaluación se llevó a cabo en un lapso de dos días. Los lugares donde se

realizaron...