Evaluacion Objetiva Y Subjetiva De Entonacion Sintetica

Evaluaci´ n Objetiva y Subjetiva de Entonaci´ n Sint´ tica
o
o
e
David Escudero Mancebo, C´ sar Gonz´ lez Ferreras,
e
a
Valent´n Carde˜ oso Payo
ı
n
Departamento de Inform´ tica
a
Universidad de Valladolid
descuder,cesargf,valen @infor.uva.es

Resumen
En esta comunicaci´ n se presentan una serie de tests de evaluao
ci´ n de entonaci´ n sint´ tica. Los tests han sido aplicadossobre
o
o
e
los resultados obtenidos empleando una metodolog´a de modeı
lado de entonaci´ n basada en funciones de B´ zier y modelado
o
e
estad´stico con aplicaciones en conversi´ n texto voz. Primeı
o
ro se describen una serie de generalidades sobre tests objetivos
y subjetivos, apuntando las ventajas e inconvenientes de unos
frente a otros. Despu´ s se define un test objetivo y se haceuna
e
valoraci´ n de los resultados obtenidos. El test objetivo se como
pleta con un test percetual poniendo de manifiesto la calidad de
la entonaci´ n sint´ tica generada 1 .
o
e

1. Introducci´ n
o
Los esfuerzos en mejorar la entonaci´ n de los sistemas traduco
tores texto-voz, deben llevar asociados un conjunto de m´ todos
e
y t´ cnicas que permitan evaluar las mejoras realizadas.Exise
ten m´ todos de evaluaci´ n objetivos y subjetivos para valorar
e
o
las mejoras en la entonaci´ n, que aportan beneficios tanto a dio
se˜ adores como a posibles usuarios.
n
Desde el punto de vista de los dise˜ adores, la evaluaci´ n
n
o
es una herramienta para cuantificar las mejoras realizadas y hacer diagn´ sticos de los posibles aspectos por mejorar. Desde el
o
punto de vista delusuario o posible cliente, las t´ cnicas de evae
luaci´ n le permitir´ n comparar sistemas para poder decidirse a
o
a
la hora de hacer una posible elecci´ n.
o
Se han descrito tanto m´ todos subjetivos como objetivos de
e
evaluaci´ n de entonaci´ n. Cada uno de ellos aporta un valor
o
o
que hace que, en el estado del arte actual, no podamos prescindir de ninguno de ellos. A continuaci´n, se describen los
o
distintos m´ todos de evaluaci´ n, comentando sus ventajas e ine
o
convenientes.
´
1.1. Evaluaci´ n Subjetiva de Entonacion Sint´ tica
o
e
La idea b´ sica de estos m´ todos se describe en los trabajos
a
e
cl´ sicos del IPO [1] bajo el nombre de analysis by synthesis.
a
El m´ todo consiste en reproducir una locuci´ n empleando una
e
o
curva de entonaci´ nsint´ tica y preguntar a un usuario sobre la
o
e
calidad o naturalidad de la misma. En [2] o [3] puede encontrarse un compendio de m´ todos y t´ cnicas subjetivas para evaluar
e
e
distintos aspectos de voz sint´ tica, entre otros, de la entonaci´ n.
e
o
B´ sicamente existen dos t´ cnicas: la comparaci´ n de pares y la
a
e
o
puntuaci´ n de locuciones.
o
En la comparaci´ n de pares, seemiten dos locuciones en
o
condiciones distintas (p.e. una con ¼ original y otra con ¼
1 Este trabajo ha sido parcialmente financiado por el proyecto VA1600 de la Consejer´a de Educaci´ n de Castilla y Le´ n y por el proyecto
ı
o
o
C2000-1669-C0403 de la CICyT

sint´ tico) y un usuario compara las mismas. El usuario debe dee
cir cual prefiere y justificar su decisi´ n. El principal problema
ode este m´ todo es la dificultad de encontrar un usuario capaz
e
de emitir juicios v´ lidos sobre los parecidos de las locuciones.
a
Otro problema es que la prueba se ha de limitar a locuciones
breves, porque es dif´cil que el usuario recuerde los detalles en
ı
locuciones mayores. Este m´ todo tiene especial inter´ s cuando
e
e
es realidado por un usuario bien entrenado, ya que estepuede
´
emitir diagn´ sticos que localicen aspectos concretos susceptio
bles de mejora.
En el m´ todo de puntuaci´ n, el usuario escucha una locue
o
ci´ n y le asigna una nota num´ rica en funci´ n de c´ mo de nao
e
o
o
tural le parezca. Estos tests son m´ s eficaces para locuciones
a
largas. El usuario no necesita recordar c´ mo fueron las locuo
ciones anteriores, sino que s´ lo debe...