Sintetizador de difusión para la traducción eficiente de voz a voz multilingüe
Author
Venue
Interspeech 2024
Abstract
Presentamos DiffuseST, un sistema de traducción directa de voz a voz de baja latencia capaz de conservar la voz del hablante de entrada sin entrenamiento previo al traducir desde múltiples idiomas de origen al inglés. Realizamos experimentos con el componente sintetizador de la arquitectura, comparando un sintetizador basado en Tacotron con un novedoso sintetizador basado en difusión. Hemos constatado que el sintetizador basado en difusión mejora los parámetros de calidad de audio MOS y PESQ en un 23 % cada uno y la similitud del hablante en un 5 %, al tiempo que mantiene puntuaciones BLEU comparables. A pesar de tener más del doble de parámetros, el sintetizador de difusión tiene una latencia menor, lo que permite que todo el modelo se ejecute más de cinco veces más rápido que en tiempo real.
