Synthétiseur par diffusion pour une traduction vocale multilingue efficace
Author
Venue
Interspeech 2024
Abstract
Nous présentons DiffuseST, un système de traduction directe de la parole vers la parole à faible latence, capable de préserver la voix de l'orateur d'entrée sans apprentissage préalable (zero-shot) tout en traduisant de plusieurs langues sources vers l'anglais. Nous menons des expériences sur le composant synthétiseur de l'architecture, en comparant un synthétiseur basé sur Tacotron à un nouveau synthétiseur basé sur la diffusion. Nous constatons que le synthétiseur basé sur la diffusion améliore les indicateurs de qualité audio MOS et PESQ de 23 % chacun et la similarité de l'orateur de 5 %, tout en conservant des scores BLEU comparables. Bien qu'il comporte plus du double de paramètres, le synthétiseur par diffusion présente une latence plus faible, ce qui permet à l'ensemble du modèle de fonctionner plus de 5 fois plus vite qu'en temps réel.
