Sintetizador de difusão para tradução eficiente de fala para fala em vários idiomas
Author
Venue
Interspeech 2024
Abstract
Apresentamos o DiffuseST, um sistema de tradução direta de fala para fala de baixa latência, capaz de preservar a voz do locutor de entrada sem treinamento prévio ao traduzir de vários idiomas de origem para o inglês. Realizamos experimentos com o componente sintetizador da arquitetura, comparando um sintetizador baseado em Tacotron com um novo sintetizador baseado em difusão. Constatamos que o sintetizador baseado em difusão melhora as métricas de qualidade de áudio MOS e PESQ em 23% cada e a similaridade do locutor em 5%, mantendo pontuações BLEU comparáveis. Apesar de ter mais do que o dobro do número de parâmetros, o sintetizador de difusão apresenta menor latência, permitindo que todo o modelo seja executado mais de 5 vezes mais rápido do que em tempo real.
