Natural Language Processing
Speech & Audio
用于高效多语言语音到语音翻译的扩散合成器
Author
Venue
Interspeech 2024
Abstract
我们提出 DiffuseST，这是一个低延迟的直接语音到语音翻译系统，能够在将多种源语言翻译为英语的同时，零样本保留输入说话者的声音特征。我们针对该架构的合成器组件进行了实验，对比了基于 Tacotron 的合成器与一种新型的基于扩散的合成器。 实验结果表明，在保持相当的BLEU评分的同时，基于扩散的合成器使MOS和PESQ音质指标分别提升了23%，说话人相似度提高了5%。尽管参数数量超过了前者的两倍，但扩散合成器的延迟更低，使得整个模型的运行速度比实时速度快了5倍以上。
