Syntezator dyfuzyjny do wydajnego wielojęzycznego tłumaczenia mowy na mowę
Author
Venue
Interspeech 2024
Abstract
Przedstawiamy DiffuseST, system bezpośredniego tłumaczenia mowy na mowę o niskim opóźnieniu, zdolny do zachowania głosu mówcy wejściowego bez uczenia wstępnego podczas tłumaczenia z wielu języków źródłowych na język angielski. Przeprowadzamy eksperymenty z komponentem syntezatora architektury, porównując syntezator oparty na Tacotronie z nowatorskim syntezatorem opartym na dyfuzji. Stwierdziliśmy, że syntezator oparty na dyfuzji poprawia wskaźniki jakości dźwięku MOS i PESQ o 23% każdy oraz podobieństwo mówcy o 5%, zachowując jednocześnie porównywalne wyniki BLEU. Pomimo ponad dwukrotnie większej liczby parametrów, syntezator dyfuzyjny charakteryzuje się mniejszym opóźnieniem, co pozwala całemu modelowi działać ponad 5 razy szybciej niż w czasie rzeczywistym.
