Sintesis Difusi untuk Terjemahan Suara ke Suara Multibahasa yang Efisien
Author
Venue
Interspeech 2024
Abstract
Kami memperkenalkan DiffuseST, sistem terjemahan langsung dari ucapan ke ucapan dengan latensi rendah yang mampu mempertahankan suara pembicara input tanpa pelatihan (zero-shot) saat menerjemahkan dari berbagai bahasa sumber ke dalam bahasa Inggris. Kami melakukan eksperimen dengan komponen sintesis dalam arsitektur ini, membandingkan sintesis berbasis Tacotron dengan sintesis berbasis difusi yang baru. Kami menemukan bahwa sintesis berbasis difusi meningkatkan metrik kualitas audio MOS dan PESQ masing-masing sebesar 23% serta kesamaan suara sebesar 5%, sambil mempertahankan skor BLEU yang sebanding. Meskipun memiliki jumlah parameter lebih dari dua kali lipat, sintesis berbasis difusi memiliki latensi yang lebih rendah, sehingga memungkinkan model keseluruhan berjalan lebih dari 5 kali lebih cepat daripada waktu nyata.
