Natural Language Processing
Speech & Audio
Verimli Çok Dilli Konuşma-Konuşma Çevirisi için Difüzyon Sentezleyici
Author
Venue
Interspeech 2024
Abstract
Birden fazla kaynak dilden İngilizceye çeviri yaparken, girdi konuşmacısının sesini sıfır atışla koruyabilen, düşük gecikmeli, doğrudan konuşma-konuşma çeviri sistemi olan DiffuseST'yi tanıtıyoruz. Mimariye ait sentezleyici bileşenini deniyor, Tacotron tabanlı bir sentezleyiciyi yeni bir difüzyon tabanlı sentezleyiciyle karşılaştırıyoruz. Difüzyon tabanlı sentezleyicinin, benzer BLEU puanlarını korurken MOS ve PESQ ses kalitesi metriklerini %23, konuşmacı benzerliğini ise %5 oranında iyileştirdiğini tespit ettik. Parametre sayısı iki katından fazla olmasına rağmen, difüzyon sentezleyicinin gecikme süresi daha düşüktür ve bu sayede modelin tamamı gerçek zamanlıdan 5 kat daha hızlı çalışmaktadır.
