Natural Language Processing
Speech & Audio
कुशल बहुभाषी स्पीच-टू-स्पीच अनुवाद के लिए डिफ्यूजन सिंथेसाइज़र
Author
Venue
इंटरस्पीच 2024
Abstract
हम DiffuseST पेश करते हैं, जो एक कम-विलंबता वाला, प्रत्यक्ष स्पीच-टू-स्पीच अनुवाद प्रणाली है, जो कई स्रोत भाषाओं से अंग्रेज़ी में अनुवाद करते समय इनपुट वक्ता की आवाज़ को ज़ीरो-शॉट में संरक्षित करने में सक्षम है। हम आर्किटेक्चर के सिंथेसाइज़र घटक के साथ प्रयोग करते हैं, जिसमें एक Tacotron-आधारित सिंथेसाइज़र की तुलना एक नवीन डिफ्यूज़न-आधारित सिंथेसाइज़र से की जाती है। हम पाते हैं कि डिफ्यूजन-आधारित सिंथेसाइज़र, तुलनीय BLEU स्कोर बनाए रखते हुए, MOS और PESQ ऑडियो गुणवत्ता मेट्रिक्स में से प्रत्येक में 23% और वक्ता समानता में 5% की सुधार करता है। दोगुने से भी अधिक पैरामीटर काउंट होने के बावजूद, डिफ्यूजन सिंथेसाइज़र की लेटेंसी कम है, जिससे पूरा मॉडल रीयल-टाइम की तुलना में 5× से अधिक तेज़ी से चलता है।
