Natural Language Processing
Speech & Audio
कार्यक्षम बहुभाषिक स्पीच-टू-स्पीच अनुवादासाठी डिफ्यूजन सिंथेसाइझर
Author
Venue
इंटरस्पीच २०२४
Abstract
आम्ही DiffuseST सादर करतो, ही कमी विलंब असलेली थेट भाषणातून भाषणात भाषांतर प्रणाली आहे जी अनेक स्रोत भाषांमधून इंग्रजीत भाषांतर करताना इनपुट स्पीकरचा व्हॉइस झिरो-शॉट जपण्यास सक्षम आहे. आम्ही आर्किटेक्चरच्या सिंथेसाइझर घटकावर प्रयोग करतो, Tacotron-आधारित सिंथेसाइझरची तुलना नवीन डिफ्यूजन-आधारित सिंथेसाइझरशी करतो. आम्हाला आढळले की डिफ्यूजन-आधारित सिंथेसायझर MOS आणि PESQ ऑडिओ गुणवत्ता मेट्रिक्समध्ये प्रत्येकी 23% सुधारणा करतो आणि स्पीकर साम्य 5% वाढवतो, तर BLEU स्कोअर तुलनीय ठेवतो. पॅरामीटर्सची संख्या दुप्पटाहून अधिक असतानाही, डिफ्यूजन सिंथेसायझरची विलंबता कमी आहे, ज्यामुळे संपूर्ण मॉडेल वास्तविक-वेळेपेक्षा 5 पट वेगाने चालवता येते.
