आमच्या ओपन-सोर्स व्हॉइस सुरक्षा मॉडेलसाठी अधिक भाषा सुरू करत आहोत

• आम्ही आमचा ओपन-सोर्स व्हॉइस सेफ्टी क्लासिफायर त्याच्या पॅरामीटर्सना 94.6 दशलक्षांवरून 120.2 दशलक्षपर्यंत वाढवून आणि त्याला सात अतिरिक्त भाषांमध्ये विस्तारित करून अद्ययावत करत आहोत.
• वर्गीकरणकर्त्याच्या पहिल्या आवृत्तीपासून, आम्ही इंग्रजी-भाषेतील व्हॉइस चॅट डेटावर 1% खोटे-सकारात्मक दरावर 59.1% रिकॉलची अचूकता वाढवली आहे. ही मागील आवृत्तीच्या 30.9% रिकॉलच्या तुलनेत 92% सुधारणा आहे.

Roblox येथे आम्ही जे काही करतो त्यात सुरक्षितता आणि सभ्यतेला प्रोत्साहन देणे हे नेहमीच मूलभूत राहिले आहे. आम्ही जवळपास दोन दशके मजबूत सुरक्षा प्रणाली तयार करण्यात घालवली आहेत, आणि नवीन तंत्रज्ञान उपलब्ध होताच आम्ही त्यात सातत्याने वाढ आणि विकास करत आहोत. २०२४ मध्ये, आम्ही ४० पेक्षा जास्त सुरक्षा सुधारणा केल्या, ज्यात आमच्या पालक नियंत्रणाच्या (Parental Controls) नूतनीकरणाचा समावेश होता, ज्याचे आम्ही आज पुन्हा अद्यतन करत आहोत. आम्ही उद्योगातील पहिल्या ओपन-सोर्स व्हॉइस सेफ्टी क्लासिफायर्सपैकी एकही लाँच केला आहे, ज्याला 23,000 पेक्षा जास्त वेळा डाउनलोड केले गेले आहे. आज, आम्ही एक अद्ययावत आवृत्ती जारी करत आहोत, जी आणखी अचूक आहे आणि अधिक भाषांमध्ये कार्य करते.

आमच्या वापरकर्त्यांचे संरक्षण करण्यात मदत करणाऱ्या अनेक सुरक्षा प्रणाली, या वर्गीकरणकर्त्यासह, AI मॉडेलद्वारे चालवल्या जातात. आम्ही यापैकी काही ओपन-सोर्स करतो कारण आम्हाला माहित आहे की AI सुरक्षा प्रगती शेअर केल्याने संपूर्ण उद्योगाला फायदा होतो. यामुळेच आम्ही अलीकडेच ROOST मध्ये संस्थापक भागीदार म्हणून सामील झालो आहोत—ही एक नवीन ना-नफा संस्था आहे जी ओपन-सोर्स सुरक्षा साधने प्रोत्साहित करून डिजिटल सुरक्षेतील महत्त्वाच्या क्षेत्रांवर काम करते.

जगभरात दररोज आमच्या प्लॅटफॉर्मवर होणाऱ्या सामग्री आणि संवादांच्या प्रचंड प्रमाणाचे व्यवस्थापन करताना, वापरकर्त्यांना सुरक्षित ठेवण्यासाठी एआय हा एक अत्यावश्यक घटक आहे. आम्ही तयार केलेल्या मॉडेल्स आमच्या गरजा भागवण्यासाठी मदत करत आहेत, याबद्दल आम्हाला खात्री आहे. उदाहरणार्थ, २०२४ च्या चौथ्या तिमाहीत, Roblox वापरकर्त्यांनी ३०० अब्ज सामग्री अपलोड केली. त्या अब्जावधी व्हिडिओ, ऑडिओ, मजकूर, व्हॉइस चॅट्स, अवतार आणि 3D अनुभवांपैकी फक्त 0.01% आमच्या धोरणांचे उल्लंघन करणारे म्हणून आढळले. आणि त्या धोरण-उल्लंघन करणाऱ्या सामग्रीपैकी जवळजवळ सर्वच वापरकर्त्यांनी पाहण्यापूर्वीच स्वयंचलितपणे पूर्वतपासणी करून काढून टाकण्यात आले.  

आम्ही आमच्या व्हॉइस सेफ्टी क्लासिफायरच्या ओपन-सोर्स आवृत्तीत सुधारणा केली आहे, ज्यामुळे ती अधिक अचूक झाली आहे आणि अधिक भाषांमध्ये सामग्रीचे नियमन करण्यात मदत करते. नवीन मॉडेल:

• बहुभाषिक डेटावर प्रशिक्षणामुळे स्पॅनिश, जर्मन, फ्रेंच, पोर्तुगीज, इटालियन, कोरियन आणि जपानी या सात अतिरिक्त भाषांमध्ये उल्लंघने ओळखते.
• एकूण रिकॉल दर 59.1% ने वाढला आहे, जो मागील आवृत्तीतील 30.9% रिकॉलच्या तुलनेत 92% ने सुधारणा दर्शवतो, आणि खोटे सकारात्मक दर कमी आहेत.
• मोठ्या प्रमाणावर सेवा देण्यासाठी अनुकूलित केले गेले आहे, ज्यामुळे शिखरावर प्रति सेकंद 8,300 विनंत्या (ज्यापैकी बहुतेक विनंत्यांमध्ये कोणतेही उल्लंघन नसते) सेवा पुरवता येतात.

पहिला मॉडेल जारी झाल्यापासून, आम्ही यू.एस. वापरकर्त्यांमध्ये बोलण्याच्या प्रत्येक तासामागील गैरवापर अहवालांच्या दरात ५०% पेक्षा जास्त घट पाहिली आहे. यामुळे मानवी मॉडरेटरपेक्षा अधिक अचूकपणे दररोज लाखो मिनिटांच्या व्हॉईस चॅटचे नियमन करण्यातही मदत झाली आहे. आम्ही आमच्या सुरक्षा प्रणालींना पुढे नेणे कधीच थांबवत नाही आणि आम्ही ओपन-सोर्स आवृत्तीचेही अद्यतन करत राहू.

कार्यक्षम बहुभाषिक आवाज सुरक्षा वर्गीकरणकर्ता

आमचा प्रारंभिक ओपन-सोर्स व्हॉइस सेफ्टी क्लासिफायर WavLM बेस+ मॉडेलवर आधारित होता, जो मशीन-लेबल केलेल्या इंग्रजी-भाषेतील व्हॉइस चॅट ऑडिओ नमुन्यांसह फाईन-ट्यून केलेला होता. या एंड-टू-एंड आर्किटेक्चरच्या उत्साहवर्धक निकालांमुळे सानुकूलित आर्किटेक्चरसह पुढील प्रयोग करण्यास प्रवृत्त केले. आम्ही मॉडेलची जटिलता आणि अचूकता अनुकूलित करण्यासाठी नॉलेज डिस्टिलेशनचा वापर केला, जे मोठ्या प्रमाणावर इन्फरन्स सर्व्हिंगसाठी आकर्षक आहे. आमचा नवीन वर्गीकरणकर्ता या मूलभूत घटकांचा वापर करतो आणि डेटा वापर व वास्तुकलेतील सुधारणा या दोन्ही बाबतीत या कामाचा विस्तार करतो.

बहुभाषिक डेटावर प्रशिक्षण घेऊन, आमचे एकच वर्गीकरण मॉडेल आमच्या शीर्ष आठ समर्थित भाषांपैकी कोणत्याही भाषेत अखंडपणे कार्य करू शकते. आणि आमच्या प्रशिक्षणातील सुधारणा म्हणजे हे मॉडेल पहिल्या आवृत्तीच्या तुलनेत अधिक अचूक आहे आणि सामान्य इनफरन्स परिस्थितीत चालवण्यासाठी 20% ते 30% वेगवान आहे.

नवीन व्हॉइस सेफ्टी क्लासिफायर अद्याप WavLM आर्किटेक्चरवर आधारित आहे, परंतु थर कॉन्फिगरेशन मागील आवृत्ती आणि WavLM प्री-ट्रेन्ड मॉडेल्सच्या थर कॉन्फिगरेशनपेक्षा वेगळे आहे. विशेषतः, आम्ही ट्रान्सफॉर्मर थरांच्या अंतर्गत टाइम रिझोल्यूशन कमी करण्यासाठी एक अतिरिक्त कॉन्व्होल्यूशनल थर जोडला आहे. एकूणच, आमच्या नवीन मॉडेल आर्किटेक्चरमध्ये 120.2 दशलक्ष पॅरामीटर्स आहेत, जे मागील आवृत्तीतील 94.6 दशलक्षांच्या तुलनेत 27% वाढ आहे. या वाढी असूनही, नवीन मॉडेल 4 ते 15 सेकंदांच्या इनपुट सेगमेंटसह वापरल्यास 20% ते 30% कमी संगणकीय वेळ वापरते. हे शक्य आहे कारण मॉडेल इनपुट सिग्नलला पूर्वीपेक्षा लहान प्रतिनिधित्वात संकुचित करते.

विविध लेबलिंग धोरणांचा वापर

एंड-टू-एंड मॉडेलच्या पर्यवेक्षित प्रशिक्षणासाठी ऑडिओ आणि वर्ग लेबलच्या निवडक जोड्या आवश्यक असतात. आम्ही आमच्या डेटा पाइपलाइनमध्ये लक्षणीय सुधारणा केल्या ज्यामुळे लेबल केलेल्या डेटाचा सातत्यपूर्ण प्रवाह सुनिश्चित झाला. प्रशिक्षण साहित्याचा पाया म्हणजे समर्थित भाषांमधील 100,000 तासांहून अधिक भाषणांचा मोठा मशीन-लेबल केलेला डेटासेट आहे. आम्ही भाषण आपोआप लिप्यंतरित केले आणि ते आमच्या अंतर्गत मजकूर-आधारित विषारीपणा वर्गीकरणकर्त्यामधून चालवले, ज्यामध्ये इच्छित धोरण आणि विषारीपणा श्रेण्या सामायिक आहेत. डेटा संकलनामध्ये सौम्य भाषणापेक्षा अपमानजनक सामग्रीचा समावेश उच्च संभाव्यतेने केला जातो, ज्यामुळे कडेच्या प्रकरणांना (edge cases) आणि कमी सामान्य धोरण उल्लंघनांना अधिक चांगल्या प्रकारे पकडता येते.

स्पीच ट्रान्सक्रिप्ट आणि मजकूर-आधारित वर्गीकरणावर आधारित लेबलिंग व्हॉइस चॅट सामग्रीतील सूक्ष्म फरक पूर्णपणे टिपू शकत नाही. त्यामुळे आम्ही मागील प्रशिक्षण टप्प्यातील मॉडेलला मानवी-लेबल केलेल्या डेटाचा वापर करून फाइन-ट्यून केले. वर्गीकरणाचे काम जरी एकसारखे असले तरी, हा दुसरा प्रशिक्षण टप्पा निर्णय सीमा अधिक सूक्ष्मपणे परिष्कृत करण्यास आणि व्हॉइस चॅटसाठी विशिष्ट अभिव्यक्तींप्रती अधिक प्रतिसादक्षम होण्यास मदत करतो. हे अभ्यासक्रम-आधारित शिक्षणाचे एक रूप आहे जे मौल्यवान मानवी-लेबल केलेल्या उदाहरणांमधून जास्तीत जास्त लाभ घेण्यास मदत करते.

एंड-टू-एंड मॉडेल प्रशिक्षणातील एक आव्हान म्हणजे लेबलिंग धोरण कालांतराने बदलल्यास लक्ष्य लेबल अप्रचलित होऊ शकतात. त्यामुळे, जसे आम्ही आमची स्वीकारार्ह व्हॉइस धोरणे सुधारतो, जुन्या लेबलिंग मानकांचा वापर करणाऱ्या डेटासाठी विशेष हाताळणी आवश्यक असते. यासाठी, आम्ही मल्टीटास्क पद्धत वापरली जी मॉडेलला सध्याच्या व्हॉइस चॅट धोरणाशी जुळत नसलेल्या डेटासेटमधून शिकण्याची परवानगी देते. यामध्ये जुन्या धोरणासाठी स्वतंत्र वर्गीकरण हेड (classification head) समर्पित करणे समाविष्ट आहे, ज्यामुळे मॉडेल ट्रंक (model trunk) लक्ष्यित लेबल किंवा प्राथमिक हेडवर परिणाम न करता जुन्या डेटासेटमधून शिकू शकतो.

सोप्या तैनातीसाठी एक कॅलिब्रेटेड मॉडेल

वर्गीकरण मॉडेल वापरण्यासाठी ऑपरेटिंग पॉइंटवर निर्णय घेणे आणि कामाच्या गरजेनुसार क्लासिफायरची संवेदनशीलता जुळवणे आवश्यक असते. मॉडेल तैनाती सुलभ करण्यासाठी, आम्ही व्हॉइस चॅट मॉडरेशनसाठी ट्यून करून मॉडेलच्या आउटपुटचे कॅलिब्रेशन केले. आम्ही बाजूला ठेवलेल्या डेटासेटमधून तुकड्या-पद्धतीने रेखीय रूपांतरणांचा अंदाज लावला, हे प्रत्येक आउटपुट हेड आणि समर्थित भाषेसाठी स्वतंत्रपणे केले. ही रूपांतरणे मॉडेल डिस्टिलेशन दरम्यान लागू केली गेली, ज्यामुळे अंतिम मॉडेल मूळतःच कॅलिब्रेट झाले. यामुळे इन्फरन्स दरम्यान पोस्ट-प्रोसेसिंगची गरज नाहीशी झाली.

आम्हाला हा नवीन ओपन-सोर्स मॉडेल समुदायासोबत शेअर करताना आनंद होत आहे आणि भविष्यात उपलब्ध होताच पुढील अपडेट्स शेअर करण्यास आम्ही उत्सुक आहोत.