Roblox कसे AI वापरून प्रचंड प्रमाणात सामग्रीचे नियमन करते

• Roblox वर प्रकाशित होणाऱ्या सामग्रीचे सक्रियपणे नियमन करण्यासाठी, आम्ही सुमारे पाच वर्षांपासून AI चा वापर करून विस्तारक्षम प्रणाली विकसित करत आहोत.
• आज, आमची पायाभूत सुविधा, मशीन लर्निंग मॉडेल्स आणि हजारो मानवी तज्ञ एकत्र येऊन Roblox ला आमच्या वापरकर्त्यांसाठी अधिक सुरक्षित आणि सभ्य ठिकाण बनवण्यास मदत करतात.
• आम्ही या सर्व प्रणालींना उच्च प्रतीच्या डेटासह प्रमाण, गती आणि सातत्यपूर्ण सुधारणा यासाठी विकसित करतो.

Roblox मध्ये आपण जे काही करतो त्यात सुरक्षा हा पाया आहे. सुरुवातीपासूनच, आम्ही सक्रियपणे सामग्रीचे नियमन केले आहे कारण आम्हाला माहित होते की वापरकर्त्यांनी तयार केलेल्या सामग्रीवर आधारित प्लॅटफॉर्मसाठी नियमन अत्यंत महत्त्वाचे आहे. जेव्हा Roblox खूपच लहान होते, तेव्हा मानवी पुनरावलोकनकर्ते हे काम करत होते—आमचे संस्थापक आणि मुख्य कार्यकारी अधिकारी देखील सुरुवातीला सामग्रीचे नियमन करण्यात वेळ घालवत होते. काळाच्या ओघात, प्लॅटफॉर्म (प्रमाण आणि गती दोन्ही बाबतीत) मानवी मॉडरेटरच्या क्षमतेपेक्षा खूप मोठा झाला. कोणतेही नवीन उत्पादन लाँच करताना, सुरक्षितता हा नेहमीच पहिला घटक असतो ज्याचा आम्ही विचार करतो.

सरासरी दररोज 97.8 दशलक्ष सक्रिय वापरकर्ते¹ खेळण्यासाठी, संवाद साधण्यासाठी आणि तयार करण्यासाठी Roblox वर येतात. दररोज, वापरकर्ते 28 वेगवेगळ्या भाषांमध्ये सरासरी 6.1 अब्ज चॅट संदेश आणि 1.1 दशलक्ष तास व्हॉइस कम्युनिकेशन पाठवतात. निर्माते दररोज लाखो अॅसेट्स अपलोड करतात—आणि आमच्या अवतार मार्केटप्लेसमध्ये आणखी हजारो आयटम जोडले जातात. या अब्जावधी निर्मिती आणि संदेशांपैकी बहुतेक सभ्य असतात. प्रत्यक्ष जगाप्रमाणेच—अधिकांश लोक एकमेकांशी संवाद साधण्याचा हा मार्ग आहे. परंतु जेव्हा असे नसते, तेव्हा आमची मजकूर फिल्टरिंग प्रणाली वापरकर्त्यांपर्यंत पोहोचण्यापूर्वी समस्याग्रस्त मजकूर अवरुद्ध करण्यात मदत करते आणि व्हॉइस उल्लंघने रिअल-टाइममध्ये मूल्यांकन केली जातात. आणि जर आम्हाला बेकायदेशीर सामग्रीची सूचना मिळाली, तर आमची कारवाई करण्याची मध्यक वेळ दहा मिनिटे आहे.

मिलीसेकंदांच्या आत या प्रमाणात सामग्रीचे सातत्याने नियमन करणे हे काम माणसे एकटीने करू शकत नाहीत—आपल्याकडे कितीही कर्मचारी असले तरी. या प्रमाणात आणि गतीने काम करण्यासाठी शेकडो हजारो मानवी मॉडरेटरांना २४/७ काम करावे लागेल, ज्यात शनिवार-रविवार किंवा सुट्ट्यांचा समावेश नाही—आणि तेही फक्त चॅट संदेशांचे नियमन करण्यासाठी. Roblox वरील इतर सर्व सामग्री प्रकारांचे मॉडरेट करण्यासाठी आपल्याला आणखी हजारो लोकांची आवश्यकता भासेल. Roblox वर दररोज तयार होणाऱ्या सामग्रीच्या प्रमाणासाठी स्केलेबल पायाभूत सुविधा, मशीन लर्निंग (ML) मॉडेल्स आणि विशेष हेतूने तयार केलेल्या साधनांची आवश्यकता आहे. 

एमएल हे निर्णय मिलीसेकंदात, वारंवार, सातत्याने आणि दिवसातून २४ तास घेऊ शकते. जिथे संदर्भावर अवलंबून अधिक सूक्ष्म मानवी निर्णयाची आवश्यकता असते, अशा कमी सामान्य प्रकरणांसाठी आम्हाला अजूनही मानवी मदतीची गरज असते आणि आम्ही मानवी संसाधनांचा वापर करतो. आम्ही नवीन आणि विकसित होत असलेल्या आव्हानांना तोंड देण्यासाठी मजबूत, नाविन्यपूर्ण सुरक्षा आणि मॉडरेशन साधने जगभरातील हजारो मानवी तज्ञांसोबत एकत्रित करतो, जे आमच्या प्रणालींवर देखरेख ठेवतात आणि सातत्यपूर्ण प्रशिक्षण देतात. Roblox च्या सर्व मॉडरेशन प्रणाली खालील तत्त्वांवर आधारित आहेत: 

• आम्ही Roblox वरील सामग्री सक्रियपणे नियंत्रित करतो.
• जेव्हा शक्य असते तेव्हा आम्ही वापरकर्त्यांना रिअल-टाइम अभिप्राय देतो, कारण अनेकदा लोकांना नियम माहित नसतात.
• आम्ही AI फक्त तेव्हाच तैनात करतो जेव्हा ती मोठ्या प्रमाणावर मानवी कामगिरीपेक्षा अचूकता आणि पुनर्प्राप्ती या दोन्ही बाबतीत लक्षणीयरीत्या जास्त कामगिरी करते. 
• आम्ही सतत AI सुधारण्यासाठी, विकसित आणि दुर्मिळ प्रकरणांसाठी, गुंतागुंतीच्या तपासांसाठी आणि अपील्ससाठी मानवांचा वापर करतो. 

Roblox वर तयार होणाऱ्या वाढत्या सामग्रीचे कार्यक्षमतेने नियमन करण्यासाठी, आम्ही नेहमीच तीन पैलूंमध्ये नवकल्पना करत असतो: प्रमाण, गती आणि गुणवत्ता, आणि त्यासाठी सातत्यपूर्ण सुधारणा आवश्यक आहे.

फेब्रुवारी ते डिसेंबर 2024¹ दरम्यान, वापरकर्त्यांनी सुमारे 1 ट्रिलियन सामग्रीचे तुकडे अपलोड केले. अब्जावधी टेक्स्ट चॅट्स, ऑडिओ, व्हॉइस आणि प्रतिमांपैकी फक्त 0.01% इतक्याच सामग्रीत आमच्या कोणत्याही धोरणाचे उल्लंघन आढळले. आणि आमच्या धोरणांचे उल्लंघन करणारी जवळजवळ सर्व सामग्री वापरकर्त्यांनी पाहण्यापूर्वीच स्वयंचलितपणे पूर्व-तपासणी करून काढून टाकण्यात आली. जरी हा प्रमाणांक तुलनेने नवीन असला, तरी मध्यस्थतेबद्दलची आमची बांधिलकी मात्र नवीन नाही. एका दशकाहून अधिक काळापूर्वी, आम्ही नियम-आधारित मजकूर फिल्टर तयार केला. सुमारे पाच वर्षांपूर्वी, आम्ही त्या काळातील अत्याधुनिक ट्रान्सफॉर्मर-आधारित मजकूर फिल्टर तैनात केला. आज, आमचे मजकूर फिल्टर दररोज सरासरी 6.1 अब्ज चॅट संदेश प्रक्रिया करतात, ज्यांना विविध प्रकारच्या धोरण उल्लंघनांसाठी विशेषतः तयार केलेल्या अनेक मॉडेल्सद्वारे सामर्थ्य प्राप्त आहे.

यापैकी एक मॉडेल आमचे इन-गेम आणि प्लॅटफॉर्म चॅटसाठी वैयक्तिकरित्या ओळखता येण्याजोगी माहिती (PII) फिल्टर आहे. वापरकर्ते इतरांकडून PII मागणे हे अधिक गंभीर समस्यांकडे जाणारे पहिले पाऊल असू शकते, त्यामुळे आम्ही PII शेअरिंग प्रतिबंधित करण्याबाबत नेहमीच कडक भूमिका घेतली आहे. पाठवलेला प्रत्येक चॅट संदेश हा एक "विनंती" असतो, जो सिस्टमला पुनरावलोकन करून कोणतीही PII उल्लेखली आहे का हे ठरवण्यास सांगतो. हा टेक्स्ट फिल्टर मॉडेल प्रति सेकंद इतक्या अनेक विनंत्या (RPS) हाताळत होता की आमच्या विद्यमान CPU-आधारित सर्व्हिंग स्टॅकवर त्याला समर्थन देणे अवघड झाले होते. म्हणूनच, आम्ही आमच्या सेल्युलर पायाभूत सुविधांचा लाभ घेऊन GPUs वर एक पूर्णपणे नवीन सर्व्हिंग स्टॅक तयार केला. या उच्च RPS मागण्यांना समर्थन देण्यासाठी, आम्ही प्रथम टोकनायझेशनला इन्फरन्सपासून वेगळे केले आणि नंतर मोठ्या मॉडेल्सच्या क्वांटायझेशन आणि डिस्टिलेशनद्वारे इन्फरन्स गती वाढवली. एकत्रितपणे, या सुधारणांमुळे आमच्या RPS मध्ये चारपट वाढ झाली. 

नवीन स्टॅकवर, PII फिल्टर आता शिखरावर 370,000 RPS हाताळत आहे. आमच्या सुधारित PII फिल्टरमुळे खोटे सकारात्मक निकाल 30% नी कमी झाले आहेत, ज्यामुळे सर्व समर्थित भाषांमध्ये प्रणालीद्वारे स्वयंचलितपणे ओळखल्या जाणाऱ्या PII उल्लेखांमध्ये 25% वाढ झाली आहे. आम्ही आधीच हे सुधारणा इतर अनेक भाषांमध्ये राबवण्यावर आणि इतर मजकूर फिल्टर व पृष्ठभागांवर (surfaces) अशाच सुधारणा आणण्यावर काम करत आहोत. जरी आम्हाला या सुधारणांचा अभिमान आहे, तरीही आम्हाला माहित आहे की PII शेअर करण्याच्या पद्धती सतत विकसित होत आहेत आणि आम्हीही या बदलांसह आमच्या प्रणालींना विकसित करत आहोत. 

आमच्या संपूर्ण मध्यस्थता प्रणालीचा पाया विविध माध्यमांमधील ज्ञान असलेले मोठे, ट्रान्सफॉर्मर-आधारित मॉडेल आहेत. ऑपरेशनल आणि उत्पादन गरजांनुसार, प्रणाली जलद आणि कार्यक्षम ठेवण्यासाठी आम्ही या मॉडेल्सचे सार काढतो आणि त्यांना संख्याबद्ध करतो. विविध प्रकारचे मल्टीमोडल मॉडेल चालवण्यासाठी या तंत्रांचा वापर अत्यावश्यक आहे; आमच्या टेक्स्ट फिल्टर्सचे व्यवस्थापन करणारे मॉडेल आता 750,000 RPS पेक्षा जास्त कार्यक्षमतेने हाताळत आहेत. 

नैसर्गिक, वास्तविक-वेळ संवादासाठी संभाषण सुरळीत ठेवण्यासाठी जवळजवळ तात्काळ फिल्टरिंग आवश्यक असते. कल्पनांवर पुनरावृत्ती करून सहकार्य करण्यासाठी सर्जनशीलता प्रवाहित ठेवण्यासाठी जलद अभिप्राय आवश्यक असतो. आमच्या बहुस्तरीय संरक्षण प्रणालीमध्ये चेतावणी सूचना, टाइम-आउट आणि निलंबन यांसारख्या सक्रिय उपाययोजनांचा समावेश आहे. मजकूर फिल्टर करताना, आम्ही PII, अपशब्द आणि द्वेषपूर्ण भाषण यांसारख्या धोरण-भंग करणाऱ्या शब्दांना मिलीसेकंदांत ब्लॉक करण्यासाठी वास्तविक वेळेत प्रतिक्रिया देऊ शकतो, ज्यामुळे वापरकर्त्यांना अनुचित सामग्रीपासून संरक्षण मिळते. 

व्हॉइस संवाद त्याच पद्धतीने अडवता येत नाहीत, त्यामुळे आम्ही वापरकर्त्यांना स्क्रीनवरील सूचनांद्वारे शिक्षित करतो. आमच्या चेतावणी सूचनांनी वापरकर्त्यांच्या वर्तनात प्रभावीपणे बदल घडवले आहेत आणि शिष्टाचार तसेच सहभाग वाढवला आहे. आमचा व्हॉइस सेफ्टी क्लासिफायर आठ भाषांमध्ये 15 सेकंदांच्या आत चॅटचे नियमन करतो. उद्योगासोबत सुरक्षा नवकल्पना शेअर करण्याच्या आमच्या व्यापक वचनबद्धतेचा एक भाग म्हणून आम्ही हा मॉडेल ओपन-सोर्स देखील केला आहे.

जर एखादा वापरकर्ता आमच्या धोरणांचे सतत उल्लंघन करत राहिला, तर परिणाम अधिक गंभीर होतात, ज्यात अल्पकालीन इशाऱ्यापासून ते व्हॉइस चॅटवरील प्रवेश गमावण्यापर्यंत सर्वकाही समाविष्ट असते. अंतर्गत संशोधनातून असे दिसून आले आहे की निलंबनांचा परिणाम पुढील तीन आठवड्यांपर्यंत टिकतो, ज्यामुळे पुन्हा नियमभंग होण्याचे प्रमाण आणि वापरकर्त्यांकडून सादर होणाऱ्या तक्रारींची संख्या कमी होते. प्रारंभिक प्रयोगांनी दाखवले आहे की अशा प्रकारच्या तात्काळ हस्तक्षेप आणि परिणामांचा शिष्टाचारावर सकारात्मक परिणाम होतो. आमच्या व्हॉइस क्लासिफायरच्या नवीनतम आवृत्तीची रिकॉल दर आमच्या प्रारंभिक आवृत्तीपेक्षा 92% जास्त आहे, ज्यामध्ये 1% खोटी सकारात्मक दर आहे—आणि ती उच्चतम क्षणी 8,300 RPS पर्यंत हाताळत आहे. आम्ही अचूकता आणि रिकॉल दोन्ही सुधारण्यासाठी पुढील मार्ग शोधत आहोत.

व्हॉइस चॅटमधील सूचनांच्या यशावरून, आम्ही टेक्स्ट चॅटसाठी रिअल-टाइम अभिप्राय अंमलात आणण्यासही सुरुवात केली आहे. अलीकडील प्रयोगांमध्ये, अनुभवातील टेक्स्ट चॅट सूचना आणि टाइम-आउट जारी केल्यामुळे फिल्टर केलेल्या चॅट संदेशांमध्ये 5% आणि दुरुपयोग अहवालांमधील परिणामांमध्ये 6% घट झाल्याचे आढळले. आम्ही निर्माते त्यांच्या निर्मिती अपलोड करताना त्यांना रिअल-टाइम अभिप्राय देण्याचा प्रयोग देखील सुरू करत आहोत.

आम्ही या प्रणालींना कमी खोटे नकारात्मक निकाल देण्यासाठी प्रशिक्षण देतो—धोरण उल्लंघन असू शकणारे काहीही काढून टाकण्याच्या बाजूने चूक करण्याचा कल ठेवतो. जेव्हा वापरकर्त्यांना एखादी गोष्ट नियमपालन करणारी वाटते आणि ती काढून टाकली जाते, तेव्हा त्यांना निराशा होते हेही आम्हाला माहीत आहे. त्यामुळे आम्ही आमच्या प्रणालींना सतत सुधारतो, जेणेकरून खोटे सकारात्मक निकालही कमी होतील. सर्व वर्गीकरणकर्त्यांच्या अचूकतेत सुधारणा करण्यासाठी योग्यरित्या लेबल केलेला डेटा अत्यावश्यक आहे. 

मजबूत प्रशिक्षण आणि मूल्यांकन डेटासेट तयार करण्यासाठी पुरेशा उच्च-गुणवत्तेच्या उदाहरणांची आणि त्यांना अचूक लेबल करण्यासाठी मानवी तज्ञांची आवश्यकता असते. काही प्रकरणांमध्ये, ते दुर्मिळ परिस्थिती किंवा एज केस असल्यामुळे आमच्याकडे पुरेसा डेटा नसतो. कधी कधी आमच्याकडे खूप जास्त डेटा असतो आणि त्यातील सर्वात प्रभावी उदाहरणे ओळखण्याची गरज असते. आणि आम्हाला Roblox वर प्रत्यक्षात काय घडत आहे त्याशी जुळणारा डेटा हवा असतो. यामध्ये स्लँग किंवा मीम्ससारख्या तात्पुरत्या उदाहरणांचा समावेश होतो. आमचे मुलांपासून किशोरवयीन आणि गेमर्सपर्यंतचे प्रेक्षक आम्हाला नेहमीच नवीन स्लँग शब्द, नवीन ट्रेंड आणि आमच्या मॉडरेशन साधनांना फसविण्याच्या नवीन मार्गांची ओळख करून देत असतात. ते आम्हाला सतर्क ठेवतात, म्हणूनच आम्ही आमची मॉडरेशन साधने आणि धोरणे यांची सतत चाचणी आणि मूल्यांकन करत असतो. 

या डेटासेटचे संकलन करण्यासाठी आम्ही विविध नमुना-रणनीतींचा वापर करतो, आणि या डेटा उदाहरणांची निर्मिती व लेबल करण्यासाठी आम्ही AI आणि मानवी तज्ञांचा वापर करतो. आमचे धोरण तज्ञ उदाहरणे हाताने संकलित करतात, ज्याला आम्ही 'गोल्डन सेट' म्हणतो. ही ती उदाहरणे आहेत जी सिस्टमने ओळखावयाच्या समस्यांशी सर्वात जवळून जुळतात. आम्ही अनिश्चितता नमुना-रणनीतीसह (uncertainty sampling) अनेक नमुना-रणनीती वापरून अत्यंत मोठ्या डेटासेटमधून नमुने घेतो, ज्यात मॉडेल पूर्वी गोंधळलेले होते अशा काठावरील प्रकरणांचा (edge cases) समावेश असतो. आम्ही मानवी तज्ज्ञ आणि AI-सहाय्यक रेड टीम्स (AARTs) कडून नमुने मिळवतो, जे प्रणालीवर शत्रुत्वपूर्ण हल्ले अनुकरण करून कमकुवतपणा शोधण्यासाठी चाचणी करतात. 

नवीन समस्या, बोलचालची भाषा, मीम्स इत्यादी आढळल्यावर आम्ही आमचे प्रशिक्षण संच वाढवतो आणि सुधारतो. आमच्या अपील प्रक्रियेद्वारे आम्हाला यापैकी काही उदाहरणे मिळतात, जिथे वापरकर्ते अतिरिक्त पुनरावलोकनाची विनंती करू शकतात. जर निर्णय उलटवला गेला, तर ते उदाहरण आमच्या डेटासेटचा भाग बनते जेणेकरून आमची प्रणाली पुढच्या वेळी ते बरोबर ओळखू शकेल. 

इतर उदाहरणे आम्हाला आमच्या मजबूत दुरुपयोग अहवाल प्रणालीमधून मिळतात, जी प्रभावीपणे आमच्या मानवी मध्यस्थींच्या संघाचा विस्तार करून या अनुभवांबद्दल आणि समुदायाबद्दल काळजी करणाऱ्या कोट्यवधी वापरकर्त्यांचा समावेश करते. आम्ही अलीकडेच आमच्या अहवाल साधनामध्ये सुधारणा केली आहे, ज्यामुळे वापरकर्त्यांना अवतार आणि वस्तू आयडीसह संपूर्ण दृश्य कॅप्चर करण्याचा आणि अहवाल देण्यासाठी इच्छित भाग हायलाइट करण्याचा पर्याय मिळतो. आम्हाला वापरकर्त्यांकडून जबरदस्त प्रतिसाद मिळाला आहे, पात्र अहवालांपैकी सुमारे 15% मध्ये दृश्य टीपा (visual annotations) दिल्या जातात. हा अतिरिक्त संदर्भ आम्हाला अशा समस्याग्रस्त अनुभवांची अगोदरच ओळख करण्यात मदत करतो जिथे वापरकर्ते वारंवार तक्रारी करतात. मॉडेलचे प्रशिक्षण तात्काळ होत नसल्यामुळे, आम्ही वापरकर्त्यांच्या अहवालांपासून स्वयंचलितपणे AI-आधारित नियम तयार करण्याचा देखील शोध घेत आहोत, ज्यामुळे आमची प्रतिसादक्षमता वाढेल. 

आम्ही या डेटासेट्समध्ये सिंथेटिक डेटाचा समावेश करतो, ज्यात मोठ्या भाषा मॉडेल्स (LLMs) वास्तविक उदाहरणांची नक्कल करणारी कृत्रिम उदाहरणे आणि लेबल तयार करतात. येथे फायदा असा आहे की अगदी दुर्मिळ किंवा कडेच्या प्रकरणांसाठीही लाखो उदाहरणे आणि लेबल तयार करता येतात. एकदा आमच्याकडे पुरेसा लेबल केलेला डेटा आला की, आम्ही तो दोन डेटासेटमध्ये विभागतो: एक प्रशिक्षणासाठी आणि एक मूल्यांकनासाठी. एक मजबूत मूल्यांकन डेटासेट असणे अत्यंत महत्त्वाचे आहे: जर मूल्यांकन संच खूप सोपा असेल, तर मॉडेलचे मेट्रिक्स चांगले काम करत असल्याचे दिसते—पण ते उत्पादनात (प्रॉडक्शनमध्ये) बिघडते. डेटाच्या प्रमाणापेक्षा डेटाची अचूकता अधिक महत्त्वाची आहे. 'कचरा इन, कचरा आउट' ही ML मध्ये एक खरी काळजी आहे कारण मॉडेलचे कार्यक्षमता त्यासाठी वापरल्या जाणाऱ्या डेटाच्या अचूकतेवर मोठ्या प्रमाणावर अवलंबून असते. 

एकदा आमच्याकडे एक मजबूत मूल्यांकन डेटासेट तयार झाल्यावर, आम्ही त्याचे दोन मुख्य मेट्रिक्सवर आधारित मूल्यांकन करतो: संरेखण आणि गुणवत्ता. संरेखण तपासण्यासाठी, त्याच उदाहरणांना अनेक लोकांना लेबल करण्यासाठी पाठवले जाते आणि त्यांच्या लेबलांमध्ये सहमती (किंवा संरेखण) आहे का ते पाहिले जाते. जर त्यांच्या लेबलांमधील संरेखण 80% किंवा त्याहून अधिक असेल, तर याचा अर्थ आमचे मॉडरेटर मोठ्या प्रमाणावर सुसंगत निर्णय घेऊ शकतात. जर ते 80% पेक्षा कमी असेल, तर धोरण किंवा प्रशिक्षण गोंधळात टाकणारे असू शकते, आणि आम्हाला पुन्हा प्रयत्न करावे लागतील. गुणवत्तेची चाचणी करण्यासाठी, आम्ही 'गोल्डन सेट' मानवांकडे पाठवतो, जेणेकरून ते त्याचे धोरण भंग करते की नाही हे तपासतील आणि ते योग्य निर्णय घेतात याची खात्री करतील. आम्ही तज्ञांकडून पुनरावलोकनासाठी निर्णयांचे नमुनेही घेतो. जर त्यांनी सर्वानी योग्य निर्णय घेतला, तर आमचे धोरण अचूकपणे अंमलात आणता येते. उच्च सुसंगतता आणि उच्च गुणवत्ता हे दर्शवते की आमचे धोरण अचूकपणे आणि सातत्याने अंमलात आणता येऊ शकते. जर तसे नसेल, तर आम्ही धोरण आणि प्रशिक्षण संच दोन्ही परत तपासतो. 

रॉब्लॉक्ससारख्या प्लॅटफॉर्मची सर्जनशील स्वरूप, जिथे वापरकर्ते जवळजवळ काहीही तयार करण्यास आणि संवाद साधण्यास मोकळे असतात, याचा अर्थ ते नेहमीच विकसित होत असते. आमचे समुदायाला सुरक्षित आणि सभ्य ठेवण्यासाठी आमच्या मध्यस्थी पद्धतींनाही तितक्याच वेगाने विकसित होणे आवश्यक आहे. भाषा विकसित होत असताना, वापरकर्त्यांच्या पद्धती बदलत असताना आणि वास्तविक जगातील घटना घडत असताना आमच्या सक्रिय शिक्षण प्रणाली सातत्याने मॉडेल्स अद्ययावत करतात. आम्ही सतत असे सिस्टम तयार करत आहोत जे वाढवता येण्याजोगे, जलद, अचूक आणि आपण सर्वजण ज्या गतिशील जगात राहतो त्यानुसार सातत्याने जुळवून घेणारे आहेत. 

¹ 2025 च्या पहिल्या तिमाहीपर्यंत.

^{2 हे} 17 फेब्रुवारी 2024 ते 31 डिसेंबर 2024 या अहवाल कालावधीत समाविष्ट आहे.