كيف تستخدم Roblox الذكاء الاصطناعي لتنظيم المحتوى على نطاق واسع

• من أجل الإشراف الاستباقي على المحتوى المنشور على Roblox، نقوم منذ حوالي خمس سنوات ببناء أنظمة قابلة للتطوير تستفيد من الذكاء الاصطناعي.
• واليوم، تعمل بنيتنا التحتية ونماذج التعلم الآلي وآلاف الخبراء البشريين معًا للمساعدة في جعل Roblox مكانًا أكثر أمانًا وحضارة لمستخدمينا.
• نقوم بتطوير جميع هذه الأنظمة من أجل التوسع والسرعة والتحسين المستمر باستخدام بيانات عالية الجودة.

تعد السلامة أساسًا لكل ما نقوم به في Roblox. منذ البداية، قمنا بالإشراف على المحتوى بشكل استباقي لأننا كنا نعلم أن الإشراف أمر بالغ الأهمية لمنصة مبنية على المحتوى الذي ينشئه المستخدمون. عندما كان حجم Roblox أصغر بكثير، كان المراجعون البشريون يقومون بذلك — بما في ذلك مؤسسنا والرئيس التنفيذي، الذي أمضى وقتًا في الإشراف على المحتوى في البداية. بمرور الوقت، نمت المنصة (من حيث الحجم والسرعة) بما يتجاوز قدرة المراقبين البشريين. عند إطلاق أي منتج جديد، تكون السلامة دائمًا العنصر الأول الذي نضعه في الاعتبار.

يأتي إلى Roblox ما معدله 97.8 مليون مستخدم نشط يوميًا1 للعب والتواصل والإبداع. كل يوم، يرسل المستخدمون ما معدله 6.1 مليار رسالة دردشة و1.1 مليون ساعة من الاتصالات الصوتية بـ28 لغة مختلفة. يقوم المبدعون بتحميل ملايين العناصر يوميًا — ويتم إضافة آلاف العناصر الأخرى إلى سوق الأفاتار الخاص بنا. الغالبية العظمى من هذه المليارات من الإبداعات والرسائل تتسم باللياقة. كما هو الحال في العالم الحقيقي — فهذه هي الطريقة التي يتواصل بها معظم الناس مع بعضهم البعض. ولكن عندما لا يكون الأمر كذلك، يساعد نظام تصفية النصوص لدينا في حظر النصوص المشكوك فيها قبل وصولها إلى المستخدمين، ويتم تقييم الانتهاكات الصوتية في الوقت الفعلي. وفي حالة تلقي إشعار بمحتوى غير قانوني، يبلغ متوسط الوقت الذي نستغرقه لاتخاذ إجراء عشر دقائق.

إن الإشراف المستمر على هذا الحجم من المحتوى في غضون أجزاء من الثانية هو مهمة لا يمكن للبشر القيام بها بمفردهم — بغض النظر عن عددهم. يتطلب العمل بهذا الحجم والسرعة مئات الآلاف من المشرفين البشريين الذين يعملون على مدار الساعة طوال أيام الأسبوع، دون احتساب عطلات نهاية الأسبوع أو الإجازات — وهذا فقط للإشراف على رسائل الدردشة. سنحتاج إلى آلاف آخرين لمراقبة جميع أنواع المحتوى الأخرى على Roblox. يتطلب حجم المحتوى الذي يتم إنتاجه يوميًا على Roblox بنية تحتية قابلة للتوسع ونماذج التعلم الآلي (ML) وأدوات مصممة خصيصًا لهذا الغرض. 

يمكن للتعلم الآلي اتخاذ هذه القرارات في أجزاء من الثانية، بشكل متكرر ومتسق وعلى مدار 24 ساعة في اليوم. ما زلنا بحاجة إلى البشر، ونوظفهم، لمعالجة الحالات الأقل شيوعًا التي تتطلب حكمًا بشريًا أكثر دقة وتفصيلًا اعتمادًا على السياق. نحن نجمع بين أدوات السلامة والإشراف القوية والمبتكرة وآلاف الخبراء البشريين حول العالم الذين يوفرون الإشراف والتدريب المستمر لأنظمتنا لمواجهة التحديات الجديدة والمتطورة. تستند جميع أنظمة الإشراف في Roblox إلى المبادئ التالية: 

• نقوم بالإشراف على المحتوى في Roblox بشكل استباقي.
• نقدم تعليقات في الوقت الفعلي للمستخدمين كلما أمكن ذلك، حيث إن الناس غالبًا ما يجهلون القواعد.
• نحن نستخدم الذكاء الاصطناعي فقط عندما يكون أداؤه أعلى بكثير من البشر من حيث الدقة والاسترجاع على نطاق واسع. 
• نستعين بالبشر لتحسين الذكاء الاصطناعي باستمرار، وللتعامل مع الحالات النادرة والمتطورة، والتحقيقات المعقدة، والطعون. 

من أجل الإشراف بكفاءة على الحجم المتزايد للمحتوى الذي يتم إنتاجه على Roblox، نبتكر دائمًا في ثلاثة أبعاد: النطاق والسرعة والجودة، وهذا يتطلب تحسينًا مستمرًا.

من فبراير إلى ديسمبر 2024¹، قام المستخدمون بتحميل ما يقرب من تريليون محتوى. تم الكشف عن 0.01% فقط من تلك المليارات من الدردشات النصية والمقاطع الصوتية والصور على أنها تنتهك أيًا من سياساتنا. وتم فحص جميع المحتويات التي انتهكت سياساتنا مسبقًا وإزالتها تلقائيًا قبل أن يراها المستخدمون. على الرغم من أن هذا الحجم جديد نسبيًا، إلا أن التزامنا بالإشراف ليس كذلك. قبل أكثر من عقد من الزمن، أنشأنا مرشحًا نصيًا قائمًا على القواعد. وقبل حوالي خمس سنوات، قمنا بنشر ما كان آنذاك مرشحًا نصيًا متطورًا قائمًا على المحولات. واليوم، تعالج مرشحاتنا النصية ما معدله 6.1 مليار رسالة دردشة يوميًا، مدعومة بالعديد من النماذج المصممة خصيصًا لمختلف أنواع انتهاكات السياسات.

أحد هذه النماذج هو مرشحنا للمعلومات الشخصية (PII) للدردشة داخل اللعبة وعلى المنصة. يمكن أن يكون طلب المستخدمين للمعلومات الشخصية من الآخرين خطوة أولى نحو مشكلات أكثر خطورة، لذلك اتخذنا دائمًا موقفًا قويًا تجاه منع مشاركة المعلومات الشخصية. كل رسالة دردشة يتم إرسالها هي "طلب" يطلب من النظام مراجعة وتحديد ما إذا تم ذكر أي معلومات شخصية. كان نموذج مرشح النص هذا يعالج عددًا كبيرًا جدًا من الطلبات في الثانية (RPS) لدرجة أنه أصبح من الصعب دعمه على مكدس الخدمة الحالي القائم على وحدة المعالجة المركزية (CPU). لذلك قمنا ببناء مكدس خدمة جديد تمامًا على وحدات معالجة الرسومات (GPU)، مستفيدين من بنيتنا التحتية الخلوية. لدعم متطلبات RPS العالية هذه، قمنا أولاً بفصل الترميز عن الاستدلال، ثم قمنا بتسريع الاستدلال عن طريق تكمية وتقطير النماذج الأكبر حجمًا. مجتمعة، أدت هذه التحسينات إلى زيادة RPS لدينا أربعة أضعاف. 

على المنصة الجديدة، يعالج مرشح المعلومات الشخصية الآن 370,000 طلب في الثانية (RPS) في أوقات الذروة. وقد قلل مرشح المعلومات الشخصية المحسّن لدينا من الإيجابيات الخاطئة بنسبة 30٪، مما أدى إلى زيادة بنسبة 25٪ في الإشارات إلى المعلومات الشخصية التي يكتشفها النظام تلقائيًا عبر جميع اللغات المدعومة. نحن نعمل بالفعل على نشر هذا التحسين عبر عدة لغات أخرى وتقديم تحسينات مماثلة لمرشحات النصوص والأسطح الأخرى. وبينما نفخر بهذه التحسينات، فإننا ندرك أن الأساليب المستخدمة لمشاركة المعلومات الشخصية المحددة (PII) تتطور باستمرار، ونحن نطور أنظمتنا بالتوازي مع هذه التغييرات. 

يستند نظام الإشراف لدينا بالكامل إلى نماذج كبيرة قائمة على المحولات، مع معرفة شاملة لمختلف الأنماط. اعتمادًا على متطلبات التشغيل والإنتاج، نقوم بتحليل هذه النماذج وتقديرها كمياً للحفاظ على سرعة النظام وكفاءته. هذه التقنيات ضرورية لتشغيل مجموعة متنوعة من النماذج متعددة الأنماط، حيث تتعامل النماذج التي تدير مرشحات النص لدينا الآن بكفاءة مع أكثر من 750,000 RPS. 

يتطلب التواصل الطبيعي في الوقت الفعلي تصفية شبه فورية للحفاظ على انسيابية المحادثة. كما يتطلب تكرار الأفكار والتعاون بشأنها ردود فعل سريعة للحفاظ على انسيابية الإبداع. يتضمن نظام الدفاع متعدد الطبقات لدينا تدابير استباقية مثل إشعارات التحذير، وفترات التوقف المؤقت، والتعليق. عند تصفية النص، يمكننا الاستجابة في الوقت الفعلي لحجب المصطلحات التي تنتهك السياسات مثل المعلومات الشخصية المحددة للهوية، والألفاظ البذيئة، وخطاب الكراهية في غضون أجزاء من الثانية، مما يمنع تعرض المستخدمين لمحتوى غير لائق. 

لا يمكن حظر الاتصالات الصوتية بنفس الطريقة، لذلك نقوم بتثقيف المستخدمين عبر الإشعارات التي تظهر على الشاشة. وقد نجحت إشعارات التحذير التي نرسلها في تغيير سلوك المستخدمين بشكل فعال وزيادة مستوى اللياقة والتفاعل. يقوم مصنف أمان الصوت لدينا بمراقبة الدردشة في غضون 15 ثانية بثماني لغات. كما قمنا بإتاحة هذا النموذج كمصدر مفتوح كجزء من التزامنا الأوسع نطاقًا بمشاركة ابتكارات الأمان مع القطاع.

إذا استمر المستخدم في انتهاك سياساتنا، تصبح العواقب أكثر خطورة، وتتراوح بين تحذير قصير وفقدان الوصول إلى الدردشة الصوتية. أظهرت الأبحاث الداخلية أن الإيقافات لها تأثير لمدة تصل إلى ثلاثة أسابيع بعد ذلك، مما يقلل من معدلات العودة إلى المخالفة وعدد البلاغات المقدمة من المستخدمين. أظهرت التجارب المبكرة أن هذه الأنواع من التدخلات والعواقب الفورية لها تأثير إيجابي على السلوك الحضاري. يتمتع أحدث إصدار من مصنف الصوت لدينا بمعدل استرجاع أعلى بنسبة 92% من الإصدار الأولي، مع معدل إيجابي خاطئ يبلغ 1% — ويقوم بمعالجة ما يصل إلى 8,300 RPS في أوقات الذروة. نواصل استكشاف المزيد من الطرق لتحسين كل من الدقة والاسترجاع.

بناءً على النجاح الذي حققناه مع الإشعارات في الدردشة الصوتية، بدأنا أيضًا في تنفيذ ميزة التعليقات في الوقت الفعلي للدردشة النصية. في التجارب الأخيرة، وجدنا أن إصدار إشعارات الدردشة النصية داخل التجربة وفترات الانتظار أدى إلى انخفاض بنسبة 5% في رسائل الدردشة التي تمت تصفيتها وانخفاض بنسبة 6% في العواقب الناتجة عن تقارير الإساءة. كما بدأنا في تجربة ميزة التعليقات في الوقت الفعلي للمبدعين عند تحميل إبداعاتهم.

نقوم بتدريب هذه الأنظمة لتحقيق أقصى قدر من الكفاءة في تقليل حالات "السلبيات الخاطئة" — مع تفضيل إزالة أي شيء قد يشكل انتهاكًا للسياسة. كما ندرك مدى الإحباط الذي يشعر به المستخدمون عندما يتم حذف شيء يعتقدون أنه متوافق مع السياسة. لذلك، نعمل باستمرار على تحسين أنظمتنا لتقليل حالات "الإيجابيات الخاطئة" أيضًا. تعد البيانات المصنفة بشكل صحيح أمرًا ضروريًا لتحسين دقة جميع مصنفاتنا. 

يتطلب إنشاء مجموعات بيانات تدريب وتقييم قوية وجود أمثلة عالية الجودة كافية وخبراء بشريين لتصنيفها بدقة. هناك حالات لا نمتلك فيها بيانات كافية لأنها سيناريوهات نادرة أو حالات استثنائية. وأحيانًا يكون لدينا الكثير من البيانات ونحتاج إلى تحديد الأمثلة الأكثر فعالية. ونحتاج إلى بيانات تتطابق مع ما يحدث فعليًا على Roblox. ويشمل ذلك الأمثلة المؤقتة، مثل المصطلحات العامية أو الميمات. يقدم لنا جمهورنا من الأطفال والمراهقين واللاعبين دائمًا مصطلحات عامية جديدة واتجاهات جديدة وطرق جديدة للتحايل على أدوات الإشراف لدينا. إنهم يبقوننا في حالة تأهب، ولهذا السبب نختبر ونقيّم باستمرار أدوات الإشراف وسياساتنا. 

نستخدم مجموعة متنوعة من استراتيجيات أخذ العينات لتنظيم مجموعات البيانات هذه، ونستفيد من كل من الذكاء الاصطناعي والخبراء البشريين لإنشاء وتصنيف أمثلة البيانات هذه. يقوم خبراء السياسات لدينا بتنظيم الأمثلة يدويًا، وهو ما نسميه "المجموعة الذهبية". هذه هي الأمثلة التي تتطابق بشكل وثيق مع المشكلات التي نريد أن يكتشفها النظام. نأخذ عينات من مجموعات بيانات ضخمة جدًا باستخدام عدة استراتيجيات لأخذ العينات، بما في ذلك أخذ العينات غير المؤكدة، حيث نأخذ عينات من الحالات الاستثنائية التي كان النموذج في حيرة منها سابقًا. نحصل على عينات من الخبراء البشريين وفرق الاختبار الحمراء المدعومة بالذكاء الاصطناعي (المزيد عن AARTs)، الذين يختبرون النظام من خلال محاكاة هجمات عدائية للكشف عن نقاط الضعف. 

كما نقوم بتوسيع وتحسين مجموعات التدريب الخاصة بنا كلما اكتشفنا مشكلات جديدة أو مصطلحات عامية أو ميمات، وما إلى ذلك. نحصل على بعض هذه الأمثلة من خلال عملية الاستئناف لدينا، حيث يمكن للمستخدمين طلب مراجعة إضافية. إذا تم إلغاء القرار، يصبح هذا المثال جزءًا من مجموعة البيانات لدينا لمساعدة نظامنا على اتخاذ القرار الصحيح في المرة القادمة. 

ونحصل على أمثلة أخرى من نظامنا القوي للإبلاغ عن الإساءات، والذي يوسع فعليًا فريقنا من المشرفين البشريين ليشمل عشرات الملايين من المستخدمين الذين يهتمون بهذه التجارب والمجتمع. وقد قمنا مؤخرًا بتحسين أداة الإبلاغ لدينا بحيث يتوفر للمستخدمين خيار التقاط مشهد كامل، بما في ذلك معرّفات الصور الرمزية والأشياء، وتمييز الجزء الذي يرغبون في الإبلاغ عنه. لقد شهدنا إقبالاً قوياً من المستخدمين، حيث قدم حوالي 15% من البلاغات المؤهلة تعليقات مرئية. يساعدنا هذا السياق الإضافي على تحديد التجارب المشكوك فيها بشكل استباقي، حيث يبلغ المستخدمون عن مخاوفهم بشكل متكرر. ونظرًا لأن تدريب النموذج لا يتم بشكل فوري، فإننا نستكشف أيضًا إمكانية إنشاء قواعد مدعومة بالذكاء الاصطناعي تلقائيًا من بلاغات المستخدمين لزيادة سرعة استجابتنا. 

نقوم بتكملة مجموعات البيانات هذه ببيانات اصطناعية، حيث تقوم نماذج اللغة الكبيرة (LLMs) بإنشاء أمثلة بيانات اصطناعية وتسميات تحاكي الأمثلة الواقعية. وتكمن الفائدة هنا في القدرة على إنشاء ملايين الأمثلة والتسميات، حتى بالنسبة للحالات النادرة أو الاستثنائية. وبمجرد حصولنا على بيانات مصنفة كافية، نقوم بتقسيمها إلى مجموعتين من البيانات: واحدة للتدريب والأخرى للتقييم. يعد وجود مجموعة بيانات تقييم قوية أمرًا بالغ الأهمية: إذا كانت مجموعة التقييم سهلة للغاية، فستبدو مقاييس النموذج وكأنها تعمل بشكل جيد — ولكنها ستفشل في الإنتاج. دقة البيانات أكثر أهمية من حجمها. "البيانات الرديئة تدخل، والنتائج الرديئة تخرج" هو مصدر قلق حقيقي في التعلم الآلي، حيث يعتمد أداء النموذج بشكل كبير على دقة البيانات المستخدمة لتدريبه وتقييمه. 

بمجرد حصولنا على مجموعة بيانات تقييم قوية، نقوم بتقييمها بناءً على مقياسين رئيسيين: التوافق والجودة. لاختبار التوافق، يتم إرسال الأمثلة نفسها إلى عدة أشخاص لتصنيفها ومعرفة ما إذا كانت تصنيفاتهم متوافقة (أو متناسقة). إذا كان التوافق بين تصنيفاتهم 80% أو أكثر، فهذا يعني أن المشرفين لدينا يمكنهم اتخاذ قرارات متسقة على نطاق واسع. إذا كان أقل من 80%، فقد تكون السياسة أو التدريب مربكًا، ونحتاج إلى إعادة المحاولة. لاختبار الجودة، نرسل المجموعة المرجعية إلى أشخاص لتقييم ما إذا كانت تنتهك السياسة أم لا والتأكد من اتخاذهم القرار الصحيح. كما نأخذ عينات من القرارات ليراجعها الخبراء. إذا توصلوا جميعًا إلى القرار الصحيح، فيمكن عندئذٍ تطبيق سياستنا بشكل صحيح. يشير التوافق العالي والجودة العالية إلى إمكانية تطبيق سياستنا بشكل صحيح ومتسق. إذا لم يكن الأمر كذلك، نعود ونقيّم كل من السياسة ومجموعة التدريب. 

إن الطبيعة الإبداعية لمنصة مثل Roblox، حيث يتمتع المستخدمون بحرية إنشاء وتبادل أي شيء تقريبًا، تعني أنها تتطور باستمرار. يجب أن تتطور أساليب الإشراف لدينا بنفس السرعة للحفاظ على أمان مجتمعنا وحسن سلوكه. تعمل أنظمة التعلم النشط لدينا على تحديث النماذج باستمرار مع تطور اللغة وتغير أنماط المستخدمين ووقوع الأحداث في العالم الحقيقي. نحن نبني باستمرار أنظمة قابلة للتطوير وسريعة ودقيقة وتتكيف باستمرار مع العالم الديناميكي الذي نعيش فيه جميعًا. 

^{1اعتبار}ًا من الربع الأول من عام 2025.

^2تغطي الفترة المشمولة بالتقرير من 17 فبراير 2024 حتى 31 ديسمبر 2024.