البنية التحتية التي تدعم التجارب التي تحطم الأرقام القياسية

إن قدرة Roblox على التوسع ودعم عشرات الملايين من المستخدمين الذين يلعبون معًا عبر ملايين التجارب الفريدة ليست نتيجة ابتكار واحد. إنها مجموع ثقافة ابتكار أوسع نطاقًا وآلاف الأمور الصغيرة التي تم تنفيذها بشكل جيد في جميع أنحاء الشركة. هكذا قمنا ببناء البنية التحتية التي تدعم حاليًا حركة مرور قياسية إلى العديد من التجارب على Roblox. إحدى هذه التجارب، Grow a Garden، حطمت مؤخرًا الرقم القياسي في موسوعة غينيس للأرقام القياسية® لأكثر لعبة فيديو تم لعبها في وقت واحد، حيث لعبها 21.6 مليون مستخدم في وقت واحد. وفي أثناء ذلك، واصلت منصة Roblox تحقيق أرقام قياسية جديدة في عدد المستخدمين المتزامنين (كما فعلت على مدار ما يقرب من عقدين)، حيث تجاوزت مؤخرًا 30 مليون لاعب متزامن.

تواجه Roblox تحديات فريدة في بناء وصيانة البنية التحتية لملايين التجارب التي أنشأها المبدعون، بما في ذلك Dress to Impress و Adopt Me و Dead Rails، الأمر الذي يتطلب منهجيات هندسية مبتكرة. تدعم المنصة عشرات التحديثات كل ساعة وأكثر من 30 مليون مستخدم متزامن من خلال بنية تحتية قابلة للتوسع أثناء الارتفاعات غير المتوقعة في حركة المرور. يجب أن تدعم هذه البنية التحتية حالات الازدحام الشديد حيث ينضم أكثر من 21 مليون مستخدم إلى تجربة واحدة في وقت واحد (وقد جاء رمز التحديث من مبدعين مستقلين). يبتكر مهندسو Roblox حلولاً من خلال تحدي الحكمة التقليدية — حلول مستوحاة من قيمنا الأساسية الأربع.

في عالم مثالي، لا ينبغي أن يضطر المبدعون لدينا إلى التفكير في السعة أبدًا — يجب أن تكون البنية التحتية غير مرئية لهم، وتعمل خلف الكواليس. عندما ينشر مبدع تجربة على Roblox، فإن مهمتنا هي توفير السعة اللازمة، بغض النظر عن عدد اللاعبين الذين يشاركون. في البداية، كنا نخطط للسعة مرة واحدة في السنة للسنة أو السنتين التاليتين. ولكن في السنوات الأخيرة، دفعتنا التجارب الناجحة مثل Dress to Impress و Fisch و Dead Rails و Grow a Garden إلى إعادة التفكير في إطار عملنا لتخطيط السعة.

وتماشيًا مع قيمتنا المتمثلة في النظر إلى المدى البعيد، فإننا الآن نتنبأ باحتياجات السعة قبل عامين من الحاجة إليها، ونوازن بين طلب المستخدمين والاستخدام الفعال للخوادم. يتضمن دورة التخطيط لدينا اقتناء مراكز البيانات، وتجديد أجهزة الخوادم، والشبكات المادية، مع التخطيط لمراكز بيانات جديدة مثل تلك الموجودة في البرازيل قبل سنوات من إنشائها. كما يحافظ فريق الشبكات على سعة "خفية" لضمان استمرار التشغيل على الرغم من مشكلات مثل انقطاع كابلات الشبكة.

تستند السعة التي تتمتع بها Roblox اليوم إلى توقعات تم وضعها قبل عامين، عندما لم نكن نستطيع توقع أن تنمو التجارب من مجهولة إلى شعبية هائلة في غضون أسابيع. لم تكن الألعاب الشهيرة مثل Dress to Impress و Grow a Garden، التي ساعدت في مضاعفة عدد اللاعبين المتزامنين في ذروة Roblox من 13.9 مليون في أبريل إلى 30.6 مليون في يونيو 2025، موجودة عندما تم وضع توقعات السعة هذه. على سبيل المثال، في مارس 2025، ارتفع عدد المستخدمين المتزامنين في Dead Rails إلى مليون مستخدم، مستخدمين كل سعة وحدة المعالجة المركزية (CPU) المتاحة. 

تعلمنا من هذه الأنواع من الارتفاعات المفاجئة في الشعبية، وانتقلنا إلى دورة تخطيط أكثر مرونة. لدعم أعداد اللاعبين القياسية على Roblox باستمرار، تستخدم الهندسة دورة أسبوعية صارمة من التخطيط والاختبار وتعديلات السعة. يوم الاثنين مخصص لمراجعة الحوادث، يليه تخطيط السعة يوم الثلاثاء. طوال الأسبوع، هناك اختبارات فوضى مستمرة. يركز يوم الخميس على مراجعة السعة لأي تحديثات كبيرة أخبرنا المبدعون أن نتوقعها. يوم الجمعة، يتم توفير موارد سحابية إضافية لضمان استعداد المنصة لاستخدامات ذروة عطلة نهاية الأسبوع. طوال الأسبوع، نواصل إصدار ميزات جديدة تمامًا، ولا نوقف النشر المستمر من قبل جميع المهندسين. 

يعد التقييد مفهومًا مقبولًا جدًا في علوم الكمبيوتر. لكنه أكثر أدوات علوم الكمبيوتر إساءة استخدامًا وسوء فهمًا. عندما ينضم مهندسون جدد إلى Roblox، غالبًا ما تتضمن حلولهم الأولى عبارة مثل: "لو أمكننا فقط أن نطلب من المبدعين تعديل هذا الإعداد أو إبطاء أحداثهم...". عندئذٍ يشرح مهندسو Roblox المخضرمون بلطف قيمتنا المتمثلة في احترام المجتمع، وأننا لا نملي على المبدعين ما يجب عليهم فعله. 

على سبيل المثال، لدى معظم أنظمة الألعاب حل بسيط للتوفيق بين اللاعبين عندما ينقر ملايين اللاعبين على زر اللعب في وقت واحد. فهي تحد من الانضمامات، أو تجعل اللاعبين ينتظرون، أو ترسلهم إلى خوادم عشوائية عن طريق تخطي خوارزمية التوفيق بين اللاعبين. في Roblox، نفعل العكس. لقد أعدنا تصميم أنظمة التوفيق بين اللاعبين بالكامل لتستوعب أعدادًا هائلة من اللاعبين. في أوقات الذروة، يقيّم هذا النظام ما يصل إلى 4 مليارات تركيبة انضمام محتملة في الثانية. قبل سنوات، حددنا هدفًا يتمثل في 10 ملايين عملية انضمام في 10 ثوانٍ، ونواصل العمل لتحقيق هذا الهدف.

لتجنب التقييد بسبب السعة، نجري تجارب على التوسع السحابي كجزء من انتقالنا إلى بنية تحتية خلوية، مما يتيح التوسع الديناميكي والفعال من حيث الحوسبة. تتعامل هذه البنية مع ذروة الطلب من خلال مطابقة المستخدمين مع خلايا مراكز البيانات المحلية والسحابية. نحن نعمل على تحقيق تشغيل وإيقاف تامين لأي مركز بيانات حافة سحابي يتم تجريده تمامًا لخوارزمية المطابقة.

مثال آخر هو نظام تصفية النصوص لدينا، الذي يعالج في أوقات الذروة 250,000 طلب في الثانية. هذا استدلال نموذج كبير يعمل على 250,000 رمز مع نوافذ سياق تتوسع باستمرار. ومع وجود أكثر من 300 مسار استدلال للذكاء الاصطناعي قيد التشغيل في الإنتاج، يستثمر مالكو خدمات Roblox الكثير من الوقت في إيجاد المزيج المثالي لملفات تعريف الاستدلال بين وحدات معالجة الرسومات (GPU) ووحدات المعالجة المركزية (CPU). حتى في ظل أحمال الذروة، يحترم مهندسو Roblox المجتمع من خلال إعطاء الأولوية لحرية المبدعين وسلامة المستخدمين.

من خلال تخطيطنا، نبني القدرات والخوارزميات لدعم التحديثات الأكثر إثارة من المبدعين. لكننا نحتاج إلى التأكد من أن هذه الأنظمة يمكنها الصمود حتى في ظل أكبر فترات الذروة أو انقطاع الخدمة الفردي. تساعد المعلومات التي تم جمعها من ذروة الاستخدام على أكثر من 1600 خدمة صغيرة في تحديد الخدمات التي تحتاج إلى مزيد من اختبارات التحمل.

ووفقًا لقيمتنا المتمثلة في إنجاز المهام، نختار كل يوم عددًا من هذه الخدمات ونقيد سعتها في مرحلة الإنتاج. نراقب الخصائص، ثم نصلحها قبل نهاية الأسبوع. نسمي هذا "اختبار السعة الفعلية" (TACO) أيام الثلاثاء. يقوم فريق الموثوقية لدينا أيضًا بتشغيل "صحة السعة المستمرة" (C3). يستخدم كل فريق هندسي لوحة معلومات C3 للتنبؤ بسعة وحدة المعالجة المركزية (CPU) لخدماتهم وإدارتها. وهذا يمكّن مالكي الخدمات من التعلم باستمرار من آخر ذروة لزيادة أو تقليل السعة استعدادًا للذروة التالية. كما أطلقنا نظامًا يتتبع أنماط المكالمات في محرك Roblox الأساسي للإصدارات الجديدة. وهذا يساعد على ضمان أننا مستعدون بشكل أفضل أثناء التحديث. 

حتى مع كل هذه الاستعدادات، ما زلنا نواجه أحيانًا سيناريوهات قد تؤدي فيها الطبيعة غير المتوقعة لأنماط حركة المرور إلى تعطل المنصة بسبب خدمة واحدة أو تدفق منتج واحد. على سبيل المثال، قد تشهد خط أنابيب تحليلات الأحداث البالغ حجمه 2 تريليون زيادة في حركة المرور بنسبة 30٪ بسبب تحديث شائع. وهنا تدخل آليات المرونة لدينا، مثل التحكم التكيفي في التزامن (ACC) وقاطع الدائرة وإلغاء المحاولات المتكررة، لحماية المنصة. هذا العام، قمنا أيضًا ببناء منصة لاختبار الفوضى لتعزيز مرونة البنية التحتية وقابليتها للتوسع عن طريق إدخال أخطاء عشوائية، واستنفاد الموارد، وإنهاء العمليات بشكل عشوائي في مرحلة الإنتاج.

نقضي الأسبوع بأكمله في الاختبار والتحضير لهذه التحديثات الكبيرة التي تتم في عطلة نهاية الأسبوع. ولكن عندما تأتي عطلة نهاية الأسبوع، لا يزال لدينا عمل نقوم به. قبل تحديثات عطلة نهاية الأسبوع، يتعاون مهندسو Roblox لمراقبة التغييرات القادمة وتوقع السعة المتبقية، وتوفير موارد سحابية إضافية حسب الحاجة لاستيعاب ملايين اللاعبين الإضافيين عبر مراكز البيانات الافتراضية الطرفية. 

يوم الجمعة، نقرر ما إذا كنا بحاجة إلى إضافة سعة إضافية باستخدام موارد السحابة. توفر هذه العملية توجيهًا واضحًا لفريق السحابة المختلطة لدينا لتوفير سعة إضافية كافية لاستيعاب ملايين اللاعبين الإضافيين. تعمل مراكز البيانات الطرفية الفعلية الـ 24 الخاصة بنا في أي وقت، ولكن بعد إجراء جميع الاختبارات، قد نقرر أننا بحاجة إلى مراكز بيانات طرفية إضافية. لا توجد طريقة لتركيب الخوادم وتكديسها في غضون 12 ساعة، لذلك نتعاون مع شركائنا في السحابة لبناء عدة مراكز بيانات طرفية افتراضية. نختبرها يوم الجمعة، ثم نصبح جاهزين لعطلة نهاية الأسبوع. 

انطلاقًا من روح تحمل المسؤولية الحقيقية، يتناوب الجميع، بما في ذلك كبار المديرين التنفيذيين لدينا، على العمل تحت الطلب — حتى في عطلات نهاية الأسبوع. غالبًا ما يؤدي تدفق ملايين المستخدمين يوم السبت إلى ظهور مئات التنبيهات. تعمل الفرق على حل هذه التنبيهات بشكل استباقي، مما يمكّننا من التعامل مع التحديات أثناء التحديثات الكبيرة أو عند بلوغ المنصة أعلى مستوياتها على الإطلاق. 

وكما يُنسب إلى ليوناردو دافنشي قوله: "التعلم لا يرهق العقل أبدًا". فقد ألهمتنا كل ذروة للتعلم وابتكار تقنيات جديدة لجعل بنيتنا التحتية أكثر موثوقية وخفية. ينشر المبدعون لدينا أو يقومون بالتحديث، ومن خلال سحر البنية التحتية الخفية، يبدأ عشرات الملايين من المستخدمين في الاستمتاع بتجربة جديدة تمامًا على الفور تقريبًا. ونحن ممتنون إلى الأبد للمبدعين والمستخدمين لدينا لتحديهم لنا لتخطي حدود علوم الكمبيوتر.