โครงสร้างพื้นฐานที่รองรับประสบการณ์ที่สร้างสถิติใหม่

ความสามารถของ Roblox ในการขยายและรองรับผู้ใช้หลายสิบล้านคนที่เล่นร่วมกันผ่านประสบการณ์ที่ไม่ซ้ำกันหลายล้านรูปแบบนั้น ไม่ได้เกิดจากการคิดค้นนวัตกรรมเพียงอย่างเดียว แต่เป็นผลรวมของวัฒนธรรมนวัตกรรมที่กว้างขวางและสิ่งเล็กๆ น้อยๆ ที่ทำอย่างดีนับพันอย่างทั่วทั้งบริษัท นี่คือวิธีที่เราได้สร้างโครงสร้างพื้นฐานที่รองรับปริมาณการใช้งานที่ทำลายสถิติให้กับประสบการณ์มากมายบน Roblox ในปัจจุบัน หนึ่งในประสบการณ์เหล่านั้น Grow a Garden เพิ่งทำลายสถิติโลกกินเนสส์เวิลด์เรคคอร์ด® สำหรับวิดีโอเกมที่มีผู้เล่นพร้อมกันมากที่สุด โดยมีผู้เล่นถึง 21.6 ล้านคนในเวลาเดียวกัน และในกระบวนการนี้ แพลตฟอร์ม Roblox ยังคงทำลายสถิติผู้เล่นพร้อมกันสูงสุดอย่างต่อเนื่อง (เช่นเดียวกับที่ทำมาเกือบสองทศวรรษ) ล่าสุดมีผู้เล่นพร้อมกันเกิน 30 ล้านคน

Roblox เผชิญกับความท้าทายที่ไม่เหมือนใครในการสร้างและรักษาโครงสร้างพื้นฐานสำหรับประสบการณ์ที่สร้างโดยผู้สร้างหลายล้านคน รวมถึง Dress to Impress, Adopt Me และ Dead Rails ซึ่งต้องการวิธีการทางวิศวกรรมที่สร้างสรรค์ แพลตฟอร์มรองรับการอัปเดตหลายสิบครั้งต่อชั่วโมงและผู้ใช้พร้อมกันมากกว่า 30 ล้านคนด้วยโครงสร้างพื้นฐานที่สามารถขยายตัวได้ในช่วงที่มีการเข้าใช้งานเพิ่มขึ้นอย่างไม่คาดคิด โครงสร้างพื้นฐานนี้ต้องรองรับสถานการณ์ที่มีผู้ใช้มากกว่า 21 ล้านคนเข้าร่วมประสบการณ์เดียวกันในเวลาเดียวกัน (และโค้ดอัปเดตมาจากผู้สร้างอิสระ) วิศวกรของ Roblox สร้างสรรค์นวัตกรรมโดยการท้าทายภูมิปัญญาดั้งเดิม—นวัตกรรมที่ได้รับแรงบันดาลใจจากค่านิยมหลักสี่ประการของเรา

ในโลกอุดมคติ ผู้สร้างของเราไม่ควรต้องคิดเกี่ยวกับขีดความสามารถเลย—โครงสร้างพื้นฐานควรเป็นสิ่งที่มองไม่เห็นสำหรับพวกเขา ทำงานอยู่เบื้องหลังอย่างราบรื่น เมื่อผู้สร้างเผยแพร่ประสบการณ์ไปยัง Roblox งานของเราคือการสนับสนุนขีดความสามารถที่จำเป็น ไม่ว่าผู้เล่นจะเข้ามาจำนวนมากเพียงใดก็ตาม ในช่วงแรก เราวางแผนกำลังการผลิตปีละครั้งสำหรับปีหรือสองปีข้างหน้า แต่ในช่วงไม่กี่ปีที่ผ่านมา ประสบการณ์ที่ประสบความสำเร็จ เช่น Dress to Impress, Fisch, Dead Rails และ Grow a Garden ได้ทำให้เราต้องทบทวนกรอบการวางแผนกำลังการผลิตใหม่

สอดคล้องกับคุณค่าของเราที่ให้ความสำคัญกับการมองการณ์ไกล เราได้คาดการณ์ความต้องการด้านความจุล่วงหน้าถึงสองปี โดยคำนึงถึงความต้องการของผู้ใช้ควบคู่ไปกับการใช้เซิร์ฟเวอร์อย่างมีประสิทธิภาพ วงจรการวางแผนของเราประกอบด้วยการจัดหาศูนย์ข้อมูล การปรับปรุงฮาร์ดแวร์เซิร์ฟเวอร์ และการเชื่อมต่อเครือข่ายทางกายภาพ โดยศูนย์ข้อมูลใหม่ ๆ เช่น ศูนย์ข้อมูลในบราซิล ได้ถูกวางแผนไว้ล่วงหน้าหลายปี ทีมเครือข่ายยังรักษาความจุ "ดาร์ก" ไว้เพื่อให้แน่ใจว่าการดำเนินงานจะดำเนินต่อไปได้แม้ในกรณีปัญหาเช่นการตัดสายเคเบิลเครือข่าย

ขีดความสามารถของ Roblox ในปัจจุบันนั้นอิงตามการคาดการณ์ที่ทำไว้เมื่อสองปีที่แล้ว ซึ่งในขณะนั้นเรายังไม่สามารถคาดการณ์ได้ว่าประสบการณ์ต่าง ๆ จะเติบโตจากความไม่เป็นที่รู้จักไปสู่ความนิยมอย่างมหาศาลภายในเวลาเพียงไม่กี่สัปดาห์ เกมยอดนิยมอย่าง Dress to Impress และ Grow a Garden ซึ่งช่วยให้จำนวนผู้เล่นสูงสุดพร้อมกันของ Roblox เพิ่มขึ้นเป็นสองเท่าจาก 13.9 ล้านคนในเดือนเมษายนเป็น 30.6 ล้านคนในเดือนมิถุนายน 2025 นั้นยังไม่มีอยู่จริงเมื่อมีการคาดการณ์ความสามารถนี้ ตัวอย่างเช่น ในเดือนมีนาคม 2025 เกม Dead Rails มีผู้เล่นพร้อมกันถึง 1 ล้านคน โดยใช้ความสามารถของ CPU ทั้งหมดที่มีอยู่ 

จากการเรียนรู้จากการเพิ่มขึ้นของความนิยมในลักษณะนี้ เราได้เปลี่ยนไปสู่รอบการวางแผนที่ยืดหยุ่นมากขึ้น เพื่อสนับสนุนจำนวนผู้เล่นเครื่องเล่นที่บันทึกไว้บน Roblox อย่างต่อเนื่อง ทีมวิศวกรรมจึงใช้รอบการวางแผน การทดสอบ และการปรับความจุอย่างเข้มงวดทุกสัปดาห์ วันจันทร์จะเป็นการทบทวนเหตุการณ์ที่เกิดขึ้น ตามด้วยการวางแผนความจุในวันอังคาร ตลอดทั้งสัปดาห์จะมีการทดสอบความโกลาหลอย่างต่อเนื่อง วันพฤหัสบดีจะเน้นการทบทวนความจุสำหรับการอัปเดตขนาดใหญ่ที่ผู้สร้างของเราได้แจ้งให้เราทราบว่าจะเกิดขึ้น ในวันศุกร์ จะมีการจัดสรรทรัพยากรคลาวด์เพิ่มเติมเพื่อให้แพลตฟอร์มพร้อมรองรับการใช้งานสูงสุดในช่วงสุดสัปดาห์ ตลอดทั้งสัปดาห์ เราจะยังคงปล่อยฟีเจอร์ใหม่ทั้งหมดอย่างต่อเนื่อง และจะไม่ล็อกการปรับใช้แบบต่อเนื่องของวิศวกรทุกคน 

การจำกัดความเร็ว (Throttling) เป็นแนวคิดที่ได้รับการยอมรับอย่างกว้างขวางในวิทยาการคอมพิวเตอร์ แต่กลับเป็นเครื่องมือที่ถูกนำไปใช้ผิดวัตถุประสงค์และเข้าใจผิดมากที่สุดในวงการนี้ เมื่อวิศวกรใหม่เข้าร่วม Roblox โซลูชันแรก ๆ ที่พวกเขามักจะเสนอคือ "ถ้าเราสามารถบอกให้ผู้สร้างของเราปรับค่าคอนฟิกนี้หรือชะลออีเวนต์ของพวกเขาลงได้..." วิศวกรอาวุโสของ Roblox จะค่อย ๆ อธิบายถึงคุณค่าของการเคารพชุมชนของเรา และว่าเราจะไม่สั่งให้ผู้สร้างของเราทำอะไร 

ตัวอย่างเช่น ระบบเกมส่วนใหญ่มีวิธีแก้ปัญหาที่ง่ายสำหรับการจับคู่ผู้เล่นเมื่อมีผู้เล่นหลายล้านคนคลิกเล่นพร้อมกัน พวกเขาจะจำกัดการเข้าร่วม ทำให้ผู้เล่นต้องรอ หรือส่งผู้เล่นไปยังเซิร์ฟเวอร์แบบสุ่มโดยการข้ามอัลกอริทึมการจับคู่ ที่ Roblox เราทำตรงกันข้าม เราได้ออกแบบระบบจับคู่ผู้เล่นใหม่ทั้งหมดสำหรับฝูงผู้เล่นจำนวนมาก ในช่วงเวลาที่มีการใช้งานสูงสุด ระบบนี้ประเมินการจับคู่ที่เป็นไปได้ถึง 4 พันล้านชุดต่อวินาที หลายปีก่อน เราได้ตั้งเป้าหมายไว้ที่ 10 ล้านการเข้าร่วมภายใน 10 วินาที และเรายังคงพัฒนาอย่างต่อเนื่องเพื่อบรรลุเป้าหมายนั้น เพื่อ

หลีกเลี่ยงการจำกัดความเร็วเนื่องจากข้อจำกัดด้านความจุ เรากำลังทดลองใช้เทคโนโลยีคลาวด์เบิร์สท์เป็นส่วนหนึ่งของการเปลี่ยนผ่านไปสู่โครงสร้างพื้นฐานแบบเซลลูลาร์ ซึ่งช่วยให้สามารถปรับขนาดได้อย่างยืดหยุ่นและมีประสิทธิภาพในการประมวลผล สถาปัตยกรรมนี้รองรับความต้องการสูงสุดโดยจับคู่ผู้ใช้กับทั้งศูนย์ข้อมูลภายในองค์กรและศูนย์ข้อมูลเอดจ์บนคลาวด์ เรากำลังทำงานเพื่อพัฒนาระบบการเปิดใช้งานและปิดระบบศูนย์ข้อมูลเอดจ์บนคลาวด์ที่ทำงานโดยอัตโนมัติอย่างสมบูรณ์ ซึ่งถูกแยกออกจากอัลกอริทึมการจับคู่โดยสมบูรณ์

ตัวอย่างอีกอย่างคือระบบตัวกรองข้อความของเรา ซึ่งในช่วงเวลาสูงสุดสามารถจัดการคำขอได้ถึง 250,000 ครั้งต่อวินาที นั่นคือการประมวลผลโมเดลขนาดใหญ่ที่ทำงานกับ 250,000 โทเค็นพร้อมหน้าต่างบริบทที่ขยายตัวอย่างต่อเนื่อง และด้วยสายงานประมวลผล AI มากกว่า 300 สายที่ทำงานในระบบจริง เจ้าของบริการของ Roblox จึงต้องใช้เวลาอย่างมากในการค้นหาส่วนผสมที่เหมาะสมที่สุดระหว่างโปรไฟล์การประมวลผลของ GPU และ CPU แม้ภายใต้การใช้งานสูงสุด วิศวกรของ Roblox ก็ยังคงเคารพชุมชนโดยให้ความสำคัญกับเสรีภาพของผู้สร้างและความปลอดภัยของผู้ใช้เป็นอันดับแรก

ด้วยการวางแผนของเรา เราได้สร้างขีดความสามารถและอัลกอริทึมเพื่อรองรับการอัปเดตที่น่าตื่นเต้นที่สุดจากผู้สร้างเนื้อหา แต่เราต้องมั่นใจว่าระบบเหล่านี้สามารถรองรับการใช้งานสูงสุดหรือการหยุดให้บริการชั่วคราวได้ ข้อมูลที่รวบรวมจากการใช้งานสูงสุดในไมโครเซอร์วิสมากกว่า 1,600 รายการ ช่วยระบุบริการที่ต้องทดสอบความเครียดเพิ่มเติม

ตามคุณค่าของเราที่ให้ความสำคัญกับการทำให้สิ่งต่าง ๆ เสร็จสมบูรณ์ ทุกวันเราจะเลือกบริการบางส่วนและจำกัดความสามารถในการผลิตของพวกมันไว้ เราสังเกตคุณสมบัติต่าง ๆ แล้วแก้ไขให้เรียบร้อยก่อนถึงวันเสาร์ เราเรียกสิ่งนี้ว่า "ทดสอบความสามารถที่แท้จริง" (TACO) ทุกวันอังคาร ทีมความน่าเชื่อถือของเราดำเนินการตรวจสอบความถูกต้องของกำลังการผลิตอย่างต่อเนื่อง (C3) ด้วยเช่นกัน ทีมวิศวกรรมแต่ละทีมใช้แดชบอร์ด C3 เพื่อทำนายและจัดการกำลังการผลิต CPU ของบริการของตน ซึ่งช่วยให้เจ้าของบริการสามารถเรียนรู้จากจุดสูงสุดล่าสุดอย่างต่อเนื่องเพื่อเพิ่มหรือลดกำลังการผลิตสำหรับจุดสูงสุดถัดไป เราได้เปิดตัวระบบที่ติดตามรูปแบบการเรียกใช้ในแกนหลักของเครื่องยนต์ Roblox สำหรับการปล่อยเวอร์ชันใหม่ด้วยเช่นกัน ซึ่งช่วยให้เราเตรียมพร้อมได้ดีขึ้นในระหว่างการอัปเดต 

แม้จะมีการเตรียมการทั้งหมดนี้แล้วก็ตาม เรายังคงพบเจอสถานการณ์ที่รูปแบบการจราจรที่ไม่สามารถคาดการณ์ได้อาจทำให้การไหลของบริการหรือผลิตภัณฑ์เพียงอย่างเดียวทำให้แพลตฟอร์มล่มได้ ตัวอย่างเช่น ท่อวิเคราะห์เหตุการณ์ 2 ล้านล้านอาจมีการจราจรเพิ่มขึ้น 30% เนื่องจากการอัปเดตที่ได้รับความนิยม นี่คือจุดที่กลไกความยืดหยุ่นของเรา เช่น การควบคุมการทำงานพร้อมกันแบบปรับตัว (Adaptive Concurrency Control - ACC), วงจรตัดไฟ (Circuit Breaker), และการลดความพยายามซ้ำ (Shedding Retries) จะเข้ามาทำงานเพื่อปกป้องแพลตฟอร์ม ปีนี้ เราได้สร้างแพลตฟอร์มทดสอบความโกลาหลเพื่อเสริมสร้างความยืดหยุ่นและความสามารถในการขยายตัวของโครงสร้างพื้นฐานของเรา โดยการฉีดข้อผิดพลาดแบบสุ่ม ใช้ทรัพยากรจนหมด และยุติกระบวนการทำงานในสภาพแวดล้อมการผลิตแบบสุ่ม

เราใช้เวลาทั้งสัปดาห์ในการทดสอบและเตรียมความพร้อมสำหรับการอัปเดตใหญ่ในช่วงสุดสัปดาห์ แต่เมื่อสุดสัปดาห์มาถึง เรายังคงมีงานที่ต้องทำ ก่อนการอัปเดตในช่วงสุดสัปดาห์ วิศวกรของ Roblox จะร่วมมือกันเพื่อติดตามการเปลี่ยนแปลงที่กำลังจะเกิดขึ้นและคาดการณ์ความสามารถที่เหลืออยู่ พร้อมทั้งจัดสรรทรัพยากรคลาวด์เพิ่มเติมตามความจำเป็น เพื่อรองรับผู้เล่นเพิ่มเติมหลายล้านคนผ่านศูนย์ข้อมูลเอดจ์เสมือน 

ในวันศุกร์ เราจะตัดสินใจว่าจำเป็นต้องเพิ่มขีดความสามารถด้วยทรัพยากรคลาวด์เพิ่มเติมหรือไม่ กระบวนการนี้จะให้แนวทางที่ชัดเจนแก่ทีมคลาวด์แบบไฮบริดของเราในการจัดเตรียมความจุเพิ่มเติมให้เพียงพอเพื่อรองรับผู้เล่นใหม่หลายล้านคน ตลอดเวลา ศูนย์ข้อมูลขอบเครือข่ายทางกายภาพ 24 แห่งของเราทำงานอยู่ แต่หลังจากการทดสอบทั้งหมด เราอาจตัดสินใจว่าเราต้องการศูนย์ข้อมูลขอบเครือข่ายเพิ่มเติม ไม่มีทางที่จะติดตั้งและจัดวางเซิร์ฟเวอร์ได้ภายใน 12 ชั่วโมง ดังนั้นเราจึงทำงานร่วมกับพันธมิตรคลาวด์ของเราเพื่อสร้างศูนย์ข้อมูลขอบเครือข่ายเสมือนหลายแห่ง เราทดสอบในวันศุกร์ และจากนั้นเราก็พร้อมสำหรับวันหยุดสุดสัปดาห์ 

ด้วยจิตวิญญาณแห่งความรับผิดชอบอย่างแท้จริง ทุกคน รวมถึงผู้บริหารระดับสูงสุดของเรา ต่างหมุนเวียนเข้าเวรรับสายฉุกเฉิน—แม้ในวันหยุดสุดสัปดาห์ก็ตาม การเพิ่มขึ้นของผู้ใช้หลายล้านคนในวันเสาร์มักกระตุ้นให้เกิดการแจ้งเตือนหลายร้อยครั้ง ทีมงานของเราจะดำเนินการแก้ไขปัญหาเหล่านี้ล่วงหน้า ทำให้เราสามารถรับมือกับความท้าทายต่าง ๆ ได้เป็นอย่างดี ไม่ว่าจะเป็นการอัปเดตครั้งใหญ่หรือช่วงเวลาที่มีผู้ใช้งานสูงสุดตลอดกาลของแพลตฟอร์ม 

ดังที่เลโอนาร์โด ดา วินชี มักกล่าวไว้ว่า "การเรียนรู้ไม่เคยทำให้จิตใจเหนื่อยล้า" ทุกจุดสูงสุดได้สร้างแรงบันดาลใจให้เราเรียนรู้และคิดค้นเทคนิคใหม่ๆ เพื่อทำให้โครงสร้างพื้นฐานของเราเชื่อถือได้และมองไม่เห็นมากยิ่งขึ้น ผู้สร้างของเราเผยแพร่หรืออัปเดตผลงาน และด้วยเวทมนตร์ของโครงสร้างพื้นฐานที่มองไม่เห็น ผู้ใช้หลายสิบล้านคนเริ่มเพลิดเพลินกับประสบการณ์ใหม่เกือบจะในทันที เราขอขอบคุณผู้สร้างและผู้ใช้ของเราอย่างไม่มีที่สิ้นสุดที่ท้าทายให้เราผลักดันขอบเขตของวิทยาการคอมพิวเตอร์