রেকর্ড-ভাঙা অভিজ্ঞতাকে সমর্থনকারী অবকাঠামো

Roblox-এর স্কেলিং করার ক্ষমতা এবং লক্ষ লক্ষ অনন্য অভিজ্ঞতায় একসঙ্গে কয়েক কোটি ব্যবহারকারীকে সমর্থন করার সক্ষমতা কোনো একক উদ্ভাবনের ফল নয়। এটি উদ্ভাবনের বিস্তৃত সংস্কৃতি এবং কোম্পানির সর্বত্র সুচারুভাবে সম্পন্ন হওয়া হাজারো ছোট ছোট কাজের সমষ্টি। এভাবেই আমরা সেই অবকাঠামো তৈরি করেছি যা বর্তমানে Roblox-এর অনেক অভিজ্ঞতায় রেকর্ড-ভাঙা ট্র্যাফিককে সমর্থন করছে। সেই অভিজ্ঞতাগুলোর একটি, Grow a Garden, সম্প্রতি Guinness World Records®-এ 'একই সময়ে সবচেয়ে বেশি খেলোয়াড়ের ভিডিও গেম' শিরোনাম অর্জন করেছে, যেখানে ২১.৬ মিলিয়ন ব্যবহারকারী একসঙ্গে খেলেছে। আর এই প্রক্রিয়ায়, Roblox প্ল্যাটফর্মটি নতুন নতুন পিক কনকারেন্সি রেকর্ড গড়ছে (যেমনটি প্রায় দুই দশক ধরে করে আসছে), সর্বশেষে ৩০ মিলিয়ন একসঙ্গে খেলোয়াড়ের রেকর্ড অতিক্রম করেছে।

ড্রেস টু ইমপ্রেস, অ্যাডপ্ট মি, এবং ডেড রেলস-এর মতো মিলিয়ন মিলিয়ন নির্মাতা-নির্মিত অভিজ্ঞতার জন্য অবকাঠামো নির্মাণ ও রক্ষণাবেক্ষণে Roblox অনন্য চ্যালেঞ্জের মুখোমুখি হয়, যা উদ্ভাবনী ইঞ্জিনিয়ারিং পদ্ধতি প্রয়োজন করে। এই প্ল্যাটফর্মটি প্রতি ঘণ্টায় কয়েক ডজন আপডেট এবং ৩০ মিলিয়নেরও বেশি সমসাময়িক ব্যবহারকারীকে সমর্থন করে, এমন একটি অবকাঠামোর মাধ্যমে যা অপ্রত্যাশিত ট্র্যাফিক বৃদ্ধির সময় স্কেল করে। এই অবকাঠামোকে 'থান্ডারিং হার্ড' পরিস্থিতি সমর্থন করতে হবে, যেখানে ২১ মিলিয়নেরও বেশি ব্যবহারকারী একযোগে একটি একক অভিজ্ঞতায় যোগ দেয় (এবং আপডেট কোডটি স্বাধীন নির্মাতাদের কাছ থেকে আসে)। Roblox ইঞ্জিনিয়াররা প্রচলিত ধারণাগুলোকে চ্যালেঞ্জ করে নতুন সমাধান উদ্ভাবন করেন—এমন সমাধান যা আমাদের চারটি মূল মূল্যবোধ থেকে অনুপ্রাণিত।

একটি আদর্শ জগতে, আমাদের নির্মাতাদের কখনই ক্ষমতার কথা ভাবতে হবে না—তাদের কাছে অবকাঠামো দৃশ্যমান না থেকে পর্দার আড়ালে কাজ করবে। যখন কোনো নির্মাতা Roblox-এ একটি অভিজ্ঞতা প্রকাশ করে, তখন আমাদের কাজ হল সেই অভিজ্ঞতার জন্য প্রয়োজনীয় ক্ষমতা নিশ্চিত করা, যতজন খেলোয়াড়ই আসুক না কেন। প্রাথমিক দিনগুলোতে, আমরা এক বা দুই বছরের জন্য বছরে একবারই সক্ষমতা পরিকল্পনা করতাম। কিন্তু সাম্প্রতিক বছরগুলোতে, Dress to Impress, Fisch, Dead Rails, এবং Grow a Garden-এর মতো সফল অভিজ্ঞতাগুলো আমাদের সক্ষমতা পরিকল্পনার কাঠামো পুনর্বিবেচনা করতে বাধ্য করেছে।

দীর্ঘমেয়াদী দৃষ্টিভঙ্গি গ্রহণের আমাদের মূলনীতির সাথে সামঞ্জস্য রেখে, আমরা এখন ব্যবহারকারীর চাহিদা এবং দক্ষ সার্ভার ব্যবহারের মধ্যে ভারসাম্য বজায় রেখে দুই বছর পর্যন্ত পূর্বেই সক্ষমতা চাহিদা অনুমান করি। আমাদের পরিকল্পনা চক্রে ডেটা সেন্টার অধিগ্রহণ, সার্ভার হার্ডওয়্যার রিফ্রেশ এবং ভৌত নেটওয়ার্কিং অন্তর্ভুক্ত, যেখানে ব্রাজিলের মতো নতুন ডেটা সেন্টারগুলো বছরখানেক আগে থেকেই পরিকল্পিত হয়। নেটওয়ার্কিং দল নেটওয়ার্ক কেবল কাটার মতো সমস্যার পরেও নিরবচ্ছিন্ন অপারেশন নিশ্চিত করতে "ডার্ক" সক্ষমতাও বজায় রাখে।

আজকের রবলোক্সের সক্ষমতা দুই বছর আগে করা পূর্বাভাসের ওপর ভিত্তি করে তৈরি, যখন আমরা কয়েক সপ্তাহের মধ্যে অজানা থেকে ব্যাপক জনপ্রিয়তায় পরিণত হওয়া অভিজ্ঞতাগুলো পূর্বাভাস করতে পারিনি। Dress to Impress এবং Grow a Garden-এর মতো জনপ্রিয় গেমগুলো, যেগুলো এপ্রিলের ১৩.৯ মিলিয়ন থেকে জুন ২০২৫-এ ৩০.৬ মিলিয়ন পর্যন্ত Roblox-এর সর্বোচ্চ সমসাময়িক খেলোয়াড় সংখ্যা দ্বিগুণ করতে সাহায্য করেছে, তখনই অস্তিত্বই ছিল না যখন এই সক্ষমতা পূর্বাভাসগুলো তৈরি করা হয়েছিল। উদাহরণস্বরূপ, মার্চ ২০২৫-এ Dead Rails এক মিলিয়ন সমসাময়িক ব্যবহারকারী স্পাইক করে, সমস্ত উপলব্ধ CPU ক্ষমতা ব্যবহার করে। 

এই ধরনের জনপ্রিয়তার উত্থান থেকে শিক্ষা নিয়ে, আমরা আরও চটপটে পরিকল্পনা চক্রে চলে এসেছি। Roblox-এ রেকর্ড সংখ্যক খেলোয়াড়কে ধারাবাহিকভাবে সমর্থন করতে, ইঞ্জিনিয়ারিং বিভাগ পরিকল্পনা, পরীক্ষা এবং সক্ষমতা সমন্বয়ের একটি কঠোর সাপ্তাহিক চক্র অনুসরণ করে। সোমবার ঘটনা পর্যালোচনার জন্য নিবেদিত, এর পরে মঙ্গলবার সক্ষমতা পরিকল্পনা করা হয়। সপ্তাহজুড়ে, ক্রমাগত চাপ পরীক্ষা চলে। বৃহস্পতিবার আমাদের নির্মাতারা যে কোনো বড় আপডেটের জন্য প্রত্যাশা জানিয়েছেন, সেগুলোর জন্য সক্ষমতা পর্যালোচনায় ফোকাস করা হয়। শুক্রবার অতিরিক্ত ক্লাউড রিসোর্স সরবরাহ করা হয় যাতে প্ল্যাটফর্মটি সপ্তাহান্তের সর্বোচ্চ ব্যবহারের জন্য প্রস্তুত থাকে। সপ্তাহজুড়ে, আমরা সম্পূর্ণ নতুন ফিচার রিলিজ করতে থাকি, এবং আমরা সকল ইঞ্জিনিয়ারের ধারাবাহিক ডিপ্লয়মেন্ট লক করি না। 

থ্রটলিং কম্পিউটার বিজ্ঞানে একটি ব্যাপকভাবে গ্রহণযোগ্য ধারণা। কিন্তু এটি কম্পিউটার বিজ্ঞানের সবচেয়ে অপব্যবহৃত এবং ভুলভাবে বোঝা লিভার। যখন নতুন ইঞ্জিনিয়াররা Roblox-এ যোগ দেন, তাদের প্রথম সমাধানগুলো প্রায়ই এমন হয়, "যদি আমরা আমাদের নির্মাতাদের এই কনফিগটি সামঞ্জস্য করতে বা তাদের ইভেন্টগুলো ধীর করে দিতে বলতাম…"। এরপর অভিজ্ঞ Roblox ইঞ্জিনিয়াররা নম্রভাবে ব্যাখ্যা করেন যে সম্প্রদায়কে সম্মান করা আমাদের মূল্যবোধ এবং আমরা আমাদের নির্মাতাদের কী করতে হবে তা বলি না। 

উদাহরণস্বরূপ, অধিকাংশ গেমিং সিস্টেমে যখন লক্ষ লক্ষ খেলোয়াড় একসঙ্গে প্লে ক্লিক করে, তখন ম্যাচমেকিংয়ের জন্য একটি সহজ সমাধান থাকে। তারা যোগদান থ্রোটল করে, খেলোয়াড়দের অপেক্ষা করিয়ে রাখে, অথবা ম্যাচমেকিং অ্যালগরিদম এড়িয়ে এলোমেলো সার্ভারে পাঠিয়ে দেয়। Roblox-এ আমরা এর বিপরীত করি। আমরা প্রচণ্ড সংখ্যক খেলোয়াড়ের ঝাঁক সামলাতে আমাদের পুরো ম্যাচমেকিং সিস্টেম পুনরায় ডিজাইন করেছি। সর্বোচ্চ সময়ে, এই সিস্টেম প্রতি সেকেন্ডে ৪ বিলিয়ন সম্ভাব্য যোগদানের সমন্বয় মূল্যায়ন করে। বছর আগে, আমরা ১০ সেকেন্ডে ১০ মিলিয়ন যোগদানের লক্ষ্য নির্ধারণ করেছিলাম, এবং আমরা সেই লক্ষ্য অর্জনের জন্য ক্রমাগত পুনরাবৃত্তি করে চলেছি।

ধারণক্ষমতার কারণে থ্রটলিং এড়াতে, আমরা সেলুলার অবকাঠামোতে রূপান্তরের অংশ হিসেবে ক্লাউড বার্স্টিং পরীক্ষা-নিরীক্ষা করছি, যা গতিশীল এবং গণনামূলকভাবে দক্ষ স্কেলিং সম্ভব করে। এই স্থাপত্য চূড়ান্ত চাহিদা মোকাবেলা করে ব্যবহারকারীদের অন-প্রিমাইস এবং ক্লাউড এজ ডেটা সেন্টার সেল উভয়ের সাথে মিলিয়ে। আমরা এমন একটি সম্পূর্ণ স্বয়ংক্রিয় ক্লাউড-ভিত্তিক এজ ডেটা সেন্টার চালু ও বন্ধের দিকে কাজ করছি, যা মিলানোর অ্যালগরিদমের জন্য সম্পূর্ণরূপে বিমূর্ত।

আরেকটি উদাহরণ হল আমাদের টেক্সট-ফিল্টার সিস্টেম, যা সর্বোচ্চ সময় প্রতি সেকেন্ডে ২৫০,০০০টি অনুরোধ পরিচালনা করে। এটি একটি বড় মডেলের ইনফারেন্স, যা ক্রমাগত সম্প্রসারিত প্রসঙ্গ উইন্ডোতে ২৫০,০০০টি টোকেন চালায়। এবং প্রোডাকশনে ৩০০টিরও বেশি AI ইনফারেন্স পাইপলাইন চলার কারণে, Roblox-এর সার্ভিস মালিকরা GPU এবং CPU-এর মধ্যে ইনফারেন্স প্রোফাইলের আদর্শ মিশ্রণ খুঁজে পেতে অনেক সময় ব্যয় করেন। চরম লোডের সময়ও, Roblox ইঞ্জিনিয়াররা সম্প্রদায়ের প্রতি সম্মান প্রদর্শন করে, সৃজনশীলদের স্বাধীনতা এবং ব্যবহারকারীদের নিরাপত্তাকে অগ্রাধিকার দিয়ে।

আমাদের পরিকল্পনা অনুযায়ী, আমরা নির্মাতাদের সবচেয়ে আকর্ষণীয় আপডেটগুলিকে সমর্থন করার জন্য সক্ষমতা এবং অ্যালগরিদম তৈরি করি। কিন্তু আমাদের নিশ্চিত হতে হবে যে এই সিস্টেমগুলো সবচেয়ে বড় চূড়া বা একক সার্ভিস আউটেজও সামলাতে পারবে। ১,৬০০টিরও বেশি মাইক্রোসার্ভিসে সর্বোচ্চ ব্যবহার থেকে সংগৃহীত তথ্য আরও স্ট্রেস টেস্ট করার জন্য সার্ভিসগুলো চিহ্নিত করতে সাহায্য করে।

কাজ সম্পন্ন করার আমাদের মূলনীতির প্রতি সত্য থেকে, প্রতিদিন আমরা এই সেবাসমূহের কয়েকটি বেছে নিয়ে প্রোডাকশনে তাদের ক্ষমতা সীমিত করি। আমরা বৈশিষ্ট্যগুলো পর্যবেক্ষণ করি, তারপর সপ্তাহান্তের আগে সেগুলো ঠিক করি। আমরা এটিকে "টেস্ট অ্যাকচুয়াল ক্যাপাসিটি অন" (TACO) মঙ্গলবার বলি। আমাদের রিলায়েবিলিটি টিমও ধারাবাহিকভাবে ক্যাপাসিটি কারেক্টনেস (C3) পরিচালনা করে। প্রতিটি ইঞ্জিনিয়ারিং টিম তাদের সার্ভিসের CPU ক্যাপাসিটি পূর্বাভাস দিতে এবং পরিচালনা করতে C3 ড্যাশবোর্ড ব্যবহার করে। এটি সার্ভিস মালিকদের শেষ পিক থেকে ধারাবাহিকভাবে শিক্ষা নিতে এবং পরবর্তী পিকের জন্য ক্যাপাসিটি বৃদ্ধি বা হ্রাস করতে সক্ষম করে। আমরা নতুন রিলিজের জন্য কোর Roblox ইঞ্জিনে কল প্যাটার্ন ট্র্যাক করার একটি সিস্টেমও চালু করেছি। এটি আপডেটের সময় আমাদের আরও ভালোভাবে প্রস্তুত থাকতে সাহায্য করে। 

এই সমস্ত প্রস্তুতি সত্ত্বেও, মাঝে মাঝে এমন পরিস্থিতিতে পড়তে হয় যেখানে ট্র্যাফিক প্যাটার্নের অনিশ্চিত প্রকৃতি একটি একক সার্ভিস বা প্রোডাক্ট ফ্লোকে প্ল্যাটফর্ম ডাউন করার কারণ হতে পারে। উদাহরণস্বরূপ, একটি জনপ্রিয় আপডেটের কারণে ২ ট্রিলিয়ন ইভেন্ট অ্যানালিটিক্স পাইপলাইনে ৩০% বেশি ট্র্যাফিক আসতে পারে। এই ক্ষেত্রেই আমাদের স্থিতিস্থাপকতা ব্যবস্থা, যেমন অভিযোজিত সমান্তরালতা নিয়ন্ত্রণ (ACC), সার্কিট ব্রেকার এবং শেডিং রিট্রাই, প্ল্যাটফর্মকে সুরক্ষিত রাখতে কাজ করে। এই বছর, আমরা আমাদের অবকাঠামোর স্থিতিস্থাপকতা এবং স্কেলেবিলিটি শক্তিশালী করতে একটি বিশৃঙ্খলা-পরীক্ষা প্ল্যাটফর্ম তৈরি করেছি, যা প্রোডাকশনে এলোমেলোভাবে ত্রুটি ইনজেক্ট করে, রিসোর্স নিঃশেষ করে এবং প্রক্রিয়াগুলো এলোমেলোভাবে বন্ধ করে।

আমরা সারা সপ্তাহ এই বড় সপ্তাহান্তের আপডেটগুলোর জন্য পরীক্ষা-নিরীক্ষা ও প্রস্তুতিতে ব্যয় করি। কিন্তু সপ্তাহান্ত এলে, আমাদের এখনও কাজ বাকি থাকে। সপ্তাহান্তের আপডেটের আগে, Roblox ইঞ্জিনিয়াররা একসঙ্গে কাজ করে আসন্ন পরিবর্তনগুলো পর্যবেক্ষণ করে এবং অবশিষ্ট ক্ষমতার পূর্বাভাস দেয়, ভার্চুয়াল এজ ডেটা সেন্টারের মাধ্যমে লক্ষ লক্ষ অতিরিক্ত খেলোয়াড়কে সামলাতে প্রয়োজনে অতিরিক্ত ক্লাউড রিসোর্স বরাদ্দ করে। 

শুক্রবার আমরা সিদ্ধান্ত নিই ক্লাউড রিসোর্সের মাধ্যমে অতিরিক্ত ক্ষমতা যোগ করতে হবে কিনা। এই প্রক্রিয়া আমাদের হাইব্রিড ক্লাউড টিমকে লক্ষ লক্ষ অতিরিক্ত খেলোয়াড়কে সামলাতে পর্যাপ্ত অতিরিক্ত ক্ষমতা যোগাড় করার স্পষ্ট নির্দেশনা দেয়। যে কোনো সময়, আমাদের ২৪টি ভৌত এজ ডেটা সেন্টার চালু থাকে, কিন্তু সমস্ত পরীক্ষা-নিরীক্ষার পর, আমরা সিদ্ধান্ত নিতে পারি যে আমাদের অতিরিক্ত এজ ডেটা সেন্টারের প্রয়োজন। ১২ ঘন্টার মধ্যে সার্ভার র‌্যাক এবং স্ট্যাক করার কোনো উপায় নেই, তাই আমরা আমাদের ক্লাউড অংশীদারদের সাথে কাজ করে একাধিক ভার্চুয়াল এজ ডেটা সেন্টার তৈরি করি। আমরা সেগুলো শুক্রবার পরীক্ষা করি, এবং তারপর আমরা সপ্তাহান্তের জন্য প্রস্তুত। 

দায়িত্ব গ্রহণের প্রকৃত মনোভাব নিয়ে, আমাদের সর্বোচ্চ পর্যায়ের নির্বাহীরাও সহ সবাই অন-কল রোটেশনে অংশ নেন—সপ্তাহান্তেও। শনিবারে লক্ষ লক্ষ ব্যবহারকারীর ঢেউ প্রায়ই শত শত সতর্কবার্তা সক্রিয় করে। দলগুলো আগাম এসব সতর্কবার্তা সমাধান করে, যা আমাদের বড় আপডেট বা প্ল্যাটফর্ম-ব্যাপী সর্বকালের সর্বোচ্চ সময়ের চ্যালেঞ্জ মোকাবিলা করতে সক্ষম করে। 

লিওনার্দো দ্য ভিঞ্চি প্রায়ই বলেছিলেন, "শিক্ষা কখনোই মনকে ক্লান্ত করে না।" প্রতিটি শীর্ষ আমাদেরকে শিখতে এবং আমাদের অবকাঠামোকে আরও নির্ভরযোগ্য ও অদৃশ্য করতে নতুন কৌশল উদ্ভাবন করতে অনুপ্রাণিত করেছে। আমাদের নির্মাতারা প্রকাশ বা আপডেট করেন, এবং অদৃশ্য অবকাঠামোর জাদুর মাধ্যমে, কয়েক কোটি ব্যবহারকারী প্রায় সঙ্গে সঙ্গেই সম্পূর্ণ নতুন একটি অভিজ্ঞতা উপভোগ করতে শুরু করেন। কম্পিউটার বিজ্ঞানের সীমানা ছাড়িয়ে যেতে আমাদের চ্যালেঞ্জ করার জন্য আমরা আমাদের নির্মাতা ও ব্যবহারকারীদের চিরকৃতজ্ঞ।