Introductie van de Roblox Hybrid Architecture: fotorealistische multiplayer-gaming voor iedereen

Vandaag delen we technisch inzicht in een intern project genaamd Roblox Reality, dat hyperscale multiplayer-gaming combineert met fotorealisme. Wij geloven dat dit een fundamentele verschuiving is in de manier waarop meeslepende multiplayer-werelden worden gecreëerd en ervaren. Roblox Reality, dat later dit jaar of begin volgend jaar in een vroege versie beschikbaar zal zijn, is een hybride architectuur die de gestructureerde simulatie van onze gedistribueerde Game Engine combineert met edge-gebaseerde Video World Models voor supersampling. Deze architectuur stelt makers van elke omvang in staat om interactieve werelden te creëren en te onderhouden die ongekende visuele getrouwheid en beweging combineren met traditionele persistentie en structuur, zonder dat de ontwikkelingskosten stijgen.

Roblox Reality is een hybride architectuur die de mogelijkheden van de Roblox Cloud en Game Engine combineert met het fotorealisme van Video World Models. De kernstatus van de wereld wordt duurzaam en efficiënt opgeslagen op de server om consistentie tussen clients te waarborgen en consistentie in de tijd, sessies en dagen te ondersteunen met behulp van kosten- en ruimte-efficiënte opslag. Multiplayer-gameplay wordt ondersteund via sterke serverautoriteit voor eerlijkheid en consistentie, naast speculatieve simulatie aan de clientzijde om een lage latentie te bereiken. Voor het renderen genereren cloudgebaseerde Level of Detail (LOD)- en compositiesystemen high-fidelity-assets die worden geleverd via een Content Delivery Network (CDN). Het Roblox Video Model (Super Upsampler) maakt gebruik van gerenderde video en de rijke context van het datamodel om stochastische beelden en opvallend realisme te produceren, waarbij het op de edge werkt voor elke speler met optimale prestaties, aangedreven door cloud-edge GPU-infrastructuur. De rijke Roblox-client zou deze videofeed vervolgens renderen en, in de toekomst, optioneel een lokaal gerenderde, opgeschaalde avatar eroverheen leggen om een zeer lage latentie bij acties op de voorgrond te behouden.

In de onderstaande demo's tonen we vier video's van verschillende games, waaronder Grow a Garden en Summon Heroes. De video linksboven is Roblox-content die vandaag is opgenomen met de Roblox-rendering-engine, de video rechtsboven is een weergave van de 3D-data die we kunnen gebruiken om de videogeneratie te sturen. De video linksonder toont het huidige Roblox-upsample-videomodel dat in ons lab draait, dat nog niet in realtime werkt, en de video rechtsonder toont een mockup van onze productvisie en wat er in de toekomst mogelijk is met deze technologie.

Video World Models: sterke punten en beperkingen

Video World Models blinken uit in het genereren van aannemelijk, hoogdimensionaal gedrag zonder dat elke individuele interactie expliciet hoeft te worden gesimuleerd.

Het gebruik van videowereldmodellen binnen de latente videoruimte kent specifieke technische beperkingen: het proces is momenteel kostbaar en het realiseren van hoogwaardige realtimeprestaties, zoals een resolutie van 2K bij 60 Hz, blijft een uitdaging voor de ontwikkeling. Cruciaal is dat, met de wereldtoestand weergegeven in de videoruimte, deze modellen momenteel niet geschikt zijn voor meerdere spelers. Een belangrijke beperking is de verhouding tussen de getrouwheid van de simulatie en de visuele plausibiliteit: het feit dat je 500 mensen in een video ziet bewegen, betekent niet dat het om geïndividualiseerde actoren of "avatars met hersenen" gaat. Er wordt niet verwacht dat de huidige schaal van videomodellen inherent de complexe, geïndividualiseerde actorsimulatie zal ondersteunen die nodig is voor een echte multiplayer-ervaring.

Deze capaciteit is cruciaal bij het beheren van een levendige menigte van 20.000 mensen die in realtime reageren. Maar een videowereldmodel alleen kan de interacties tussen meerdere spelers gedurende een sessie van twee uur niet betrouwbaar beheren. Een wereldmodel heeft moeite met strikte handhaving van regels en een persistente toestand vanwege een gebrek aan langetermijngeheugen en consistente logica. Videowereldmodellen missen gegevens voor de besturing van gebruikersinvoer, en daarom is het spelen van een videowereldmodel niet leuk. Omdat videowereldmodellen moeite hebben met een blijvende toestand, consistente logica, besturing van gebruikersinvoer en echte multiplayer-agentsimulatie, lijken de huidige modellen meer op geleide dromen.

De interactieve videomodellen die we vandaag de dag zien, zijn indrukwekkend, maar in feite levendige dromen – spectaculair om naar te kijken, maar vluchtig en ongelooflijk eenzaam. Ze missen interactiviteit, uitdaging, beloning en persistentie – alles wat een game tot een game maakt. 

Zuivere neurale wereldmodellen alleen kunnen de belofte van een uitgebreide, persistente multiplayer-ervaring niet waarmaken. Hoewel neurale wereldmodellen in veel opzichten indrukwekkend zijn, schieten ze op veel cruciale gebieden tekort. Enkele voorbeelden hiervan zijn coherentie in de tijd binnen een enkele sessie, langetermijngeheugen tussen sessies, latentie en fijnmazige controle door de maker. Minder voor de hand liggende hiaten komen naar voren als je nadenkt over consistente multiplayer-simulatie, veeleisende competitieve gameplay, zeer intelligente NPC's, testen en incrementele verfijning.

We moeten niet van een neurale engine verwachten dat deze een game-engine wordt. 

Game-engines: sterke punten en beperkingen

De Roblox Cloud en Engine vormen een sterke aanvulling op Video World Models. Met herhaalbare precisie, een consistente status tussen sessies en persistentie in de tijd. Neem bijvoorbeeld een maker die een Formule 1-game voor de Grand Prix van Monaco bouwt. Deze modelleert veeleisende score- en strafsystemen, wegen, menigten, natuur en onmiddellijke synchronisatie tussen meerdere coureurs. Deze precisie brengt echter implementatie- en runtime-kosten met zich mee. Het verhogen van de visuele getrouwheid vereist zware assets, complexe belichting en simulatie.

In het komende decennium zullen high-end game-engines steeds realistischer worden, maar dat geldt ook voor de eisen die aan de vaardigheden van ontwikkelaars en de hardware van consumenten worden gesteld. 

De uitdaging waar de industrie tot nu toe geen oplossing voor heeft gevonden, is hoe hyperrealisme op grote schaal kan worden geleverd, terwijl het toegankelijk blijft voor zowel grote als kleine ontwikkelaars en op algemeen beschikbare consumentenhardware.

Dit komt doordat de echte wereld uiterst gedetailleerd is. Rondom de kern van de game bevindt zich al het andere: ongescripte, naturalistische elementen zoals grassprieten, bladeren en takken die zachtjes in de wind wuiven, stofwolken die achter de auto's opstijgen en wervelen, gloeiende sintels en vonken die uit een vuur schieten, en regendruppels die zachtjes in een olieachtige, iriserende plas spatten. Deze content is zeer moeilijk te maken en te renderen. Traditionele game-engines hebben moeite met deze visuele complexiteit en zoeken naar snelkoppelingen om een eenvoudiger realisme vast te leggen, aangezien de geheugenbelasting voor texturen en geometrie met hoge resolutie de beschikbare middelen onder druk zet. De simulatiekosten lopen ook exorbitant op door de volumetrische belichting, binaurale audio, fysica en karaktersimulatie die samen het fotorealisme vormen.

Wij geloven dat de beste manier voor makers om deze complexiteit te bouwen en voor engines om deze weer te geven, het gebruik van een hybride architectuur is, waarin een post-getraind Video World Model texturen, belichting en fijnschalige dynamiek genereert bovenop de onderliggende camerabeweging, geometrie en contextuele toestand van de engine.

De architectuur: gamelogica en videopixels synchroniseren

Wij zijn van mening dat een hybride aanpak nodig is om makers in staat te stellen hoogwaardige multiplayer-interactie te bieden met fotorealistische output. We noemen deze aanpak Roblox Reality, die de Roblox Game Engine, Roblox Cloud en een Super Upsampler Roblox Video World Model combineert.

De hybride architectuur van Roblox Reality verdeelt de verantwoordelijkheden tussen de Roblox Game Engine en het Roblox Video World Model. 

De Roblox Game Engine behandelt de gestructureerde en logische aspecten van de wereld en biedt stabiel langetermijngeheugen, symbolische logica en herhaalbare simulatie. Deze is ook verantwoordelijk voor fundamentele fysieke bewerkingen zoals botsingen en gedragingen. De primaire beweging van objecten wordt beheerd in de engine, bijvoorbeeld de locatie en snelheid van een auto, de wielen, schokdempers en besturing. Voortbouwend hierop voegt het Video World Model extra visuele en generatieve componenten toe, zoals de waterdruppels die langs de voorruit stromen en het ritselen van bladeren terwijl de auto voorbij raast, wat adembenemende beelden oplevert. Deze aanpak stelt de Game Engine in staat om het datamodel (de gedeelde en consistente toestand) te onderhouden, terwijl het Video World Model de pixels (de visuele droom) genereert.

Samen ondersteunt dit platform oneindige contentcreatie met uitgebreide controle voor makers.

Onze ontwikkelingsdoelen voor Roblox Reality omvatten het creëren van een Roblox-videomodel dat in staat is om een resolutie van 2K bij 60 Hz te leveren door de bron van waarheid uit de Roblox Game Engine te halen: zowel gerenderde video als 3D-ruimtelijke gegevens. Roblox Reality zal worden geoptimaliseerd om te draaien op cloud edge GPU-infrastructuur in combinatie met videostreaming, terwijl het uiteindelijk zal worden geïntegreerd met de Roblox-client om lokale avatarbesturing en simulatie te ondersteunen.

Samenvatting

Roblox Reality betekent een grote stap in het democratiseren van creatie, waardoor elke maker fotorealistische games kan bouwen door gebruik te maken van de Roblox Game Engine en het videomodel, waardoor de ontwikkelingstijd, kosten en rekenkracht die traditioneel nodig zijn voor high-fidelity graphics aanzienlijk worden verminderd. Dit maakt het maken van fotorealistische games sneller en efficiënter qua kosten en rekenkracht voor onze makers. Gezien de hoge rekenkosten beseffen we dat er uitdagingen zijn die we moeten oplossen voordat we de Roblox Reality-architectuur kunnen opschalen. We werken al aan oplossingen om deze architectuur te optimaliseren en efficiënter te maken, zodat we deze op een betaalbare manier kunnen opschalen naar miljoenen gelijktijdige spelers.

Maar bovenal zijn we enthousiast om een platform te bouwen dat games mogelijk maakt waarmee onze makers geweldige fotorealistische multiplayer-ervaringen kunnen creëren!