Maak kennis met Roblox Cube: ons belangrijkste generatieve AI-systeem voor 3D en 4D

• We brengen ons Cube 3D-basismodel voor generatieve AI uit.
• We maken ook een versie van het Cube 3D-basismodel open source.
• De bètaversie van Cube 3D-meshgeneratie – in Roblox Studio en als een Lua-API binnen de ervaring – komt deze week beschikbaar. 

Afgelopen najaar kondigden we een ambitieus project aan om een open-source 3D-basismodel te bouwen voor het creëren van 3D-objecten en -scènes op Roblox. Deze week maken we de eerste release van dit model open source, zodat het voor iedereen op en buiten het Roblox-platform beschikbaar is op zowel GitHub als HuggingFace. We hebben dit model Cube 3D genoemd. We lanceren ook de eerste van zijn mogelijkheden, met de bètalancering van onze mesh-generatie-API. Cube zal de basis vormen voor veel van de AI-tools die we de komende jaren zullen ontwikkelen, waaronder zeer complexe tools voor het genereren van scènes. Het zal uiteindelijk een multimodaal model worden, getraind op tekst, afbeeldingen, video en andere soorten input, en het zal worden geïntegreerd met onze bestaande AI-creatietools.

Cube 3D genereert 3D-modellen en -omgevingen rechtstreeks op basis van tekst en, in de toekomst, beeldinput. Tegenwoordig maakt state-of-the-art 3D-generatie gebruik van afbeeldingen en een reconstructiemethode om 3D-objecten te bouwen. Dit is een goede optie wanneer er onvoldoende 3D-trainingsdata beschikbaar is. Dankzij de aard van ons platform trainen we echter op native 3D-data. Het gegenereerde object is volledig compatibel met de huidige game-engines en kan worden uitgebreid om objecten functioneel te maken. 

Het verschil hier is vergelijkbaar met een filmset van een racecircuit. Op tv zie je misschien iets dat eruitziet als een volledig functioneel racecircuit, met tribunes, garages en een victory lane. Maar als je op die set zou rondlopen, zou je al snel beseffen dat de constructies in werkelijkheid plat zijn. Het bouwen van een echt meeslepende 3D-wereld vereist complete, functionele constructies, met garages waar je in kunt rijden, tribunes waar je op kunt zitten en een victory lane met een functioneel podium.

Om dit te bereiken, hebben we ons laten inspireren door geavanceerde modellen die zijn getraind op teksttokens (of sets van tekens), zodat ze het volgende token kunnen voorspellen om een zin te vormen. Onze innovatie bouwt voort op hetzelfde kernidee. We hebben de mogelijkheid ontwikkeld om 3D-objecten te tokeniseren en vormen als tokens te begrijpen, en we hebben Cube 3D getraind om het volgende vormtoken te voorspellen om zo een compleet 3D-object te bouwen. Wanneer we dit uitbreiden naar het genereren van volledige scènes, voorspelt Cube 3D vervolgens de lay-out en voorspelt het recursief de vorm om die lay-out te voltooien.

Iedereen kan Cube 3D zelf afstemmen, plug-ins voor ontwikkelen of trainen op basis van eigen data om aan zijn of haar behoeften te voldoen. Wij geloven dat AI-tools moeten zijn gebaseerd op openheid en transparantie, en daarom zijn wij een toegewijde partner in de open-source AI-gemeenschap. We hebben een van onze AI-veiligheidsmodellen vrijgegeven omdat we er sterk van overtuigd zijn dat het delen van vooruitgang op het gebied van AI-veiligheid de hele sector helpt om innovatie en technische vooruitgang te versnellen. Om deze reden hebben we ook geholpen bij de oprichting van ROOST, een nieuwe non-profitorganisatie die zich toelegt op het aanpakken van belangrijke gebieden binnen digitale veiligheid met open-source veiligheidstools. Met het open-sourcen van Cube 3D is het ons doel om onderzoekers, ontwikkelaars en de bredere AI-gemeenschap in staat te stellen om 3D-generatie sectorbreed te leren, uit te breiden en te bevorderen.

Cube 3D voor creatie

We hebben eerder gesproken over hoe AI het creëren van 3D-assets, accessoires en ervaringen kan versnellen. Uiteindelijk zal AI nog meeslepender en gepersonaliseerde gameplay en verbindingen mogelijk maken. We investeren in infrastructuur om AI in elke fase van de creatiecyclus te ondersteunen – zowel voor de ontwikkelaars van deze ervaringen als voor de gebruikers die er tijd in doorbrengen. We voorzien een toekomst waarin ontwikkelaars hun gebruikers nieuwe manieren bieden om te creëren door AI in hun ervaringen te integreren. Dit legt de kracht van AI in de handen van meer dan 85 miljoen dagelijkse actieve gebruikers als onderdeel van hun gameplay.

Het afgelopen jaar hebben we verschillende nieuwe functies geïntroduceerd via onze AI-aangedreven Assistant binnen Roblox Studio om ontwikkelaars de tools en mogelijkheden te bieden die ze nodig hebben om te creëren en uren aan handmatig werk te elimineren. Met Cube willen we 3D-creatie efficiënter maken. Met 3D-meshgeneratie kunnen ontwikkelaars snel nieuwe creatieve richtingen verkennen en hun productiviteit verhogen door snel te beslissen waarmee ze verder willen gaan.

Stel je voor dat je een racegame bouwt. Vandaag de dag kun je de Mesh Generation API binnen de Assistant gebruiken door een korte opdracht in te voeren, zoals “/generate a motorcycle” of “/generate orange safety cone.” Binnen enkele seconden genereert de API een mesh-versie van deze objecten. Deze kunnen vervolgens worden uitgewerkt met textuur, kleur, enz. Met deze API kun je rekwisieten modelleren of je ruimte veel sneller ontwerpen – je hoeft geen uren te besteden aan het modelleren van eenvoudige objecten. Zo kun je je concentreren op de leuke dingen, zoals het ontwerpen van de baanlay-out en het verfijnen van de besturing van de auto. Deze API bespaart je uren per gemaakt object en geeft je die tijd terug om te experimenteren met nieuwe ideeën zonder je zorgen te maken over te veel tijd of moeite. Op de langere termijn zijn we van plan om complexere en functionelere objecten, en zelfs scènes, mogelijk te maken.

Achter de schermen: kruisreactie tussen 3D- en tekst-/afbeeldingstokens

De belangrijkste technische uitdaging was om tekst en afbeeldingen te koppelen aan 3D-vormen. Onze belangrijkste technische doorbraak is 3D-tokenisatie, waarmee we 3D-objecten als tokens kunnen weergeven, net zoals tekst als tokens kan worden weergegeven. Dit stelt ons in staat om de volgende vorm te voorspellen, net zoals taalmodellen het volgende woord in een zin voorspellen.

Om 3D-generatie te realiseren, hebben we een uniforme architectuur ontworpen voor autoregressieve generatie van afzonderlijke objecten, vormaanvulling en generatie van lay-outs met meerdere objecten of scènes. Autoregressieve transformers zijn neurale netwerken die eerdere inputs gebruiken om de volgende component te voorspellen. Deze architectuur biedt zowel schaalbaarheid als multimodale compatibiliteit, zodat het model bij uitbreiding met veel verschillende soorten input (tekst, beeld, audio en 3D) kan werken. We maken dit model open source. In deze eerste fase kunnen makers 3D-objecten genereren op basis van tekstprompts. Op termijn willen we dat makers complete scènes kunnen genereren op basis van multimodale inputs.

Om een generatieve, vooraf getrainde transformator (GPT) te trainen voor het genereren van vormen, gebruiken we discrete 3D-vormtokens en stemmen we deze af op tekstprompts. Deze vernieuwende aanpak bereidt ons voor op de wereld van het genereren van 3D-scènes die speelbaar zijn.

Waar Cube naartoe gaat

Tegenwoordig gebruikt een groot deel van de wereld AI voor tekst, om woorden in een zin te voorspellen. Velen gebruiken het ook voor afbeeldingen, om pixels te voorspellen. Dit wordt veel complexer bij het creëren van scènes, waar al deze elementen samenkomen en in context met elkaar moeten werken. Stel je bijvoorbeeld een ervaring voor met een eenvoudige scène die kan worden omschreven als "een avatar op een motorfiets voor een racebaan met bomen". 

Er komen veel elementen kijken bij het bouwen van deze ervaring. De bomen zijn een combinatie van twee 3D-meshes, de motorfiets is een dichte mesh met details en driehoeken, en de gebouwen bestaan uit Roblox-onderdelen. De avatar op de motorfiets heeft complexere geometrische kenmerken voor zijn lichaam, ledematen en hoofd. Ten slotte hebben we een manier nodig om dit alles samen te brengen in een lay-out. Daarvoor hebben we bounding boxes nodig, die de omtrek van een object aangeven om de grootte en locatie te bepalen, zodat we weten hoe we deze geometrie moeten rangschikken. Dit is een moeizaam proces, maar AI kan bij elke stap helpen. Met AI kunnen makers sneller tot de eerste versie komen en hebben ze meer tijd om nieuwe ideeën te testen of hun scène te verfijnen. 

Als we zover zijn, willen we dat de 3D-objecten en scènes die we maken volledig functioneel zijn. We noemen dit 4D-creatie, waarbij de vierde dimensie de interactie is tussen objecten, omgevingen en mensen. Om dit te bereiken is niet alleen het vermogen nodig om meeslepende 3D-objecten en scènes te bouwen, maar ook om de contexten en relaties tussen die objecten te begrijpen. Dit is waar we naartoe werken met Cube. 

Naast deze eerste use case van mesh-generatie zijn we van plan om uit te breiden naar het genereren en begrijpen van scènes. We zullen gebruikers de ervaringen kunnen bieden waarin ze het meest geïnteresseerd zijn en scènes kunnen verrijken door objecten in de juiste context toe te voegen. In een ervaring met een boslandschap zou een ontwikkelaar bijvoorbeeld de Assistent kunnen vragen om alle weelderige groene bladeren aan de bomen te vervangen door herfstbladeren om de seizoenswisseling aan te geven. Onze AI-Assistent-tools reageren op verzoeken van de ontwikkelaar en helpen hen om hun ervaringen snel te creëren, aan te passen en op te schalen. 

We zullen updates en nieuwe functionaliteiten delen naarmate we ons basismodel blijven verbeteren en uitbreiden. Tot die tijd hopen we dat u veel plezier beleeft aan het gebruik van en het bouwen op onze open-sourceversie van het Cube 3D-model, dat u kunt vinden op GitHub en HuggingFace.