Cube: een Roblox-visie op 3D-intelligentie

Basismodellen die zijn getraind op basis van enorme hoeveelheden data hebben opmerkelijke redeneer- en generatiecapaciteiten getoond op het gebied van tekst, afbeeldingen, audio en video. Ons doel bij Roblox is om een dergelijk basismodel voor 3D-intelligentie te bouwen, een model dat ontwikkelaars kan ondersteunen bij het produceren van alle aspecten van een Roblox-ervaring, van het genereren van 3D-objecten en scènes tot het riggen van personages voor animatie en het produceren van programmatische scripts die het gedrag van objecten beschrijven. We bespreken drie belangrijke ontwerpvereisten voor een dergelijk 3D-basismodel en presenteren vervolgens onze eerste stap in de richting van het bouwen van een dergelijk model. We verwachten dat 3D-geometrische vormen een kerngegevenstype zullen zijn en beschrijven onze oplossing voor een 3D-vormtokenizer. We laten zien hoe ons tokenisatieschema kan worden gebruikt in toepassingen voor het genereren van tekst naar vorm, vorm naar tekst en tekst naar scène. We laten zien hoe deze toepassingen kunnen samenwerken met bestaande grote taalmodellen (LLM's) om scèneanalyse en redenering uit te voeren. We sluiten af met een bespreking waarin we onze weg naar het bouwen van een volledig verenigd basismodel voor 3D-intelligentie schetsen. Onze code en modelgewichten zijn te vinden op: https://github.com/Roblox/cube.