Cube: una visione Roblox dell'intelligenza 3D

I modelli di base addestrati su enormi quantità di dati hanno dimostrato notevoli capacità di ragionamento e generazione nei domini di testo, immagini, audio e video. Il nostro obiettivo in Roblox è quello di costruire un modello di base di questo tipo per l'intelligenza 3D, un modello in grado di supportare gli sviluppatori nella produzione di tutti gli aspetti di un'esperienza Roblox, dalla generazione di oggetti e scene 3D al rigging dei personaggi per l'animazione, fino alla produzione di script programmatici che descrivono i comportamenti degli oggetti. Discutiamo tre requisiti di progettazione chiave per un tale modello di base 3D e presentiamo poi il nostro primo passo verso la creazione di tale modello. Prevediamo che le forme geometriche 3D saranno un tipo di dati fondamentale e descriviamo la nostra soluzione per il tokenizzatore di forme 3D. Mostriamo come il nostro schema di tokenizzazione possa essere utilizzato in applicazioni per la generazione da testo a forma, da forma a testo e da testo a scena. Dimostriamo come queste applicazioni possano collaborare con i modelli linguistici di grandi dimensioni (LLM) esistenti per eseguire analisi e ragionamenti sulle scene. Concludiamo con una discussione che delinea il nostro percorso verso la costruzione di un modello di base completamente unificato per l'intelligenza 3D. Il nostro codice e i pesi del modello sono disponibili all'indirizzo: https://github.com/Roblox/cube.