Cube: Eine Roblox-Perspektive auf 3D-Intelligenz

Grundlagemodelle, die auf riesigen Datenmengen trainiert wurden, haben bemerkenswerte Fähigkeiten im Bereich der Schlussfolgerung und Generierung in den Bereichen Text, Bilder, Audio und Video gezeigt. Unser Ziel bei Roblox ist es, ein solches Grundlagemodell für 3D-Intelligenz zu entwickeln – ein Modell, das Entwickler bei der Erstellung aller Aspekte einer Roblox-Erfahrung unterstützen kann, von der Generierung von 3D-Objekten und Szenen über das Rigging von Charakteren für Animationen bis hin zur Erstellung von Skripten, die das Verhalten von Objekten beschreiben. Wir erörtern drei zentrale Designanforderungen für ein solches 3D-Grundmodell und stellen anschließend unseren ersten Schritt zur Entwicklung eines solchen Modells vor. Wir gehen davon aus, dass 3D-geometrische Formen einen zentralen Datentyp darstellen werden, und beschreiben unsere Lösung für einen 3D-Form-Tokenizer. Wir zeigen, wie unser Tokenisierungsschema in Anwendungen zur Text-zu-Form-, Form-zu-Text- und Text-zu-Szene-Generierung eingesetzt werden kann. Wir demonstrieren, wie diese Anwendungen mit bestehenden großen Sprachmodellen (LLMs) zusammenarbeiten können, um Szenenanalysen und Schlussfolgerungen durchzuführen. Wir schließen mit einer Diskussion, in der wir unseren Weg zum Aufbau eines vollständig einheitlichen Grundmodells für 3D-Intelligenz skizzieren. Unser Code und unsere Modellgewichte sind zu finden unter: https://github.com/Roblox/cube.