Cube : une vision Roblox de l'intelligence 3D

Les modèles de base entraînés sur de vastes quantités de données ont démontré des capacités remarquables de raisonnement et de génération dans les domaines du texte, des images, de l'audio et de la vidéo. Chez Roblox, notre objectif est de construire un tel modèle de base pour l'intelligence 3D, un modèle capable d'aider les développeurs à produire tous les aspects d'une expérience Roblox, depuis la génération d'objets et de scènes 3D jusqu'à la mise en place de personnages pour l'animation, en passant par la production de scripts programmatiques décrivant les comportements des objets. Nous abordons trois exigences de conception clés pour un tel modèle de base 3D, puis présentons notre première étape vers la construction d'un tel modèle. Nous prévoyons que les formes géométriques 3D constitueront un type de données central et décrivons notre solution pour le tokeniseur de formes 3D. Nous montrons comment notre schéma de tokenisation peut être utilisé dans des applications de génération de forme à partir de texte, de génération de texte à partir de forme et de génération de scène à partir de texte. Nous démontrons comment ces applications peuvent collaborer avec les grands modèles linguistiques (LLM) existants pour effectuer l'analyse de scènes et le raisonnement. Nous concluons par une discussion décrivant notre cheminement vers la construction d'un modèle de base entièrement unifié pour l'intelligence 3D. Notre code et les poids de nos modèles sont disponibles à l'adresse suivante : https://github.com/Roblox/cube.