Cube: Una visión de Roblox sobre la inteligencia 3D

Los modelos base entrenados con grandes cantidades de datos han demostrado unas capacidades de razonamiento y generación extraordinarias en los ámbitos del texto, las imágenes, el audio y el vídeo. Nuestro objetivo en Roblox es crear un modelo base de este tipo para la inteligencia 3D, un modelo que pueda ayudar a los desarrolladores a crear todos los aspectos de una experiencia Roblox, desde la generación de objetos y escenas 3D hasta el rigging de personajes para la animación, pasando por la producción de scripts programáticos que describan el comportamiento de los objetos. Analizamos tres requisitos de diseño clave para dicho modelo base 3D y, a continuación, presentamos nuestro primer paso hacia la construcción de dicho modelo. Esperamos que las formas geométricas 3D sean un tipo de datos fundamental y describimos nuestra solución para el tokenizador de formas 3D. Mostramos cómo nuestro esquema de tokenización puede utilizarse en aplicaciones para la generación de texto a forma, de forma a texto y de texto a escena. Demostramos cómo estas aplicaciones pueden colaborar con los grandes modelos de lenguaje (LLM) existentes para realizar análisis de escenas y razonamiento. Concluimos con un debate en el que esbozamos nuestro camino hacia la construcción de un modelo base totalmente unificado para la inteligencia 3D. Nuestro código y los pesos del modelo se pueden encontrar en: https://github.com/Roblox/cube.