Cube: Uma visão do Roblox sobre inteligência 3D

Modelos de base treinados com vastas quantidades de dados demonstraram notáveis capacidades de raciocínio e geração nos domínios de texto, imagens, áudio e vídeo. Nosso objetivo na Roblox é construir um modelo de base para inteligência 3D, um modelo que possa apoiar os desenvolvedores na produção de todos os aspectos de uma experiência Roblox, desde a geração de objetos e cenas 3D até a montagem de personagens para animação e a produção de scripts programáticos que descrevam comportamentos de objetos. Discutimos três requisitos-chave de design para tal modelo de base 3D e, em seguida, apresentamos nosso primeiro passo para a construção desse modelo. Esperamos que formas geométricas 3D sejam um tipo de dados central e descrevemos nossa solução para o tokenizador de formas 3D. Mostramos como nosso esquema de tokenização pode ser usado em aplicações para geração de texto para forma, geração de forma para texto e geração de texto para cena. Demonstramos como essas aplicações podem colaborar com grandes modelos de linguagem (LLMs) existentes para realizar análise de cena e raciocínio. Concluímos com uma discussão delineando nosso caminho para a construção de um modelo de base totalmente unificado para inteligência 3D. Nosso código e pesos do modelo podem ser encontrados em: https://github.com/Roblox/cube.