Cube: 로블록스 관점에서 본 3D 인텔리전스

방대한 양의 데이터로 훈련된 파운데이션 모델은 텍스트, 이미지, 오디오 및 비디오 분야에서 놀라운 추론 및 생성 능력을 입증해 왔습니다. Roblox의 목표는 3D 인텔리전스를 위한 이러한 파운데이션 모델을 구축하는 것입니다. 이 모델은 3D 오브젝트 및 장면 생성부터 애니메이션을 위한 캐릭터 리깅, 오브젝트 동작을 기술하는 프로그래밍 스크립트 제작에 이르기까지 Roblox 경험의 모든 측면을 개발자가 제작할 수 있도록 지원할 수 있어야 합니다. 우리는 이러한 3D 파운데이션 모델을 위한 세 가지 핵심 설계 요건을 논의한 후, 해당 모델 구축을 위한 첫 단계를 제시합니다. 3D 기하학적 형상이 핵심 데이터 유형이 될 것으로 예상하며, 3D 형상 토큰화기에 대한 우리의 솔루션을 설명합니다. 또한 우리의 토큰화 방식이 텍스트-형상 생성, 형상-텍스트 생성, 텍스트-씬 생성 애플리케이션에서 어떻게 활용될 수 있는지 보여줍니다. 또한 이러한 응용 프로그램들이 기존 대규모 언어 모델(LLM)과 어떻게 협업하여 장면 분석 및 추론을 수행할 수 있는지 시연합니다. 마지막으로 3D 지능을 위한 완전히 통합된 기초 모델을 구축하기 위한 우리의 로드맵을 논의하며 결론을 맺습니다. 우리의 코드와 모델 가중치는 https://github.com/Roblox/cube에서 확인할 수 있습니다.