3D
Artificial Intelligence
《Cube:從 Roblox 視角探討 3D 智能》
Author
Venue
Abstract
基於海量數據訓練的基礎模型,已在文字、圖像、音訊及影片領域展現出卓越的推理與生成能力。Roblox 的目標是打造一款專為 3D 智能設計的基礎模型,該模型能協助開發者建構 Roblox 體驗的各個面向,從生成 3D 物件與場景、為角色進行動畫骨架設定,到編寫描述物件行為的程式化腳本。 本文將探討此類 3D 基礎模型的三項關鍵設計要求,並介紹我們朝此目標邁出的第一步。我們預期 3D 幾何形狀將成為核心資料類型,並闡述我們針對 3D 形狀分詞器的解決方案。我們將展示此分詞方案如何應用於文字轉形狀、形狀轉文字及文字轉場景的生成任務。 我們將展示這些應用如何與現有的大型語言模型(LLMs)協作,以執行場景分析與推理。最後,我們將闡述建構完整統一的 3D 智能基礎模型的發展路徑。我們的程式碼與模型權重可於以下連結取得:https://github.com/Roblox/cube。
