Cube: Pandangan Roblox tentang Kecerdasan 3D

Model dasar yang dilatih menggunakan data dalam jumlah sangat besar telah menunjukkan kemampuan penalaran dan generasi yang luar biasa dalam bidang teks, gambar, audio, dan video. Tujuan kami di Roblox adalah membangun model dasar semacam itu untuk kecerdasan 3D, sebuah model yang dapat mendukung pengembang dalam menghasilkan semua aspek pengalaman Roblox, mulai dari membuat objek dan adegan 3D hingga merancang karakter untuk animasi hingga membuat skrip terprogram yang menggambarkan perilaku objek. Kami membahas tiga persyaratan desain utama untuk model dasar 3D semacam itu dan kemudian memaparkan langkah pertama kami dalam membangun model tersebut. Kami memperkirakan bahwa bentuk geometris 3D akan menjadi tipe data inti dan menjelaskan solusi kami untuk tokenizer bentuk 3D. Kami menunjukkan bagaimana skema tokenisasi kami dapat digunakan dalam aplikasi untuk generasi teks-ke-bentuk, generasi bentuk-ke-teks, dan generasi teks-ke-adegan. Kami mendemonstrasikan bagaimana aplikasi-aplikasi ini dapat berkolaborasi dengan model bahasa besar (LLMs) yang ada untuk melakukan analisis adegan dan penalaran. Kami menyimpulkan dengan pembahasan yang menguraikan jalur kami dalam membangun model fondasi yang sepenuhnya terpadu untuk kecerdasan 3D. Kode dan bobot model kami dapat ditemukan di: https://github.com/Roblox/cube.