Cube: Cái nhìn của Roblox về trí tuệ 3D

Các mô hình nền tảng được huấn luyện trên lượng dữ liệu khổng lồ đã chứng tỏ khả năng suy luận và tạo ra nội dung đáng kinh ngạc trong các lĩnh vực văn bản, hình ảnh, âm thanh và video. Mục tiêu của chúng tôi tại Roblox là xây dựng một mô hình nền tảng như vậy cho trí tuệ 3D, một mô hình có thể hỗ trợ các nhà phát triển trong việc tạo ra mọi khía cạnh của trải nghiệm Roblox, từ việc tạo ra các đối tượng và cảnh 3D đến việc thiết lập nhân vật cho hoạt hình và tạo ra các kịch bản lập trình mô tả hành vi của đối tượng. Chúng tôi thảo luận về ba yêu cầu thiết kế chính cho mô hình nền tảng 3D này và sau đó trình bày bước đầu tiên trong việc xây dựng mô hình đó. Chúng tôi dự đoán rằng các hình dạng hình học 3D sẽ là loại dữ liệu cốt lõi và mô tả giải pháp của chúng tôi cho bộ mã hóa hình dạng 3D. Chúng tôi trình bày cách phương án mã hóa này có thể được áp dụng trong các ứng dụng tạo hình dạng từ văn bản, tạo văn bản từ hình dạng và tạo cảnh từ văn bản. Chúng tôi minh họa cách các ứng dụng này có thể hợp tác với các mô hình ngôn ngữ lớn (LLMs) hiện có để thực hiện phân tích cảnh và suy luận. Chúng tôi kết luận bằng một cuộc thảo luận phác thảo lộ trình của chúng tôi để xây dựng một mô hình nền tảng hoàn toàn thống nhất cho trí tuệ 3D. Mã nguồn và trọng số mô hình của chúng tôi có thể được tìm thấy tại: https://github.com/Roblox/cube.