क्यूब: 3D बुद्धिमत्तेचा Roblox दृश्य

विशाल प्रमाणात डेटावर प्रशिक्षित फाउंडेशन मॉडेल्सनी मजकूर, प्रतिमा, ऑडिओ आणि व्हिडिओ या क्षेत्रांमध्ये उल्लेखनीय तर्कशक्ती आणि निर्मिती क्षमता दाखवली आहे. Roblox येथे आमचे उद्दिष्ट 3D बुद्धिमत्तेसाठी असा फाउंडेशन मॉडेल तयार करणे आहे, जो Roblox अनुभव तयार करण्याच्या सर्व पैलूंमध्ये विकासकांना सहाय्य करू शकेल – 3D वस्तू आणि दृश्ये तयार करण्यापासून, अॅनिमेशनसाठी पात्रे रिग करण्यापर्यंत, व वस्तूंच्या वर्तनाचे वर्णन करणाऱ्या प्रोग्रामॅटिक स्क्रिप्ट्स तयार करण्यापर्यंत. अशा 3D फाउंडेशन मॉडेलसाठी तीन मुख्य डिझाइन आवश्यकता आम्ही चर्चित करतो आणि नंतर अशा मॉडेलच्या निर्मितीच्या दिशेतील आमचे पहिले पाऊल मांडतो. आम्ही अपेक्षा करतो की 3D भूमितीय आकार हे एक मुख्य डेटा प्रकार असेल आणि 3D आकार टोकनायझरसाठी आमचे समाधान वर्णन करतो. आमची टोकनायझेशन योजना टेक्स्ट-टू-शेप जनरेशन, शेप-टू-टेक्स्ट जनरेशन आणि टेक्स्ट-टू-सीन जनरेशन या अनुप्रयोगांमध्ये कशी वापरली जाऊ शकते हे आम्ही दाखवतो. आम्ही दाखवतो की हे अनुप्रयोग विद्यमान मोठ्या भाषा मॉडेल्स (LLMs) सोबत सहयोग करून दृश्य विश्लेषण आणि तर्कशक्ती पार पाडू शकतात. आम्ही 3D बुद्धिमत्तेसाठी एक पूर्णपणे एकत्रित पायाभूत मॉडेल तयार करण्याच्या आमच्या मार्गाची रूपरेषा देत चर्चा करून निष्कर्ष काढतो. आमचा कोड आणि मॉडेल वेट्स येथे उपलब्ध आहेत: https://github.com/Roblox/cube.