Cube: spojrzenie Roblox na inteligencję 3D

Modele podstawowe, wytrenowane na ogromnych ilościach danych, wykazały się niezwykłymi zdolnościami wnioskowania i generowania w dziedzinach tekstu, obrazów, audio i wideo. Naszym celem w Roblox jest zbudowanie takiego modelu podstawowego dla inteligencji 3D, modelu, który może wspierać programistów w tworzeniu wszystkich aspektów doświadczenia Roblox, od generowania obiektów i scen 3D, przez rigowanie postaci do animacji, po tworzenie skryptów programowych opisujących zachowania obiektów. Omówimy trzy kluczowe wymagania projektowe dotyczące takiego modelu podstawowego 3D, a następnie przedstawimy nasz pierwszy krok w kierunku jego stworzenia. Przewidujemy, że podstawowym typem danych będą trójwymiarowe kształty geometryczne, i opiszemy nasze rozwiązanie dotyczące tokenizatora kształtów 3D. Pokażemy, w jaki sposób nasz schemat tokenizacji może być wykorzystywany w aplikacjach do generowania kształtów na podstawie tekstu, generowania tekstu na podstawie kształtów oraz generowania scen na podstawie tekstu. Pokazujemy, w jaki sposób aplikacje te mogą współpracować z istniejącymi dużymi modelami językowymi (LLM) w celu przeprowadzania analizy scen i wnioskowania. Na zakończenie omawiamy naszą drogę do zbudowania w pełni ujednoliconego modelu podstawowego dla inteligencji 3D. Nasz kod i wagi modeli można znaleźć pod adresem: https://github.com/Roblox/cube.