Roblox zaprezentuje badania dotyczące ruchu 3D i renderowania podczas konferencji SIGGRAPH 2023

Roblox Research zajmuje się podstawowymi badaniami naukowymi nad technologią naszej społecznościowej platformy 3D, mając na celu połączenie miliarda ludzi w duchu optymizmu i kultury osobistej. Rozwijamy tworzenie treści 3D, symulacje fizyczne oraz moderację w czasie rzeczywistym, wykorzystując połączenie podstawowych zasad i technik sztucznej inteligencji (AI). Nasze najnowsze prace umożliwiają włosom, tkaninom, przedmiotom i krajobrazom reagowanie na ruch, zderzenia i wiatr tak samo, jak w prawdziwym świecie. Ponieważ obsługujemy globalną platformę z setkami milionów użytkowników, każdy aspekt musi być skalowalny zarówno po stronie klienta, jak i serwera oraz obsługiwać dowolne urządzenie, od starszych telefonów po najnowsze zestawy słuchawkowe AR/VR. Dowiedz się więcej o pracach, które zaprezentujemy poniżej, i sprawdź harmonogram, gdzie nas znaleźć na SIGGRAPH. 

Zoptymalizowane renderowanie

W miarę jak światy 3D stają się coraz bardziej realistyczne, struktury i tereny stają się coraz bardziej złożone. Renderowanie tych złożonych środowisk wymaga rozwiązań dla efektów występujących w prawdziwym świecie, takich jak falujące lub skręcone tkaniny, nierówny teren itp. W swojej prezentacji „Surface Simplification Using Intrinsic Error Metrics” badacz Roblox Hsueh-Ti Derek Liu wraz z kolegami z Carnegie Mellon University i University of Toronto proponują metodę upraszczania triangulacji wewnętrznej. Klasyczne uproszczenie siatki zachowuje wygląd obiektu do celów renderowania, ale co, jeśli celem jest symulacja, w której obiekty mogą być skręcone, wygięte lub złożone? Metoda ta upraszcza siatkę do celów symulacji poprzez badanie znacznie większej przestrzeni triangulacji wewnętrznych, co prowadzi do ponad 1000-krotnie szybszych wyników w typowych zadaniach, takich jak obliczanie odległości geodezyjnych. Ta nowatorska metoda może przyczynić się do uzyskania wyższego poziomu szczegółowości w symulacjach.

Liu zaprezentuje również prace nad różniczkowalnym śledzeniem ścieżek w polu wysokości we współpracy z kolegami z Uniwersytetu George'a Masona, Uniwersytetu w Toronto i Uniwersytetu Waterloo. Umożliwia to szybkie, realistyczne renderowanie terenu, cieni i obiektów 3D dla aplikacji do szkolenia sztucznej inteligencji. Podejście to pozwala osiągnąć liczbę klatek na sekundę w czasie rzeczywistym, o rzędy wielkości większą niż w przypadku większości istniejących rendererów różnicowych siatek 3D. Otwiera to możliwości dla interaktywnych aplikacji do renderowania odwrotnego, w tym przyszłych wersji naszych narzędzi generatywnej sztucznej inteligencji i sztucznej inteligencji do moderacji. Naukowcy demonstrują tę metodę w wielu interaktywnych zadaniach, takich jak optymalizacja terenu i generowanie kształtów na podstawie tekstu.

Realistyczny ruch dla awatarów i nie tylko

Ruchy ludzkie są złożone i bardzo zróżnicowane. Naszym celem jest dokładne odtworzenie ich w całej ich wierności dla realizmu i ekspresji w środowiskach wirtualnych, co stanowi ogromne wyzwanie. Na przykład wielozadaniowość, czyli płynne łączenie różnych zachowań, jest czymś, w czym ludzie są bardzo biegli. Tradycyjna grafika komputerowa skupia się na pojedynczych zachowaniach, takich jak chodzenie lub rzucanie, i wymaga wyraźnie zaprogramowanych zachowań łączonych. 

W swojej pracy „Composite Motion Learning with Task Control” badacze z Roblox, Victor Zordan i Pei Xu, wraz z kolegami z Uniwersytetu Clemson i Uniwersytetu Kalifornijskiego w Merced, przedstawiają nowe podejście do uczenia się przez wzmocnienie w zakresie wielozadaniowego sterowania ruchem. Badania te proponują podejście oparte na uczeniu się przez wzmocnienie do złożonego, opartego na zadaniach sterowania ruchem dla fizycznie symulowanych postaci. Dzięki temu podejściu do sterowania wielozadaniowego postacie mogą wykonywać złożone ruchy wielozadaniowe, takie jak żonglowanie podczas chodzenia. Mogą również łączyć szeroki wachlarz innych czynności bez wyraźnych przykładów ruchów odniesienia dla połączonego zachowania. Podejście to wspiera również efektywne szkolenie oparte na próbkach poprzez ponowne wykorzystanie istniejących kontrolerów. 

Roblox to oparta na symulacji platforma 3D, w której podstawowe interakcje między obiektami oraz z awatarami są regulowane przez podstawowe zasady fizyki, a nie przez jawny kod. W tym roku dzielimy się dwoma nowymi wynikami dotyczącymi różnych postępów w symulacji obiektów.

Wraz z kolegami z UCLA, University of Utah i Adobe Research, Yuksel zaprezentuje Multi-layer Thick Shells, które proponują nowatorskie podejście do symulacji uwzględniających grubość materiałów, takich jak odzież skórzana, poduszki, maty i blachy. Podejście to pozwala uniknąć blokowania ścinania i skutecznie uchwycić drobne szczegóły zmarszczek, otwierając drzwi do szybkich, wysokiej jakości symulacji uwzględniających grubość różnych struktur. 

Wydarzenia interaktywne

Wszystko na platformie Roblox jest interaktywne i odbywa się w czasie rzeczywistym. Najlepszym sposobem na zapoznanie się z naszymi nowymi osiągnięciami jest obejrzenie ich w akcji podczas pokazów na żywo i sesji Real-Time Live. Podczas wydarzenia Roblox Generative AI in Action badacze Brent Vincent i Kartik Ayyar zademonstrują, w jaki sposób twórcy mogą wykorzystać język naturalny i inne formy wyrażania intencji do tworzenia interaktywnych obiektów i scen bez konieczności stosowania skomplikowanego modelowania lub kodowania. Podczas wydarzenia „Intermediated Reality with an AI 3D-printed Character” Kenny Mitchell z Roblox i Llogari Casas Cambra z 3Finery Ltd zaprezentują model AI, który przetwarza rozpoznawanie mowy na żywo i generuje odpowiedzi w postaci postaci wydrukowanej w 3D — animując cechy postaci w synchronizacji z dźwiękiem. 

Naukowcy z Roblox będą również zabierać głos podczas paneli w ramach warsztatów Frontier Workshops. Podczas sesji „Beyond IRL, How 3D Interactive Social Media is Changing how we Interact, Express, and Think” (Poza IRL, jak interaktywne media społecznościowe 3D zmieniają sposób, w jaki wchodzimy w interakcje, wyrażamy się i myślimy) naukowcy z Roblox, Lauren Cheatham i Carissa Kang, dołączą do ekspertów branżowych, socjologów i badaczy zachowań, aby omówić, w jaki sposób wciągające środowiska wirtualne mogą pomóc w kształtowaniu postaw i zachowań, wspierać odkrywanie tożsamości oraz pomagać młodszym pokoleniom w ustanawianiu zdrowych granic, które mogą rozciągać się na ich rzeczywisty świat. Podczas sesji „Expressive Avatar Interactions for Co-experiences Online” naukowcy z Roblox – Ian Sachs, Vivek Virma, Sean Palmer, Tom Sanocki i Kenny Mitchell – wraz z innymi ekspertami omówią wyzwania i wnioski wyciągnięte z wdrażania doświadczeń w zakresie zdalnej interaktywności i ekspresyjnej komunikacji w dużej globalnej społeczności.  

Adrian Xuan Wei Lim poprowadzi sesję plakatową, podczas której zaprezentuje „Reverse Projection: Real-Time Local Space Texture Mapping” – nowatorską technikę projekcyjną przeznaczoną do wykorzystania w grach, która pozwala na nakładanie naklejek bezpośrednio na teksturę obiektu 3D w czasie rzeczywistym. Dzięki zastosowaniu technik projekcji obliczanych w teksturach przestrzeni lokalnej i skierowanych na zewnątrz, twórcy korzystający z różnych urządzeń, od tanich urządzeń z systemem Android po wysokiej klasy komputery stacjonarne do gier, mogą cieszyć się personalizacją swoich zasobów. Proponowany proces może być krokiem w kierunku poprawy szybkości i wszechstronności malowania modeli.

Zobacz wszystkie artykuły, które zespół Roblox Research zaprezentuje na SIGGRAPH 2023 tutaj. Odwiedź nasze stoisko i sesje, wymienione poniżej. Czekamy na Ciebie!

Niedziela, 6 sierpnia

• 9:00: Warsztaty Frontiers: Poza IRL, jak interaktywne media społecznościowe 3D zmieniają sposób, w jaki wchodzimy w interakcje, wyrażamy się i myślimy (sala 301 B)
• 15:45: Wykład: Rigging bez rigowania: nowe metody w animacji postaci (sala 515 B)

Poniedziałek, 7 sierpnia

• 9:00: Sesja plakatowa: Projekcja odwrotna: mapowanie tekstur przestrzeni lokalnej w czasie rzeczywistym (wejście od zachodniego holu)
• 9:00: Warsztaty Frontiers: Ekspresyjne interakcje awatarów w wspólnych doświadczeniach online (sala 301 B)

Wtorek, 8 sierpnia

• 11:38: Artykuł techniczny: Różniczkowalne śledzenie ścieżek w polu wysokości z przyspieszonymi nieciągłościami (Petree Hall C)
• 14:20: Artykuł techniczny: Inicjalizacja bez ugięć dla hybrydowej symulacji włosów opartej na pasmach *Wyróżnienie (Petree Hall C)
• 14:54: Artykuł techniczny: Wielowarstwowe grube powłoki (Petree Hall C)
• 18:00: Transmisja na żywo: Generatywna sztuczna inteligencja Roblox w akcji (West Hall B)
• 18:00: Transmisja na żywo: Rzeczywistość pośrednia z postacią wydrukowaną w 3D przez AI (West Hall B)

Środa, 9 sierpnia

• 15:45: Artykuł techniczny: Uczenie się ruchów złożonych z kontrolą zadań (Petree Hall C)
• 15:45: Artykuł techniczny: Symulacja pasywnych przyssawek oparta na ograniczeniach (Petree Hall D)
• 15:45: Artykuł techniczny: Uproszczenie powierzchni przy użyciu wewnętrznych miar błędu (sala 502 AB)

Czwartek, 10 sierpnia

• 14:11: Artykuł techniczny: Najkrótsza droga do granicy dla siatek samoprzecinających się (Petree Hall C)