Roblox presenteert onderzoek naar 3D-beweging en -weergave op SIGGRAPH 2023

Roblox Research houdt zich bezig met de fundamentele wetenschap achter de technologie van ons sociale 3D-platform, met als doel een miljard mensen met elkaar te verbinden op een optimistische en beschaafde manier. We bevorderen het creëren van 3D-content, fysieke simulatie en realtime moderatie door een combinatie van eerste principes en kunstmatige intelligentie (AI)-technieken. Ons nieuwste werk zorgt ervoor dat haar, stoffen, objecten en landschappen reageren op beweging, botsingen en wind, net zoals in de echte wereld. Omdat we een wereldwijd platform met honderden miljoenen gebruikers ondersteunen, moet elk aspect zowel aan de client- als aan de serverzijde schaalbaar zijn en elk apparaat ondersteunen, van oudere telefoons tot de nieuwste AR/VR-headsets. Lees hieronder meer over het werk dat we gaan presenteren en bekijk het schema om te zien waar je ons kunt vinden op SIGGRAPH. 

Geoptimaliseerde weergave

Naarmate 3D-werelden realistischer worden, worden structuren en terreinen steeds complexer. Het weergeven van deze complexe omgevingen vereist oplossingen voor realistische effecten zoals golvende of gedraaide stoffen, oneffen terrein, enz. In hun presentatie, Surface Simplification Using Intrinsic Error Metrics, stellen Roblox-onderzoeker Hsueh-Ti Derek Liu en collega's van Carnegie Mellon University en de University of Toronto een methode voor om intrinsieke triangulaties te vereenvoudigen. Klassieke mesh-vereenvoudiging behoudt het uiterlijk van een object voor weergavedoeleinden, maar wat als het doel simulatie is, waarbij objecten kunnen worden verdraaid, gebogen of gevouwen? Deze methode vereenvoudigt de mesh voor simulatie door de veel grotere ruimte van intrinsieke triangulaties te verkennen, wat leidt tot meer dan 1.000 keer snellere resultaten bij veelvoorkomende taken zoals het berekenen van geodetische afstanden. Deze nieuwe methode zou kunnen bijdragen aan een hoger detailniveau voor simulatie.

Liu zal ook werk presenteren over Differentiable Heightfield Path Tracing in samenwerking met collega's van de George Mason University, de University of Toronto en de University of Waterloo. Dit maakt een snelle, realistische weergave van terrein, schaduwen en 3D-objecten mogelijk voor AI-trainingsapplicaties. Deze aanpak bereikt realtime framesnelheden die vele malen sneller zijn dan de meeste bestaande 3D-mesh differentiaalrenderers. Het opent de mogelijkheid voor interactieve inverse rendering-toepassingen, waaronder toekomstige versies van onze generatieve AI- en moderatie-AI-tools. De onderzoekers demonstreren deze methode met vele interactieve taken, zoals terreinoptimalisatie en op tekst gebaseerde vormgeneratie.

Realistische bewegingen voor avatars en meer

Menselijke bewegingen zijn complex en zeer gevarieerd. Ons doel is om dit nauwkeurig en getrouw te reproduceren voor realisme en expressie in virtuele omgevingen, wat een grote uitdaging is. Multitasking, of het naadloos combineren van verschillende gedragingen, is bijvoorbeeld iets waar mensen zeer bedreven in zijn. Traditionele computergraphics richt zich op afzonderlijke gedragingen zoals lopen of gooien, en vereist expliciet ontworpen gecombineerde gedragingen. 

In hun paper, Composite Motion Learning with Task Control, schetsen Roblox-onderzoekers Victor Zordan en Pei Xu, samen met collega's van Clemson University en de University of California, Merced, een nieuwe benadering van reinforcement learning voor multitask-bewegingscontrole. Dit onderzoek stelt een benadering van reinforcement learning voor voor complexe, taakgestuurde bewegingscontrole voor fysiek gesimuleerde personages. Met deze multiobjectieve besturingsaanpak kunnen personages samengestelde multitask-bewegingen uitvoeren, zoals jongleren tijdens het lopen. Ze kunnen ook een breed scala aan andere activiteiten combineren zonder expliciete referentiebewegingsvoorbeelden van het gecombineerde gedrag. Deze aanpak ondersteunt ook sample-efficiënte training door bestaande controllers te hergebruiken. 

Roblox is een op simulatie gebaseerd 3D-platform, waarin de primaire interacties tussen objecten en met avatars worden gemedieerd door fysica op basis van eerste principes in plaats van expliciete code. Dit jaar delen we twee nieuwe resultaten over verschillende vorderingen op het gebied van objectsimulatie.

Samen met collega's van UCLA, de Universiteit van Utah en Adobe Research presenteert Yuksel Multi-layer Thick Shells, een nieuwe aanpak voor simulaties die rekening houden met dikte voor materialen zoals leren kleding, kussens, matten en metalen platen. Deze aanpak voorkomt shear locking, legt fijne rimpeldetails efficiënt vast en maakt de weg vrij voor snelle, hoogwaardige simulaties van verschillende structuren die rekening houden met dikte. 

Interactieve evenementen

Alles op het Roblox-platform is interactief en in realtime. De beste manier om onze nieuwe ontwikkelingen te ervaren, is door ze in actie te zien via live demo's en onze Real-Time Live-sessies. Tijdens Roblox Generative AI in Action zullen onderzoekers Brent Vincent en Kartik Ayyar demonstreren hoe makers natuurlijke taal en andere intentie-uitingen kunnen gebruiken om interactieve objecten en scènes te bouwen zonder complexe modellering of codering. Tijdens Intermediated Reality with an AI 3D-printed Character zullen Kenny Mitchell van Roblox en Llogari Casas Cambra van 3Finery Ltd een AI-model presenteren dat live spraakherkenning verwerkt en reacties genereert als een 3D-geprint personage — waarbij de gelaatstrekken van het personage synchroon met de audio worden geanimeerd. 

Wetenschappers van Roblox zullen ook spreken tijdens panels op de Frontier Workshops. Bij 'Beyond IRL: How 3D Interactive Social Media is Changing how we Interact, Express, and Think' zullen Roblox-wetenschappers Lauren Cheatham en Carissa Kang samen met domeinexperts, sociale wetenschappers en gedragsonderzoekers bespreken hoe meeslepende virtuele omgevingen kunnen helpen bij het vormgeven van attitudes en gedragingen, het ondersteunen van identiteitsverkenning en het helpen van jongere generaties bij het stellen van gezonde grenzen die zich kunnen uitstrekken tot hun echte wereld. Tijdens 'Expressive Avatar Interactions for Co-experiences Online' zullen Roblox-wetenschappers Ian Sachs, Vivek Virma, Sean Palmer, Tom Sanocki en Kenny Mitchell, samen met andere experts, de uitdagingen en lessen bespreken die zijn geleerd bij het implementeren van ervaringen voor interactie op afstand en expressieve communicatie voor een grote wereldwijde gemeenschap.  

Adrian Xuan Wei Lim zal een postersessie leiden om Reverse Projection: Real-Time Local Space Texture Mapping te presenteren, een nieuwe projectietechniek die is ontworpen voor gebruik in games en waarmee in realtime een sticker direct op de textuur van een 3D-object wordt aangebracht. Door gebruik te maken van projectietechnieken die worden berekend in lokale ruimtetexturen en naar buiten gericht zijn, kunnen makers die alles gebruiken, van low-end Android-apparaten tot high-end gaming-desktops, genieten van de personalisatie van hun assets. Deze voorgestelde pijplijn zou een stap kunnen zijn in de richting van het verbeteren van de snelheid en veelzijdigheid van het schilderen van modellen.

Bekijk hier alle papers die het Roblox Research-team zal presenteren op SIGGRAPH 2023. Bezoek onze stand en sessies, die hieronder worden vermeld. We kijken ernaar uit om u persoonlijk te ontmoeten!

Zondag 6 augustus

• 9.00 uur: Frontiers Workshop: Beyond IRL, hoe 3D-interactieve sociale media de manier waarop we omgaan, ons uitdrukken en denken veranderen (zaal 301 B)
• 15.45 uur: Lezing: Rigging zonder de rig: nieuwe methoden in karakteranimatie (zaal 515 B)

Maandag 7 augustus

• 9.00 uur: Postersessie: Reverse Projection: realtime textuurmapping in lokale ruimtes (ingang West Lobby)
• 9.00 uur: Frontiers-workshop: Expressieve avatarinteracties in online co-ervaringen (zaal 301 B)

Dinsdag 8 augustus

• 11:38 uur: Technisch artikel: Differentiable Heightfield Path Tracing With Accelerated Discontinuities (Petree Hall C)
• 14.20 uur: Technisch artikel: Sag-Free Initialization for Strand-Based Hybrid Hair Simulation *Eervolle vermelding (Petree Hall C)
• 14.54 uur: Technisch artikel: Multi-layer thick shells (Petree Hall C)
• 18.00 uur: Real-Time Live: Roblox generatieve AI in actie (West Hall B)
• 18.00 uur: Real-Time Live: Intermediated Reality met een AI 3D-geprint personage (West Hall B)

Woensdag 9 augustus

• 15.45 uur: Technisch artikel: Composietbewegingsleren met taakcontrole (Petree Hall C)
• 15:45 uur: Technisch artikel: Op beperkingen gebaseerde simulatie van passieve zuignappen (Petree Hall D)
• 15.45 uur: Technisch artikel: Oppervlaktevereenvoudiging met behulp van intrinsieke foutmetriek (zaal 502 AB)

Donderdag 10 augustus

• 14:11 uur: Technisch artikel: Kortste pad naar grens voor zelfkruisende meshes (Petree Hall C)