Doorbraken op het gebied van Roblox 3D en 4D op SIGGRAPH 2024

Roblox innoveert onophoudelijk om een meeslepend 3D-platform te bouwen waar miljoenen makers avatars, accessoires en ervaringen creëren waarmee mensen over de hele wereld met elkaar in contact kunnen komen.

Op SIGGRAPH, de toonaangevende conferentie voor computergraphics en interactieve technieken wereldwijd, zullen we nieuwe technologische en algoritmische doorbraken delen. Het werk dat we delen omvat nieuwe methoden om 3D-materialen mogelijk te maken die kunnen uitrekken als rubber, een snellere manier om avatars met gezichtsanimatie te produceren, en haar dat op een meer levensechte manier beweegt. Samen vormen dit sterke theoretische resultaten en prototypes in een vroeg stadium die de toekomst van meeslepende 3D mogelijk maken. Bezoek onze sessies op SIGGRAPH in Denver voor de volledige technische details.

Steeds gedetailleerdere avatars

Avatars vormen de kern van persoonlijke expressie op Roblox, met volledige gezichtsanimatie, aanpasbare lichamen, gelaagde kleding en een consistent uiterlijk op het hele platform. Uit ons recente Digital Expressions Report blijkt dat 88 procent van de respondenten uit Gen Z zegt dat het uiten van zichzelf in metaverse-achtige werelden zoals Roblox hen waarschijnlijk heeft geholpen om zich in hun dagelijks leven comfortabeler te uiten. Om deze zelfexpressie te ondersteunen, blijven we de state-of-the-art in avatartechnologie verder ontwikkelen.

Het maken van een nieuwe avatar op basis van een 3D-mesh vereist traditioneel verschillende fasen van zeer technisch werk. Dit is een van de uitdagingen van 4D-generatie: het uitbreiden van statische 3D-assets zodat ze volledig dynamisch, interactief en combineerbaar worden, zodat ze tot leven kunnen komen in een metaverse-ervaring. De betrokken stappen, waaronder caging, rigging en skinning, kunnen tot een week per avatar in beslag nemen, zelfs voor professionele makers. Vervolgens is extra werk nodig om compatibiliteit met de geavanceerde kleding- en gezichtsuitdrukkingsfuncties van ons platform te garanderen.

Je kunt de impact van deze technologie op het platform ervaren via Avatar Auto Setup, een geautomatiseerd systeem dat een model dat alleen uit geometrie bestaat, omzet in een Roblox-compatibele, aanpasbare, animatieklare, gerigde en geskinde avatar. Met dit systeem kan een proces dat vroeger tot een week in beslag nam, nu binnen enkele minuten worden voltooid.

Een populaire manier waarop mensen zich op Roblox uitdrukken, is door het haar van hun avatars te veranderen. Alleen al in 2023 kochten Roblox-gebruikers meer dan 139 miljoen kapsels, en 7,3 miljoen gebruikers kochten vijf of meer kapsels. Maar het realiseren van een realistisch kapsel, waarbij elke haarstreng beweegt zoals in de fysieke wereld, is een enorme uitdaging. Gemiddeld heeft de menselijke hoofdhuid tussen de 100.000 en 150.000 haarzakjes. Het simuleren, opslaan en overbrengen van complexe geometrieën op die schaal is moeilijk, zowel wat betreft rekenkracht als robuustheid.

In hun paper "Real-time Physically Guided Hair Interpolation" presenteren Cem Yuksel van Roblox en zijn collega's van LightSpeed Studios en de Universiteit van Utah een nieuw, fysisch gestuurd haarinterpolatieschema dat gebruikmaakt van bestaande gesimuleerde gidshaardata. Dit werk verbetert de visuele kwaliteit van haarweergave aanzienlijk voor ervaringen met vrijwel geen overhead.

Realistische 3D-simulatie en weergave

Makers op Roblox creëren niet alleen de ervaringen waaraan mensen deelnemen om te spelen of contact te leggen, maar ook de objecten die deze ervaringen bevolken. Naarmate Roblox beschikbaar komt op meer platforms, variërend van een Android-apparaat met lagere resolutie tot een gameconsole of VR-headset met hoge resolutie, is het belangrijk dat deze objecten met de best mogelijke resolutie op het apparaat van de gebruiker kunnen worden weergegeven.

Licht en schaduwen vormen vaak een uitdaging voor 3D-rendering. Recent onderzoek heeft grote vooruitgang geboekt, maar bij bestaande methoden kan er vervaging optreden bij camera-effecten zoals scherptediepte en antialiasing. In samenwerking met NVIDIA en de Universiteit van Utah presenteert Cem Yuksel van Roblox “Area ReSTIR: Resampling for Real-Time Defocus and Antialiasing.” Dit werk introduceert area sampling in ReSTIR, waardoor deze camera-effecten efficiënter worden opgelost. Het eindresultaat is een verbeterde definitie tussen licht en schaduwen en meer detail, terwijl er minder samples nodig zijn.

Hetzelfde straatbeeld weergegeven met onze nieuwe Area ReSTIR, met verbeteringen in belichting en schaduwen.

In hun paper “A Unified Differentiable Boolean Operator with Fuzzy Logic” presenteren Hsueh Derek Liu en collega's van Roblox een methode die generatieve AI mogelijk maakt voor 3D-weergaven van constructieve vaste geometrie (CSG). De fysicasimulator van Roblox ontleent zijn robuustheid aan de vaste modellering in de technische industrie via CSG, wat ook het creëren van plausibele virtuele vormen vereenvoudigt. De dunne oppervlaktemodellering van de entertainmentindustrie komt vaker voor, maar geeft het volume binnenin een object niet weer. CSG was voorheen niet compatibel met generatieve AI, omdat de differentiatiestap van het trainen en toepassen van AI op geometrie een wiskundige eigenschap vereist die vergelijkbaar is met de continue evolutie van vormen. Door een nieuwe wiskundige primitief uit te vinden voor het uitvoeren van "fuzzy" bewerkingen, hebben we differentieerbare CSG ontsloten en daar vervolgens een generatieve CSG-AI op gebouwd.

Al bijna twee decennia worden ons platform en de bloeiende community daarop gevoed door technische innovatie, dankzij de forse investeringen van Roblox in R&D. Goede R&D vereist risico's en een eerlijke evaluatie. Niet al onze R&D-onderzoeken leveren resultaten op die de juiste vorm hebben of op het juiste moment komen om productfuncties te worden, en het werk dat in dit artikel wordt beschreven is speculatief en toekomstgericht. We zijn echter blij dat sommige van de hier beschreven nieuwe technieken al deel uitmaken van tools die beschikbaar zijn voor Roblox-makers, waardoor realistischere avatars en 3D-werelden mogelijk worden. Alle onderzoeken zijn stappen in de richting van vooruitgang op dit gebied als geheel en de technologie voor 3D-immersieve platforms.

Op het gebied van AI, avatars, fysica en graphics kijken we ernaar uit om een reeks nieuwe ontwikkelingen met de wereld te delen tijdens SIGGRAPH 2024.