Roblox präsentiert auf der SIGGRAPH 2023 Forschungsergebnisse zu 3D-Bewegung und Rendering

Roblox Research widmet sich der Grundlagenforschung im Bereich Technologie für unsere soziale 3D-Plattform mit dem Ziel, eine Milliarde Menschen mit Optimismus und Höflichkeit miteinander zu verbinden. Wir treiben die Erstellung von 3D-Inhalten, physikalische Simulationen und Echtzeit-Moderation voran, indem wir eine Kombination aus ersten Prinzipien und Techniken der künstlichen Intelligenz (KI) nutzen. Unsere neuesten Arbeiten ermöglichen es, dass Haare, Stoffe, Objekte und Landschaften auf Bewegung, Kollisionen und Wind genauso reagieren wie in der realen Welt. Da wir eine globale Plattform mit Hunderten von Millionen Nutzern betreiben, muss jeder Aspekt sowohl auf Client- als auch auf Serverseite skalierbar sein und jedes Gerät unterstützen, von älteren Smartphones bis hin zu den neuesten AR/VR-Headsets. Lesen Sie unten mehr über die Arbeiten, die wir vorstellen werden, und sehen Sie sich den Zeitplan an, wo Sie uns auf der SIGGRAPH finden können. 

Optimiertes Rendering

Da 3D-Welten immer realistischer werden, werden Strukturen und Terrains zunehmend komplexer. Das Rendern dieser komplexen Umgebungen erfordert Lösungen für realistische Effekte wie wellige oder verdrehte Stoffe, unebenes Gelände usw. In ihrer Präsentation „Surface Simplification Using Intrinsic Error Metrics“ schlagen der Roblox-Forscher Hsueh-Ti Derek Liu und Kollegen von der Carnegie Mellon University und der University of Toronto eine Methode zur Vereinfachung intrinsischer Triangulationen vor. Die klassische Netzvereinfachung bewahrt das Aussehen eines Objekts für Renderzwecke, aber was ist, wenn das Ziel eine Simulation ist, bei der Objekte verdreht, gebogen oder gefaltet werden können? Diese Methode vereinfacht das Netz für die Simulation, indem sie den weitaus größeren Raum der intrinsischen Triangulationen auslotet, was zu mehr als 1.000-mal schnelleren Ergebnissen bei gängigen Aufgaben wie der Berechnung geodätischer Entfernungen führt. Diese neuartige Methode könnte zu einem höheren Detaillierungsgrad bei Simulationen beitragen.

Liu wird außerdem Arbeiten zum Thema „Differentiable Heightfield Path Tracing“ in Zusammenarbeit mit Kollegen der George Mason University, der University of Toronto und der University of Waterloo vorstellen. Dies ermöglicht ein schnelles, realistisches Rendering von Gelände, Schatten und 3D-Objekten für KI-Trainingsanwendungen. Dieser Ansatz erreicht Echtzeit-Bildraten, die um Größenordnungen schneller sind als die der meisten bestehenden 3D-Mesh-Differential-Renderer. Er eröffnet die Möglichkeit für interaktive Inverse-Rendering-Anwendungen, einschließlich zukünftiger Versionen unserer generativen KI- und Moderations-KI-Tools. Die Forscher demonstrieren diese Methode anhand vieler interaktiver Aufgaben, wie beispielsweise Geländeoptimierung und textbasierte Formgenerierung.

Realistische Bewegungen für Avatare und darüber hinaus

Menschliche Bewegung ist komplex und äußerst vielfältig. Unser Ziel ist es, diese in all ihrer Detailtreue für Realismus und Ausdruckskraft in virtuellen Umgebungen genau nachzubilden, was eine große Herausforderung darstellt. Multitasking, also das nahtlose Kombinieren verschiedener Verhaltensweisen, ist beispielsweise etwas, worin Menschen sehr versiert sind. Traditionelle Computergrafik konzentriert sich auf einzelne Verhaltensweisen wie Gehen oder Werfen und erfordert explizit programmierte kombinierte Verhaltensweisen. 

In ihrer Arbeit „Composite Motion Learning with Task Control“ skizzieren die Roblox-Forscher Victor Zordan und Pei Xu zusammen mit Kollegen der Clemson University und der University of California, Merced, einen neuen Ansatz des verstärkenden Lernens für die Multitasking-Bewegungssteuerung. Diese Forschung schlägt einen Ansatz des verstärkenden Lernens für die komplexe, aufgabenorientierte Bewegungssteuerung physikalisch simulierter Charaktere vor. Mit diesem Ansatz zur multiobjektiven Steuerung können Charaktere zusammengesetzte Multitask-Bewegungen ausführen, wie zum Beispiel Jonglieren beim Gehen. Sie können auch eine Vielzahl anderer Aktivitäten kombinieren, ohne dass explizite Referenzbewegungsbeispiele für das kombinierte Verhalten vorliegen. Dieser Ansatz unterstützt zudem ein sample-effizientes Training durch die Wiederverwendung bestehender Steuerungen. 

Roblox ist eine simulationsbasierte 3D-Plattform, auf der die primären Interaktionen zwischen Objekten und mit Avataren durch physikalische Grundprinzipien statt durch expliziten Code vermittelt werden. In diesem Jahr stellen wir zwei neue Ergebnisse zu verschiedenen Fortschritten in der Objektsimulation vor.

Zusammen mit Kollegen der UCLA, der University of Utah und Adobe Research wird Yuksel „Multi-layer Thick Shells“ vorstellen, einen neuartigen Ansatz, der dickenbewusste Simulationen für Materialien wie Lederbekleidung, Kissen, Matten und Metallplatten ermöglicht. Dieser Ansatz vermeidet Scherblockaden, erfasst feine Faltdetails effizient und eröffnet den Weg zu schnellen, hochwertigen, dickenbewussten Simulationen einer Vielzahl von Strukturen. 

Interaktive Veranstaltungen

Alles auf der Roblox-Plattform ist interaktiv und findet in Echtzeit statt. Der beste Weg, unsere neuen Fortschritte zu erleben, ist, sie in Live-Demos und unseren Echtzeit-Live-Sessions in Aktion zu sehen. Bei „Roblox Generative AI in Action“ werden die Forscher Brent Vincent und Kartik Ayyar demonstrieren, wie Entwickler natürliche Sprache und andere Ausdrucksformen von Absichten nutzen können, um interaktive Objekte und Szenen ohne komplexe Modellierung oder Programmierung zu erstellen. Bei „Intermediated Reality with an AI 3D-printed Character“ werden Kenny Mitchell von Roblox und Llogari Casas Cambra von 3Finery Ltd ein KI-Modell vorstellen, das Live-Spracherkennung verarbeitet und Antworten in Form eines 3D-gedruckten Charakters generiert – wobei die Gesichtszüge des Charakters synchron zum Audio animiert werden. 

Wissenschaftler von Roblox werden außerdem an Podiumsdiskussionen im Rahmen der Frontier Workshops teilnehmen. Bei „Beyond IRL: Wie interaktive 3D-Social-Media-Plattformen unsere Interaktion, unseren Ausdruck und unser Denken verändern“ werden die Roblox-Wissenschaftlerinnen Lauren Cheatham und Carissa Kang gemeinsam mit Fachexperten, Sozialwissenschaftlern und Verhaltensforschern erörtern, wie immersive virtuelle Umgebungen dazu beitragen können, Einstellungen und Verhaltensweisen zu prägen, die Identitätsfindung zu unterstützen und jüngeren Generationen dabei zu helfen, gesunde Grenzen zu setzen, die sich auf ihre reale Welt ausweiten lassen. Bei „Expressive Avatar Interactions for Co-experiences Online“ werden die Roblox-Wissenschaftler Ian Sachs, Vivek Virma, Sean Palmer, Tom Sanocki und Kenny Mitchell gemeinsam mit anderen Experten Herausforderungen und Erkenntnisse aus der Bereitstellung von Erlebnissen für Remote-Interaktivität und ausdrucksstarke Kommunikation für eine große globale Community erörtern.  

Adrian Xuan Wei Lim wird eine Poster-Session moderieren, um „Reverse Projection: Real-Time Local Space Texture Mapping“ vorzustellen, eine neuartige Projektionstechnik für den Einsatz in Spielen, die in Echtzeit ein Dekal direkt auf die Textur eines 3D-Objekts aufträgt. Durch den Einsatz von Projektionstechniken, die in lokalen Raumtexturen berechnet werden und nach außen gerichtet sind, können Entwickler, die alles von Low-End-Android-Geräten bis hin zu High-End-Gaming-Desktops verwenden, ihre Assets individuell anpassen. Diese vorgeschlagene Pipeline könnte ein Schritt zur Verbesserung der Geschwindigkeit und Vielseitigkeit des Model Painting sein.

Alle Beiträge, die das Roblox Research-Team auf der SIGGRAPH 2023 vorstellen wird, finden Sie hier. Besuchen Sie unseren Stand und unsere Sessions, die unten aufgeführt sind. Wir freuen uns darauf, Sie persönlich zu treffen!

Sonntag, 6. August

• 9 Uhr: Frontiers-Workshop: Jenseits von IRL – Wie interaktive 3D-Social-Media-Plattformen unsere Interaktion, unseren Ausdruck und unser Denken verändern (Raum 301 B)
• 15:45 Uhr: Vortrag: Rigging ohne Rig: Neue Methoden in der Charakteranimation (Raum 515 B)

Montag, 7. August

• 9 Uhr: Poster-Session: Reverse Projection: Echtzeit-Textur-Mapping im lokalen Raum (Eingang West-Lobby)
• 9 Uhr: Frontiers-Workshop: Ausdrucksstarke Avatar-Interaktionen in gemeinsamen Online-Erlebnissen (Raum 301 B)

Dienstag, 8. August

• 11:38 Uhr: Fachbeitrag: Differenzierbares Heightfield-Path-Tracing mit beschleunigten Diskontinuitäten (Petree Hall C)
• 14:20 Uhr: Fachbeitrag: Durchhängefreie Initialisierung für strangbasierte hybride Haarsimulation *Lobende Erwähnung (Petree Hall C)
• 14:54 Uhr: Fachbeitrag: Mehrschichtige dicke Schalen (Petree Hall C)
• 18:00 Uhr: Echtzeit-Live: Roblox Generative KI in Aktion (West Hall B)
• 18:00 Uhr: Echtzeit-Live: Vermittelte Realität mit einem KI-3D-gedruckten Charakter (West Hall B)

Mittwoch, 9. August

• 15:45 Uhr: Fachvortrag: Composite Motion Learning mit Aufgabensteuerung (Petree Hall C)
• 15:45 Uhr: Fachvortrag: Constraint-basierte Simulation passiver Saugnäpfe (Petree Hall D)
• 15:45 Uhr: Fachvortrag: Oberflächensimplifizierung unter Verwendung intrinsischer Fehlermetriken (Raum 502 AB)

Donnerstag, 10. August

• 14:11 Uhr: Fachvortrag: Kürzester Weg zur Grenze für sich selbst schneidende Netze (Petree Hall C)