Roblox présentera ses recherches sur le mouvement et le rendu 3D lors du SIGGRAPH 2023

Roblox Research se consacre à la recherche fondamentale en matière de technologie pour notre plateforme sociale en 3D, dans le but de connecter un milliard de personnes dans un esprit d'optimisme et de civilité. Nous faisons progresser la création de contenu 3D, la simulation physique et la modération en temps réel en combinant les principes fondamentaux et les techniques d'intelligence artificielle (IA). Nos derniers travaux permettent aux cheveux, aux tissus, aux objets et aux paysages de réagir aux mouvements, aux collisions et au vent exactement comme ils le feraient dans le monde réel. Comme nous gérons une plateforme mondiale comptant des centaines de millions d'utilisateurs, chaque aspect doit être évolutif tant du côté client que du côté serveur, et prendre en charge tous les appareils, des anciens téléphones aux derniers casques de RA/RV. Découvrez ci-dessous les travaux que nous présenterons et consultez le programme pour savoir où nous trouver au SIGGRAPH. 

Rendu optimisé

À mesure que les mondes 3D gagnent en réalisme, les structures et les terrains deviennent de plus en plus complexes. Le rendu de ces environnements complexes nécessite des solutions pour reproduire des effets du monde réel tels que les tissus ondulés ou tordus, les terrains accidentés, etc. Dans leur présentation intitulée « Surface Simplification Using Intrinsic Error Metrics », le chercheur de Roblox Hsueh-Ti Derek Liu et ses collègues de l’université Carnegie Mellon et de l’université de Toronto proposent une méthode pour simplifier les triangulations intrinsèques. La simplification classique des maillages préserve l’apparence d’un objet à des fins de rendu, mais qu’en est-il si l’objectif est la simulation, où les objets peuvent être tordus, courbés ou pliés ? Cette méthode simplifie le maillage pour la simulation en explorant l’espace bien plus vaste des triangulations intrinsèques, ce qui permet d’obtenir des résultats plus de 1 000 fois plus rapides pour des tâches courantes telles que le calcul des distances géodésiques. Cette méthode novatrice pourrait contribuer à atteindre des niveaux de détail plus élevés pour la simulation.

Liu présentera également des travaux sur le tracé de chemin différentiable sur champ de hauteur, en collaboration avec des collègues de l’université George Mason, de l’université de Toronto et de l’université de Waterloo. Cela permet un rendu rapide et réaliste du terrain, des ombres et des objets 3D pour les applications d’entraînement de l’IA. Cette approche permet d'atteindre des fréquences d'images en temps réel, d'un ordre de grandeur plus rapide que la plupart des moteurs de rendu différentiel de maillages 3D existants. Elle ouvre la voie à des applications de rendu inverse interactif, notamment les futures versions de nos outils d'IA générative et d'IA de modération. Les chercheurs démontrent cette méthode à travers de nombreuses tâches interactives, telles que l'optimisation de terrain et la génération de formes à partir de texte.

Des mouvements réalistes pour les avatars et au-delà

Les mouvements humains sont complexes et très variés. Notre objectif est de les reproduire fidèlement dans toute leur précision pour garantir le réalisme et l’expressivité dans les environnements virtuels, ce qui représente un défi de taille. Le multitâche, ou la combinaison fluide de différents comportements, par exemple, est une aptitude à laquelle les humains excellent. L’infographie traditionnelle se concentre sur des comportements individuels tels que la marche ou le lancer, et nécessite des combinaisons de comportements explicitement programmées. 

Dans leur article intitulé « Composite Motion Learning with Task Control », les chercheurs de Roblox Victor Zordan et Pei Xu, en collaboration avec des collègues de l’université de Clemson et de l’université de Californie à Merced, présentent une nouvelle approche d’apprentissage par renforcement pour le contrôle de mouvements multitâches. Cette recherche propose une approche d’apprentissage par renforcement pour le contrôle de mouvements complexes axés sur des tâches pour des personnages simulés physiquement. Grâce à cette approche de contrôle multi-objectifs, les personnages peuvent effectuer des mouvements composites multitâches, comme jongler tout en marchant. Ils peuvent également combiner un large éventail d’autres activités sans exemples de mouvement de référence explicites pour le comportement combiné. Cette approche permet également un apprentissage efficace en termes d’échantillonnage grâce à la réutilisation de contrôleurs existants. 

Roblox est une plateforme 3D basée sur la simulation, dans laquelle les interactions principales entre les objets et avec les avatars sont régies par les principes fondamentaux de la physique plutôt que par un code explicite. Cette année, nous partageons deux nouveaux résultats concernant différentes avancées en matière de simulation d'objets.

En collaboration avec des collègues de l'UCLA, de l'université de l'Utah et d'Adobe Research, Yuksel présentera « Multi-layer Thick Shells », qui propose une approche novatrice permettant des simulations tenant compte de l'épaisseur pour des matériaux tels que les vêtements en cuir, les oreillers, les tapis et les plaques métalliques. Cette approche évite le blocage par cisaillement, capture efficacement les détails des plis fins et ouvre la voie à des simulations rapides, de haute qualité et tenant compte de l'épaisseur pour une grande variété de structures. 

Événements interactifs

Tout sur la plateforme Roblox est interactif et en temps réel. La meilleure façon de découvrir nos dernières avancées est de les voir en action grâce à des démonstrations en direct et à nos sessions en temps réel. Lors de l’événement « Roblox Generative AI in Action », les chercheurs Brent Vincent et Kartik Ayyar montreront comment les créateurs peuvent exploiter le langage naturel et d’autres expressions d’intention pour créer des objets et des scènes interactifs sans modélisation ni codage complexes. Lors de la session « Intermediated Reality with an AI 3D-printed Character », Kenny Mitchell de Roblox et Llogari Casas Cambra de 3Finery Ltd présenteront un modèle d'IA qui traite la reconnaissance vocale en direct et génère des réponses sous la forme d'un personnage imprimé en 3D, en animant les traits du personnage en synchronisation avec l'audio. 

Les scientifiques de Roblox interviendront également lors de tables rondes dans le cadre des Frontier Workshops. Lors de la session « Au-delà de l’IRL : comment les réseaux sociaux interactifs en 3D transforment notre façon d’interagir, de nous exprimer et de penser », les scientifiques de Roblox Lauren Cheatham et Carissa Kang se joindront à des experts du domaine, des sociologues et des chercheurs en comportement pour discuter de la manière dont les environnements virtuels immersifs peuvent contribuer à façonner les attitudes et les comportements, favoriser l’exploration de l’identité et aider les jeunes générations à établir des limites saines pouvant s’étendre à leur monde réel. Lors de la session « Expressive Avatar Interactions for Co-experiences Online », les scientifiques de Roblox Ian Sachs, Vivek Virma, Sean Palmer, Tom Sanocki et Kenny Mitchell, accompagnés d’autres experts, discuteront des défis et des enseignements tirés du déploiement d’expériences favorisant l’interactivité à distance et la communication expressive auprès d’une vaste communauté mondiale.  

Adrian Xuan Wei Lim animera une session de posters pour présenter « Reverse Projection: Real-Time Local Space Texture Mapping », une technique de projection novatrice conçue pour les jeux vidéo qui permet de peindre un décalque directement sur la texture d’un objet 3D en temps réel. En utilisant des techniques de projection calculées dans des textures d'espace local et orientées vers l'extérieur, les créateurs utilisant n'importe quel appareil, des appareils Android bas de gamme aux ordinateurs de bureau de jeu haut de gamme, peuvent profiter de la personnalisation de leurs ressources. Ce pipeline proposé pourrait constituer une avancée vers l'amélioration de la vitesse et de la polyvalence de la peinture de modèles.

Découvrez ici tous les articles que l'équipe de recherche Roblox présentera au SIGGRAPH 2023. Venez nous rendre visite à notre stand et assister à nos sessions, dont la liste figure ci-dessous. Nous avons hâte de vous rencontrer en personne !

Dimanche 6 août

• 9 h : Atelier Frontiers : Au-delà de l'IRL, comment les réseaux sociaux interactifs en 3D changent notre façon d'interagir, de nous exprimer et de penser (Salle 301 B)
• 15 h 45 : Conférence : Rigging sans rig : nouvelles méthodes d'animation de personnages (Salle 515 B)

Lundi 7 août

• 9 h : Session d'affiches : Projection inversée : mappage de textures en temps réel dans l'espace local (Entrée du hall ouest)
• 9 h : Atelier Frontiers : Interactions expressives entre avatars dans les expériences collaboratives en ligne (salle 301 B)

Mardi 8 août

• 11 h 38 : Article technique : Traçage de chemin sur champ de hauteur différentiable avec discontinuités accélérées (Petree Hall C)
• 14 h 20 : Article technique : Initialisation sans affaissement pour la simulation hybride de cheveux par brins *Mention honorable (Petree Hall C)
• 14 h 54 : Article technique : Coques épaisses multicouches (Petree Hall C)
• 18 h : Démonstration en direct : l'IA générative de Roblox en action (West Hall B)
• 18 h : Démonstration en direct : réalité intermédiée avec un personnage imprimé en 3D par IA (West Hall B)

Mercredi 9 août

• 15 h 45 : Article technique : Apprentissage de mouvements composites avec contrôle des tâches (Petree Hall C)
• 15 h 45 : Article technique : Simulation basée sur des contraintes de ventouses passives (Petree Hall D)
• 15 h 45 : Article technique : Simplification de surface à l'aide de mesures d'erreur intrinsèques (Salle 502 AB)

Jeudi 10 août

• 14 h 11 : Article technique : Chemin le plus court vers la limite pour les maillages s'intersectant eux-mêmes (Petree Hall C)