CubePart : un générateur 3D à vocabulaire ouvert et contrôlable par parties

Les ressources 3D interactives utilisées dans les jeux et les simulations sont généralement décomposées en parties sémantiques spécifiques pour prendre en charge l'animation, la physique et les comportements scriptés. Cependant, la plupart des modèles 3D génératifs produisent soit des maillages monolithiques, soit des décompositions arbitraires en parties qui ne peuvent pas être alignées sur les exigences spécifiques de l'application. Nous présentons CubePart, un cadre génératif pour la génération de maillages 3D à vocabulaire ouvert et contrôlables par partie, qui expose la structure des parties sous la forme d'un signal de contrôle explicite au moment de l'inférence. À partir d'une invite textuelle globale et d'un schéma de parties défini par l'utilisateur et exprimé sous la forme d'une liste ouverte de noms de parties, notre méthode génère un ensemble de maillages — un par élément du schéma — qui s'assemblent en un objet cohérent tout en respectant la structure sémantique spécifiée. Pour rendre cette fonctionnalité possible, nous introduisons un pipeline de données évolutif permettant de construire un vaste ensemble de données 3D à vocabulaire ouvert et étiqueté par partie, ainsi qu’une architecture générative en deux étapes qui sépare la synthèse de forme globale du décodage au niveau des parties. Nous démontrons que les ressources obtenues peuvent être directement intégrées dans des moteurs de jeu et pilotées par des scripts d’animation et de comportement sans post-traitement manuel. Page du projet