Le contenu de ce site a été traduit à l'aide de l'intelligence artificielle (IA) ou d'une technologie de traduction automatique, et peut contenir des erreurs.

Skip to content

Des mots aux mondes : transformer des consignes d'une ligne en récits numériques multimodaux avec des agents LLM

View Publication

Author

Danrui Li (Université Rutgers), Samuel S. Sohn (Université Rutgers), Sen Zhang (Université Rutgers), Che-Jui Chang (Université Rutgers), Mubbasir Kapadia (Roblox)

Venue

ACM SIGGRAPH Motion, Interaction, and Games 2024

Abstract

La narration numérique, essentielle dans les domaines du divertissement, de l'éducation et du marketing, est confrontée à des défis en matière d'évolutivité et de flexibilité de la production. Le cadre StoryAgent, présenté dans cet article, utilise des modèles linguistiques de grande envergure et des outils génératifs pour automatiser et affiner la narration numérique. En adoptant une approche de rédaction de récits descendante et de génération de ressources ascendante, StoryAgent s'attaque à des problèmes clés tels que l'intervention manuelle, l'orchestration de scènes interactives et la cohérence narrative. Ce cadre permet la production efficace de récits interactifs et cohérents sur plusieurs modalités, démocratisant ainsi la création de contenu et renforçant l'engagement. Nos résultats démontrent la capacité du cadre à produire des récits numériques cohérents sans vidéos de référence, marquant une avancée significative dans la narration numérique automatisée.