Van woorden naar werelden: het omzetten van éénregelige prompts in multimodale digitale verhalen met LLM-agenten
Author
Venue
ACM SIGGRAPH Motion, Interaction, and Games 2024
Abstract
Digitaal verhalen vertellen, essentieel in entertainment, onderwijs en marketing, staat voor uitdagingen op het gebied van schaalbaarheid en flexibiliteit bij de productie. Het StoryAgent-framework, dat in dit artikel wordt geïntroduceerd, maakt gebruik van Large Language Models en generatieve tools om digitaal verhalen vertellen te automatiseren en te verfijnen. Door gebruik te maken van een top-down benadering voor het opstellen van verhalen en een bottom-up benadering voor het genereren van assets, pakt StoryAgent belangrijke kwesties aan, zoals handmatige interventie, interactieve scène-orkestratie en narratieve consistentie. Dit framework maakt een efficiënte productie mogelijk van interactieve en consistente verhalen in meerdere modaliteiten, waardoor het creëren van content wordt gedemocratiseerd en de betrokkenheid wordt vergroot. Onze resultaten tonen aan dat het framework in staat is om samenhangende digitale verhalen te produceren zonder referentievideo's, wat een belangrijke vooruitgang betekent op het gebied van geautomatiseerde digitale storytelling.
