I contenuti di questo sito sono stati tradotti mediante intelligenza artificiale (IA) o tecnologia di traduzione automatica e potrebbero contenere errori.

Skip to content

Dalle parole ai mondi: trasformare prompt di una riga in storie digitali multimodali con agenti LLM

View Publication

Author

Danrui Li (Università Rutgers), Samuel S. Sohn (Università Rutgers), Sen Zhang (Università Rutgers), Che-Jui Chang (Università Rutgers), Mubbasir Kapadia (Roblox)

Venue

ACM SIGGRAPH Motion, Interaction, and Games 2024

Abstract

La narrazione digitale, essenziale nell'intrattenimento, nell'istruzione e nel marketing, deve affrontare sfide in termini di scalabilità e flessibilità della produzione. Il framework StoryAgent, presentato in questo articolo, utilizza modelli linguistici di grandi dimensioni e strumenti generativi per automatizzare e perfezionare la narrazione digitale. Adottando un approccio top-down alla stesura della storia e bottom-up alla generazione delle risorse, StoryAgent affronta questioni chiave quali l'intervento manuale, l'orchestrazione interattiva delle scene e la coerenza narrativa. Questo framework consente una produzione efficiente di narrazioni interattive e coerenti su più modalità, democratizzando la creazione di contenuti e migliorando il coinvolgimento. I nostri risultati dimostrano la capacità del framework di produrre storie digitali coerenti senza video di riferimento, segnando un significativo progresso nello storytelling digitale automatizzato.