このサイトのコンテンツは、人工知能(AI)または機械翻訳技術を使用して翻訳されており、誤りが含まれている場合があります。

Skip to content

『言葉から世界へ:LLMエージェントを用いて一行のプロンプトをマルチモーダルなデジタルストーリーに変える』

View Publication

Author

Danrui Li(ラトガース大学)、Samuel S. Sohn(ラトガース大学)、Sen Zhang(ラトガース大学)、Che-Jui Chang(ラトガース大学)、Mubbasir Kapadia(Roblox)

Venue

ACM SIGGRAPH Motion, Interaction, and Games 2024

Abstract

エンターテインメント、教育、マーケティングにおいて不可欠なデジタルストーリーテリングは、制作の拡張性と柔軟性において課題に直面している。本論文で提案するStoryAgentフレームワークは、大規模言語モデル(LLM)と生成ツールを活用し、デジタルストーリーテリングの自動化と洗練を図るものである。 StoryAgentは、トップダウン型のストーリー草案作成とボトムアップ型のアセット生成というアプローチを採用し、手作業による介入、インタラクティブなシーンの調整、物語の一貫性といった主要な課題に取り組む。このフレームワークにより、複数のモダリティにわたるインタラクティブで一貫性のある物語を効率的に制作することが可能となり、コンテンツ制作の民主化とエンゲージメントの向上が図られる。我々の結果は、参照動画なしで首尾一貫したデジタルストーリーを生成する本フレームワークの能力を実証しており、自動化されたデジタルストーリーテリングにおける重要な進歩を示すものである。