Konten di situs ini telah diterjemahkan menggunakan kecerdasan buatan (AI) atau teknologi penerjemahan mesin, dan mungkin terdapat kesalahan.

Skip to content

Dari Kata-kata Menuju Dunia: Mengubah Prompt Satu Baris Menjadi Cerita Digital Multimodal dengan Agen LLM

View Publication

Author

Danrui Li (Universitas Rutgers), Samuel S. Sohn (Universitas Rutgers), Sen Zhang (Universitas Rutgers), Che-Jui Chang (Universitas Rutgers), Mubbasir Kapadia (Roblox)

Venue

ACM SIGGRAPH Motion, Interaction, and Games 2024

Abstract

Penceritaan digital, yang esensial dalam hiburan, pendidikan, dan pemasaran, menghadapi tantangan dalam skalabilitas dan fleksibilitas produksi. Kerangka kerja StoryAgent, yang diperkenalkan dalam makalah ini, memanfaatkan Model Bahasa Besar dan alat generatif untuk mengotomatisasi dan menyempurnakan penceritaan digital. Dengan menerapkan pendekatan penulisan cerita top-down dan pembuatan aset bottom-up, StoryAgent mengatasi masalah utama seperti intervensi manual, pengaturan adegan interaktif, dan konsistensi naratif. Kerangka kerja ini memungkinkan produksi narasi interaktif dan konsisten yang efisien di berbagai modalitas, mendemokratisasi pembuatan konten, dan meningkatkan keterlibatan. Hasil kami menunjukkan kemampuan kerangka kerja ini untuk menghasilkan cerita digital yang koheren tanpa video referensi, menandai kemajuan signifikan dalam penceritaan digital otomatis.