Robloxの4D生成AIへの道

• Robloxは、単一の3Dオブジェクトを超え、動的な相互作用を実現する4D生成AIの開発を進めています。 
• 4Dの課題を解決するには、外観、形状、物理特性、スクリプトにわたるマルチモーダルな理解が必要となります。
• 当社の4Dシステムの基盤となる初期ツールは、すでにプラットフォーム上での制作を加速させています。

Robloxは、クリエイターがアイデアを形にするために必要なツール、サービス、サポートを提供することで、没入感のある3D体験、アバター、アクセサリーの制作を支援しています。 当社のプラットフォーム上で活気あふれるコンテンツを制作しているのは、まさにこうしたクリエイターたちであり、そのコンテンツは1日あたり7,700万人以上（2024年第1四半期時点）のアクティブユーザーを魅了しています。無料の「Roblox Studio」アプリを通じて、Robloxのワークフローに合わせて独自に設計され、Roblox固有のコンテンツで学習された一連の生成AIツールをリリースしました。

これらのツールは、エキスパートから初心者まで、誰もがより簡単かつ効率的、そして楽しく創作を行えるようにします。「Assistant」は3Dワークスペースの編集を、「Animation Capture」は顔や体のモーションキャプチャを、「Code Assist」はスクリプトの編集と作成を、「Material Generator」はマテリアルのタイル状配置を、「Texture Generator」はアセット固有のテクスチャマッピングをそれぞれ可能にします。これらの生成AIツールは、それぞれ3D制作プロセスの特定の部分を強化します。

これらを組み合わせることで、クリエイターのスキルセットを拡張し、構想から完成までの時間を短縮します。 これらのツールは、当社独自の革新的な研究成果に加え、広範なAIエコシステムにおける最先端のソリューションを活用して構築されました。これらは、1D（スクリプト）、2D（サーフェス）、3D（空間）における個々のアセット作成に対応しています。当社は、自社主催のRoblox Developers Conferenceをはじめとする様々な国際研究カンファレンスにおいて、3Dジオメトリ生成・編集ラボによる成果の一部をプレビューしています。

業界全体において、1Dと2Dは最先端の技術であり、3Dは生成AIの最前線に位置しています。それぞれがますます重要な課題となっており、刺激的な技術的進歩を絶えず牽引しています。私たちは3D空間の中で生活しているため、3Dこそが生成AIの究極の課題のように思えるかもしれません。しかし、コミュニティのニーズに基づき、この取り組みに対する私たちのビジョンはさらに先へと広がっています。

現在の状況

私たちは、第4の次元を「インタラクション」とする4D生成AIの実現に向けて取り組んでいます。 Robloxのオンラインプラットフォームの真価は、人、オブジェクト、環境間の「インタラクション」にあります。従来のオンラインゲームとは異なり、Robloxの強力なランタイムエンジンは、インタラクションに焦点を当てた独自のプログラミングおよびシミュレーションモデルを活用しています。このモデルは、メタバースの概念に着想を得たもので、要素が規定された限定的な方法ではなく、複雑で多対多の、かつ自発的な形で交わることを可能にします。 

1D、2D、3Dの生成AIツールは個々のアセットを生成します。4D生成AIにおける私たちの課題は、プラットフォームに適した制限のないインタラクションを可能にする形で、それらのアセットに命を吹き込むことにあります。例えば、アバターは単なる形状や色だけでなく、骨格、アニメーション、そして道具を握ったりバランスを取ったりする能力も備えているということです。 そのアバターは、そのアバター専用にデザインされたものではない衣服を身にまとうことができ、その衣服は自動的に完璧にフィットするように調整され、あらゆる動きに追従します。当社の新しい「Avatar AutoSetup」ツールは、生成AIがこうした制作プロセスの自動化にどのように役立つかを示す初期の事例です。開発者は、このプロセスを数時間や数日ではなく、数分で完了できるようになりました。

スポーツカーは、流線型の形状やボディカラーだけではありません。エンジン、可動部品、そして物理演算リグによって構成されており、それらが一体となって、バーチャルな街路を精密かつ制御された動きで疾走することを可能にしています。いずれの場合も、オブジェクトは3Dから拡張され、物理演算を通じてすべてのパーツと相互作用し、アバターを通じてユーザーとも相互作用します。

こうしたインタラクティブ性に富んだ4D要素は、それぞれより大きな環境に組み込むことができます。そこで生成AIが各要素のスタイルを調和させ、オブジェクト間および環境との間にインタラクティブなサポートを注入します。これにより、ユーザーはアバターを通じて、ダメージシステムやハイスコア機能を備えたストリートレースに参加し、勝利を祝うために新しい服を買い求めるブランドファッションストアの前で、ドリフトを決めて停車することができるようになります。

現在、このような体験を創出するには、スクリプトのソースコード、ワークスペースやデータモデルの構造、3Dジオメトリ、アニメーション、マテリアルを手作業で作成する必要があります。当社の既存の生成AIツールは、このパイプラインの各工程を支援します。 私たちは、これらすべての要素を結びつけ、同時に生成するシステムを構築しています。これを実現するためには、4D生成AIシステムをマルチモーダル（複数のデータタイプを組み合わせて）に学習させる必要があります。これはすでに画像とテキストに対して行われており、Material Generatorの基盤となっています。インタラクションを可能にし、物理演算専用の最適化機能を追加することで、4D機能の次のレベルへと到達する予定です。

この1年だけで、Robloxにおけるコンテンツ制作のあり方は劇的に変化しました。将来を見据えると、どこにいても誰でも、コマンドを入力したり話したりするだけでアイデアを形にできる未来が待っています。その未来を実現するためには、その道のりで直面する課題の解決に着手する必要があります。

我々の前に立ちはだかる課題

上記でご紹介した実験機能は、近い将来に利用可能になる予定です。さらに先を見据えると、私たちが克服すべき3つの明確な課題があります： 

1. 機能性：この将来の生成AIツールによって作成されるオブジェクトは、機能的である必要があります。つまり、システムがトラックや飛行機といった3D形状を、単なる密閉された不透明なオブジェクトとしてではなく、内部構造を持つものとして認識することです。そして、クリエイターが介入することなく、どの部分にジョイントが必要か、あるいはメッシュをどこで開く必要があるかを自動的に認識できるようにすることです。

これは、システムが解決すべき人間レベルのAI課題です。例えば、正しい車輪の配置を探し出し、物理世界と同じように動作するように車輪用の車軸を追加すること。また、ドアの位置を特定し、開口部を切り取り、ヒンジを追加してドアが開閉できるようにすることです。

2. インタラクティブ性：この未来の生成AIで作成されたアイテムは、単独で機能するだけでなく、環境内の他のオブジェクトと相互作用できる必要があります。つまり、システムがドアが開き、車輪が回転する車を生成した後は、その車が置かれる世界の物理法則を理解する必要があります。 車両は地形上でどのように移動するのでしょうか？もし岩に衝突した場合、岩の大きさや車両の速度に基づいて、どこで、どのように変形するのでしょうか？

この複雑な課題には、生成されたオブジェクトと、それが相互作用する環境やオブジェクトの双方が、互いの物理法則を理解することが求められます。 幸いなことに、Robloxはこの点で優位に立っています。このプラットフォームは物理エンジンとして構築されているため、体験内のすべてのオブジェクトに物理性を付与できるからです。生成AIが4Dオブジェクトを作成する際、材質、質量、強度といった物理的特性も付与され、世界内の他の物理ベースのオブジェクトと相互作用できるよう準備されます。

3. 制御可能：現在、私たちはプロンプトを使って生成AIと対話しています。これは不完全な科学であり、宝探しのようなものです。「ウサギの画像」とリクエストしても、実際のウサギ、イースターのチョコレートウサギ、アニメのウサギ、ウサギの絵画、あるいはコートを着たウサギのイラストなど、多種多様な結果が返ってくる可能性があります。 そこで、頭の中にあるイメージに近づけるよう、フォトリアリスティックな画像や「○○風の」画像を求めるなどして、プロンプトを微調整します。求めているものに近づくには、時間と繰り返しの試行が必要です。

先ほどの例で挙げたトラックのように、機能を持ち、他のオブジェクトと相互作用する3Dオブジェクトに対して、このプロセスを試みると想像してみてください。このレベルのプロンプトエンジニアリングは、その複雑さが指数関数的に増大し、誰もが簡単に使えるようなものではありません。クリエイターのアイデアを現実のものにするためには、より迅速かつ容易に意思疎通を行い、調整を重ねる方法が必要です。つまり、宝探しのような作業ではなく、パートナーとして機能するAIアシスタントとの協働が求められるのです。 

これは業界全体の課題であり、多くの企業が生成AIの制御性を高めるために取り組んでいます。私たちは、テキストプロンプトだけでなく追加の入力条件をクリエイターが指定できるようにすることで制御性を高める「ControlNet」などのツールを通じて、一定の進展を遂げています。現在、重要なステップの後にAIを一時停止させてユーザー入力を待つなど、満足のいくワークフローを実現する可能性を秘めた他の手法も模索しています。しかし、シームレスな体験を実現するには、まだ長い道のりがあります。

これまでの成果には大きな期待を寄せていますが、今後の展開にはさらに大きな期待を寄せています。Material Generatorのベータ版を利用していないクリエイターと比較して、利用しているクリエイターは物理ベースレンダリング（PBR）マテリアルのバリエーション使用数を100％以上増加させています。具体的には、2023年3月の1,000件強から、2024年6月には2,000件以上に増加しました。 2024年6月2日現在、クリエイターはCode Assistが提案したコードを約5億3500万文字分採用しています。 

4Dへの道のりで課題の解決が進むにつれ、クリエイターはより多くのものを、より速く作成できるようになります。また、より多くの人々がクリエイターになれるよう支援することで、Roblox上での体験の多様性もさらに広がるものと期待しています。彼らが何を作り、どのように作るかによって、既存のコミュニティと共に、これらの新しいクリエイターを支援するために、どの新しいツールやAIアルゴリズムに投資すべきかが明らかになるでしょう。 

4D生成AIにより、Robloxは体験とアセット制作の新たなフロンティアを切り拓きました。課題は新たなものですが、私たちのイノベーションプロセスは十分に洗練されています。私たちは、最高水準の社内研究開発チーム、大学との連携、そしてコミュニティとのパートナーシップによるプロトタイプの迅速な反復開発を組み合わせています。