Roblox、SIGGRAPH 2023で3Dモーションおよびレンダリングに関する研究を発表

Roblox Researchは、10億人の人々を前向きな姿勢と礼節をもってつなぐことを目標に、当社のソーシャル3Dプラットフォームのための技術の基礎科学を追求しています。私たちは、第一原理と人工知能（AI）技術を組み合わせることで、3Dコンテンツ制作、物理シミュレーション、リアルタイムモデレーションを進化させています。 私たちの最新の研究成果により、髪の毛、布地、物体、そして風景が、現実世界と同じように動きや衝突、風に対して反応するようになりました。数億人のユーザーを抱えるグローバルプラットフォームを支えているため、あらゆる側面においてクライアント側とサーバー側の両方でスケーラビリティを確保し、旧式の携帯電話から最新のAR/VRヘッドセットに至るまで、あらゆるデバイスに対応する必要があります。以下で発表する研究の詳細や、SIGGRAPHでの私たちのブースの場所については、スケジュールをご覧ください。 

最適化されたレンダリング

3Dワールドがよりリアルになるにつれ、構造物や地形はますます複雑化しています。こうした複雑な環境をレンダリングするには、布の波打ちやねじれ、起伏のある地形など、現実世界のような効果を実現するソリューションが必要です。Robloxの研究者であるHsueh-Ti Derek Liu氏と、カーネギーメロン大学およびトロント大学の共同研究者は、プレゼンテーション「Intrinsic Error Metricsを用いたサーフェス簡略化（Surface Simplification Using Intrinsic Error Metrics）」において、固有の三角形分割を簡略化する方法提案しています。 従来のメッシュ簡略化はレンダリング目的でオブジェクトの外観を維持しますが、オブジェクトがねじれたり、曲がったり、折りたたまれたりし得るシミュレーションが目的の場合はどうでしょうか？この手法は、はるかに広大な固有三角分割の空間を探索することでシミュレーション用のメッシュを簡略化し、測地線距離の計算などの一般的なタスクにおいて1,000倍以上の高速化を実現します。この革新的な手法は、シミュレーションにおける詳細度の向上に寄与する可能性があります。

また、劉氏はジョージ・メイソン大学、トロント大学、ウォータールー大学の同僚らとの共同研究として、「微分可能なハイトフィールド・パストレーシング」に関する成果も発表する。これにより、AIトレーニング用途において、地形、影、3Dオブジェクトの高速かつリアルなレンダリングが可能となる。 このアプローチはリアルタイムのフレームレートを実現し、既存の3Dメッシュ微分レンダラーのほとんどよりも桁違いに高速です。これにより、当社の生成AIやモデレーションAIツールの将来バージョンを含む、インタラクティブな逆レンダリングアプリケーションの可能性が開かれます。研究者らは、地形最適化やテキストベースの形状生成など、多くのインタラクティブなタスクを用いてこの手法を実証しています。

アバターおよびその先に向けたリアルなモーション

人間の動きは複雑で、そのバリエーションも多岐にわたります。私たちの目標は、仮想環境におけるリアリズムと表現力を高めるために、この動きを忠実に再現することですが、これは大きな課題です。例えば、マルチタスク、つまり異なる動作をシームレスに組み合わせることは、人間が非常に得意とする分野です。従来のコンピュータグラフィックスは、歩行や投擲といった単一の動作に焦点を当てており、複合的な動作を実現するには明示的な記述が必要でした。 

Robloxの研究者であるVictor Zordan氏とPei Xu氏は、クレムソン大学およびカリフォルニア大学マーセド校の同僚らと共に発表した論文『Composite Motion Learning with Task Control』において、マルチタスク動作制御のための新しい強化学習アプローチを概説しています。この研究は、物理シミュレーションされたキャラクターのための複雑なタスク駆動型動作制御に向けた強化学習アプローチを提案するものです。 この多目的制御アプローチにより、キャラクターは「歩きながらジャグリングをする」といった複合的なマルチタスク動作を実行できるようになる。また、複合動作の明示的な参照動作例がなくても、他の多種多様な活動を組み合わせることができる。さらに、このアプローチは既存のコントローラーを再利用することで、サンプル効率の高いトレーニングもサポートする。 

Robloxはシミュレーションベースの3Dプラットフォームであり、オブジェクト間およびアバターとの主な相互作用は、明示的なコードではなく第一原理物理学によって仲介されています。本年、私たちはオブジェクトシミュレーションにおける異なる進歩に関する2つの新しい成果を発表します。

Yukselは、UCLA、ユタ大学、Adobe Researchの同僚たちと共に、「Multi-layer Thick Shells」を発表します。これは、革製の衣服、枕、マット、金属板などの素材に対して、厚みを考慮したシミュレーションを可能にする新しいアプローチを提案するものです。このアプローチはせん断ロックを回避し、細かいしわのディテールを効率的に捉えることができ、多様な構造物に対する高速かつ高品質な厚み考慮シミュレーションへの道を開きます。 

インタラクティブイベント

Robloxプラットフォーム上のすべてはインタラクティブかつリアルタイムです。当社の最新技術の進歩を体感する最良の方法は、ライブデモや「Real-Time Live」セッションを通じて、実際に動作する様子をご覧いただくことです。「Roblox Generative AI in Action」では、研究者のブレント・ヴィンセント氏とカルティック・アヤール氏が、クリエイターが自然言語やその他の意図表現を活用し、複雑なモデリングやコーディングなしにインタラクティブなオブジェクトやシーンを構築する方法を実演します。 「AI 3Dプリントキャラクターによる仲介現実（Intermediated Reality）」では、Robloxのケニー・ミッチェルと3Finery Ltdのロガリ・カサス・カンブラが、ライブ音声認識を処理し、3Dプリントされたキャラクターとして応答を生成するAIモデルを披露します。このモデルは、音声に同期してキャラクターの表情をアニメーション化します。 

また、Robloxの科学者たちは「Frontier Workshops」のパネルディスカッションにも登壇します。「Beyond IRL：3Dインタラクティブ・ソーシャルメディアが、私たちの交流、表現、思考をどう変えているか」では、Robloxの科学者であるローレン・チーサムとカリッサ・カンが、各分野の専門家、社会科学者、行動研究者と共に参加し、没入型仮想環境がいかにして態度や行動の形成を助け、アイデンティティの探求を支援し、若い世代が現実世界にも応用できる健全な境界線を確立する手助けとなるかについて議論します。 「オンラインでの共体験に向けた表現力豊かなアバターの相互作用」セッションでは、Robloxの科学者であるイアン・サックス、ヴィヴェック・ヴィルマ、ショーン・パーマー、トム・サノッキ、ケニー・ミッチェルが、他の専門家と共に、世界中の大規模なコミュニティに向けて遠隔での相互作用や表現力豊かなコミュニケーションを実現する体験を展開する上で直面した課題や得られた教訓について議論します。  

エイドリアン・シュアン・ウェイ・リムが司会を務めるポスターセッションでは、「リバース・プロジェクション：リアルタイム・ローカル・スペース・テクスチャ・マッピング」が発表されます。これは、3Dオブジェクトのテクスチャにデカールをリアルタイムで直接描画する、ゲーム用途向けに設計された新しい投影技術です。 ローカル空間テクスチャ内で計算され、外向きに投影される投影技術を用いることで、ローエンドのAndroidデバイスからハイエンドのゲーミングデスクトップまで、あらゆる環境のクリエイターがアセットのカスタマイズを楽しむことができます。この提案されたパイプラインは、モデルペインティングの速度と汎用性を向上させるための第一歩となる可能性があります。

Roblox ResearchチームがSIGGRAPH 2023で発表する論文の全リストはこちらをご覧ください。下記に記載されている当社のブースやセッションにもぜひお立ち寄りください。皆様とお会いできるのを楽しみにしています！

8月6日（日）

• 午前9時：Frontiers Workshop：IRLを超えて、3Dインタラクティブ・ソーシャルメディアが私たちの交流、表現、思考をどう変えるか（Room 301 B）
• 午後3時45分：トーク：リグを使わないリギング：キャラクターアニメーションにおける新手法（515 B室）

8月7日（月）

• 午前9時：ポスターセッション：リバースプロジェクション：リアルタイム局所空間テクスチャマッピング（西ロビー入口）
• 午前9時：フロンティア・ワークショップ：オンライン共同体験における表現力豊かなアバターの相互作用（301 B室）

8月8日（火）

• 午前11時38分：テクニカルペーパー：加速された不連続性を用いた微分可能なハイトフィールド・パストレーシング（ペトリーホール C）
• 午後2時20分：技術論文：ストランドベースのハイブリッドヘアシミュレーションにおけるたるみのない初期化 *佳作（ペトリーホール C）
• 午後2時54分：テクニカルペーパー：多層厚殻（ペトリーホール C）
• 午後6時：リアルタイム・ライブ：Robloxの生成AIの実演（ウェストホールB）
• 午後6時：リアルタイム・ライブ：AI 3Dプリントキャラクターによる「インターメディエイト・リアリティ」（ウェスト・ホール B）

8月9日（水）

• 15:45：テクニカルペーパー：タスク制御を用いた複合運動学習（ペトリー・ホール C）
• 午後3時45分：技術論文：受動型吸盤の制約ベースシミュレーション（ペトリー・ホール D）
• 午後3時45分：技術論文：固有誤差指標を用いた表面の単純化（502 AB室）

8月10日（木）

• 午後2時11分：技術論文：自己交差メッシュの境界への最短経路（ペトリー・ホール C）