SIGGRAPH 2024におけるRobloxの3Dおよび4D技術の飛躍的進歩
Robloxは、世界中のクリエイターがアバターやアクセサリー、体験コンテンツを制作し、世界中の人々がつながれる3D没入型プラットフォームを構築するため、絶え間ないイノベーションを続けています。
世界有数のコンピュータグラフィックスおよびインタラクティブ技術のカンファレンスであるSIGGRAPHにて、私たちは新たな技術的・アルゴリズム的なブレークスルーを発表します。今回紹介する研究には、ゴムのように伸びる3Dマテリアルを実現する新手法、フェイシャルアニメーションを備えたアバターをより高速に生成する方法、そしてよりリアルに動く髪の毛の表現などが含まれます。これらは、没入型3Dの未来を切り拓くための、確固たる理論的成果と初期段階のプロトタイプです。 詳細な技術内容については、デンバーで開催されるSIGGRAPHでのセッションにご参加ください。
ますます精細になるアバター
アバターは、Robloxにおける自己表現の核となる存在です。完全な顔面アニメーション、カスタマイズ可能なボディ、重ね着可能な衣装、そしてプラットフォーム全体で一貫した外観を備えています。当社の最近の「Digital Expressions Report」によると、Z世代の回答者の88％が、Robloxのようなメタバース的な世界で自己表現を行うことが、日常生活においてより自然に自分を表現する助けになっていると答えています。この自己表現を支援するため、私たちはアバター技術の最先端を追求し続けています。
3Dメッシュから新しいアバターを作成するには、従来、高度な技術力を要する複数の工程が必要でした。これが4D生成における課題の一つです。静的な3Dアセットを、メタバース体験の中で生き生きと動き出すよう、完全に動的でインタラクティブかつ組み合わせ可能なものへと拡張することです。 ケージング、リギング、スキニングといった工程には、プロのクリエイターであっても、アバター1体につき最大1週間を要する場合があります。さらに、当社のプラットフォームが備える高度な衣装や表情機能との互換性を確保するため、追加の作業が必要となります。
この技術がプラットフォームに与える影響は、「アバター自動セットアップ」を通じて体験できます。これは、入力されたジオメトリのみのモデルを、Roblox に対応し、カスタマイズ可能で、アニメーション対応、リグおよびスキンの適用済みのアバターに変換する自動化システムです。このシステムにより、かつては最大 1 週間かかっていたプロセスが、今では数分で完了するようになりました。
Roblox上でユーザーが自己表現を行う際、アバターの髪型を変えることは人気のある方法の一つです。2023年だけでも、Robloxユーザーは1億3,900万以上のヘアスタイルを購入し、730万人のユーザーが5つ以上のヘアスタイルを購入しました。しかし、現実世界と同様に一本一本の髪の毛が動くようなリアルなヘアスタイルを実現することは、極めて困難です。 人間の頭皮には平均して10万本から15万本の毛包があります。この規模の複雑な形状をシミュレートし、保存し、転送することは、計算効率と堅牢性の両面で困難です。
RobloxのCem Yuksel氏と、LightSpeed Studiosおよびユタ大学の共同研究者らは、論文「Real-time Physically Guided Hair Interpolation」において、既存のシミュレーションによるガイドヘアデータを活用する、物理演算駆動型の新しいヘア補間手法を提案している。この手法により、オーバーヘッドをほぼ発生させることなく、体験におけるヘアレンダリングの視覚的品質を大幅に向上させることができる。
リアルな3Dシミュレーションとレンダリング
Robloxのクリエイターは、ユーザーが参加して遊んだり交流したりする体験だけでなく、その体験を構成するオブジェクトも作成しています。Robloxが、低解像度のAndroid端末から高解像度のゲーム機やVRヘッドセットに至るまで、より多くのプラットフォームで利用可能になるにつれ、これらのオブジェクトをユーザーのデバイス上で可能な限り最高の解像度で表示できることが重要となります。
光と影は、3Dレンダリングにおいてしばしば課題となります。最近の研究では大きな進歩が見られますが、既存の手法では、被写界深度やアンチエイリアシングといったカメラ効果によって画像がぼやけてしまうことがあります。RobloxのCem Yuksel氏は、NVIDIAおよびユタ大学との共同研究として、「Area ReSTIR: Resampling for Real-Time Defocus and Antialiasing」を発表しました。この研究では、ReSTIRにエリアサンプリングを導入し、これらのカメラ効果をより効率的に解決します。 その結果、より少ないサンプル数で、光と影の境界が鮮明になり、ディテールが向上します。
新しいArea ReSTIRを使用して表示した同じ街並みのシーン。照明と影が改善されています。
RobloxのHsueh Derek Liu氏らは、論文「A Unified Differentiable Boolean Operator with Fuzzy Logic」において、構成的ソリッド幾何学（CSG）による3D表現のための生成AIを可能にする手法を提示しています。Robloxの物理シミュレーターは、CSGを用いたエンジニアリング業界のソリッドモデリングからその堅牢性を得ており、これにより現実味のある仮想形状の作成も簡素化されています。 エンターテインメント業界では薄肉サーフェスモデリングが一般的ですが、これではオブジェクト内部の体積を表現できません。従来、CSGは生成AIと互換性がありませんでした。なぜなら、AIの学習および幾何学への適用における微分処理には、形状の連続的な変化に類似した数学的性質が必要とされるからです。「ファジー」演算を実行するための新しい数学的プリミティブを考案することで、微分可能なCSGを実現し、それを基にCSG生成AIを構築しました。
ここ20年近く、Robloxの研究開発（R&D）への多大な投資のおかげで、当社のプラットフォームとそこで活気あふれるコミュニティは、技術革新によって支えられてきました。優れたR&Dには、リスクと率直な評価が不可欠です。私たちのR&D調査のすべてが、製品機能となるのにふさわしい形やタイミングで成果を上げるわけではありません。また、この記事で説明する取り組みは、あくまで仮説的かつ将来を見据えたものです。 しかし、ここで紹介する新技術の一部は、すでにRobloxクリエイターが利用できるツールに組み込まれており、よりリアルなアバターや3Dワールドの実現に貢献していることを嬉しく思います。あらゆる研究は、この分野全体および3D没入型プラットフォームの技術を進歩させるための重要な一歩です。
AI、アバター、物理演算、グラフィックスといった分野において、SIGGRAPH 2024で一連の新たな進歩を世界に向けて発表できることを楽しみにしています。
