安全スナップショット：3月

3月の「Safety Snapshot」では、問題のあるコンテンツを検知し、ユーザーが閲覧する前に削除するよう設計された自動システムを通じて、コンテンツをどのように管理しているかをご紹介します。また、クリエイターが自身のゲーム内で不適切なユーザー行動を発見し対処できるよう支援する新しいダッシュボードや、業界全体のコミュニティマネージャーを育成する新しいプログラムについてもご紹介します。ユーザー報告ツールの詳細については、先月の「Safety Snapshot」をご覧ください。 

ユーザー行動の継続的な監視 

Robloxの魅力の一つは、クリエイターによって生み出される、絶えず拡大し変化し続けるコンテンツにあります。クリエイターは常にゲームのアップデートを公開し、新しいバッジやペットを追加しており、ユーザーはアバターの衣装を変更したり、リアルタイムで何かを描いたり作ったりしています。私たちは、これらすべてがプラットフォームに公開される前に審査を行い、ガイドラインに違反するものはすべて削除しています。 

Roblox上の問題のあるコンテンツの大部分は、多層的なモデレーションツールによって捕捉されており、コミュニティ基準に反するものはすべて拒否されます。しかし、私たちも完璧ではないため、ユーザーからの報告を活用して見落としがあった場合を見つけ出し、適切な措置を講じています。

Robloxのゲームはダイナミックな性質を持つため、コンテンツは、ユーザーが以前に承認されたアバター、衣装、動きをどのように組み合わせるかによって絶えず変化します。例えば、自由な描画が可能なゲームでは、ユーザーが不快なシンボルやアイテムを描いてしまう可能性があります。そのため、当社は最近、これらの組み合わせをまとめてスキャンできる、リアルタイムのマルチモーダルモデレーションのための新しいAIシステムを導入しました。 

従来のAIモデレーションシステムは、一度に1つのオブジェクトを評価するように設計されており、文脈を捉えきれないことが多く、個々のアイテムだけでは問題にならないような組み合わせによるリスクを見逃しがちです。 当社の新しいリアルタイム・マルチモーダルモデレーションシステムは、アバター、テキスト、3Dオブジェクトを含むシーン全体を評価します。特定の瞬間のこれらすべての要素をまとめて捉え、シーン全体が当社のルールに違反しているかどうかを判断します。もし、単一のゲームインスタンス内でこの種の問題行動が繰り返し発生した場合、システムはゲーム全体ではなく、そのインスタンス（サーバーとも呼ばれます）のみを停止させます。 

このマルチモーダルシステムの導入以来、コミュニティ基準に違反するインスタンスを1日あたり約5,000件停止させています。トレーニングとスケールアップを進める中で、精度を絶えず向上させるとともに、誤検知を最小限に抑えるためコミュニティと協力しています。 現在、プレイ時間の100%を捕捉・監視できるよう、このマルチモーダルシステムの拡張に取り組んでいます。しかし、いかなるシステムも回避しようとする個人は常に存在するため、サーバーの停止にとどまらない技術の開発も積極的に進めています。善意のプレイヤーの体験を損なうことなく、特定の悪質なユーザーを特定し排除する方法を模索しています。

サーバー停止に関する情報をクリエイターに提供

安全性の概要ダッシュボードに新機能を追加し、このマルチモーダルモデレーションシステムの結果について、クリエイターにより高い透明性を提供しています。前述の通り、悪質なユーザー行動が蔓延した場合はゲームサーバーを停止します。クリエイターが自身のゲームでこれがどの程度の頻度で発生しているかをより明確に把握できるよう、既存のクリエイターダッシュボードに新しいグラフを追加しました。 

クリエイターは、ユーザーの不適切な行為（ハラスメントや差別、あるいは恋愛・性的なコンテンツに関するポリシー違反など）により、自身のゲームサーバーがいくつ停止されたかを確認できるようになりました。これにより、停止件数の急増を早期に把握し、コミュニティ全体に影響が及ぶ前に対処することが可能になります。その後、ゲームを詳細に分析し、問題のあるコンテンツの作成を防ぐために、カスタムエモート、アバター編集ツール、またはゲーム内のユーザー作成機能に変更が必要かどうかを判断できます。 

デジタルモデレーターの育成 

Roblox、Keyword Studios、Riot Gamesは、研究心理学者でありGames for Changeのリサーチディレクターを務めるレイチェル・コワート氏と提携し、デジタルコミュニティリーダー向けの新たな認定プログラムを立ち上げます。Robloxは、コミュニティモデレーションとプロソーシャルデザインに関する専門知識を提供し、この新しいDLCリーダーシッププログラムのパイロット実施やカリキュラム策定を支援します。この取り組みの目的は、ゲーム業界におけるオンラインモデレーター、コミュニティマネージャー、クリエイター向けの標準化されたトレーニングの不足に対処することです。 最近の記事で、コワート氏は、このプログラムが「ゲームコミュニティやオンライン行動に関する研究を、デジタルリーダーがより強靭で持続可能なオンラインコミュニティを構築するために活用できる実践的なツールへと変換すること」を目的としていると述べています。

この取り組みに参加することで、当社は業界をリードし、Robloxのクリエイターコミュニティおよびゲーム業界全体に利益をもたらすよう設計された、業界初となる標準化された認定プログラムの開発に貢献します。プログラムが完了すれば、クリエイターは、拡大し続ける自身のコミュニティを効果的にモデレートし管理するために必要な重要なスキルを習得できるようになります。健全で敬意あるオンラインコミュニティのためのベストプラクティスについて、より多くのモデレーターやクリエイターを育成することは、オンラインゲーム環境をすべての人にとってよりポジティブなものに保つことにつながると確信しています。