So funktioniert die Berichterstattung im Spiel auf Roblox

• Roblox verarbeitet täglich 274 Millionen Avatar-Aktualisierungen, und das ist nur eine Art von nutzergenerierten Inhalten, die wir auf Sicherheitsverstöße hin überprüfen.¹  
• Meldungen von Spielern sind ein entscheidender Bestandteil der frühzeitigen Erkennung von Verstößen, und wir möchten es den Spielern so einfach wie möglich machen, alles zu melden, was ihnen unangemessen erscheint oder gegen unsere Richtlinien verstößt. 
• Da Verstöße in dynamischen, nutzergenerierten 3D-Inhalten oft schwer zu erfassen sind, setzen wir Raycasting, das Klonen von Datenmodellen und eine überarbeitete Benutzeroberfläche für Meldungen ein, um Spielern dabei zu helfen, bestimmte Objekte zu identifizieren und zu melden – zusammen mit den Daten und visuellen Beweisen, die wir benötigen, um Maßnahmen zu ergreifen.

In Spitzenzeiten verarbeitet die Roblox-Plattform täglich 274 Millionen Avatar-Aktualisierungen.¹ Das Melden und Überprüfen von Missbrauch in dieser Art von dynamischen, von Nutzern erstellten 3D-Inhalten ist eine Herausforderung, da dabei nicht immer so eindeutige Spuren zurückbleiben wie bei statischen Inhalten, beispielsweise einem Textprotokoll oder einem Social-Media-Beitrag. In diesem Blogbeitrag beschreiben wir unseren Ansatz zur Erfassung der Daten und des visuellen Kontexts, die erforderlich sind, um auf Meldungen von Spielern zu reagieren – angefangen bei unserem ursprünglichen Ray-Casting-Ansatz zur Identifizierung missbräuchlicher Avatare bis hin zu unserem aktuellen System, das in das Roblox-Datenmodell integriert ist, sodass Spieler jedes beliebige 3D-Spielobjekt präzise melden können.

Meldungen von Spielern sind ein entscheidender Bestandteil der frühzeitigen Erkennung potenzieller Richtlinienverstöße, und wir haben kürzlich unseren Meldeprozess aktualisiert, um es den Spielern zu erleichtern, alles, was ihnen Unbehagen bereitet oder ein Gefühl der Unsicherheit vermittelt, sofort zu melden oder zu blockieren. Spieler-Meldungen führen mittlerweile zur automatischen Entfernung von über 19.000 Avataren pro Monat, die gegen die Richtlinien verstoßen, und dienen als wichtiges Frühwarnsignal zur Erkennung unangemessener Spiele.²

Die Herausforderung bei der Erfassung dynamischer Inhalte

Da dynamische, von Nutzern erstellte 3D-Inhalte kombiniert und in verschiedenen Kontexten verwendet werden können, liefern einfache Beschreibungen oder Screenshots nicht immer die notwendigen Daten, damit wir Maßnahmen ergreifen können. Statische Inhalte wie Social-Media-Beiträge, Forenkommentare und Videos dienen als dauerhafte Dokumentation eines Problems, was sowohl die Meldung als auch die Überprüfung der Beweise erleichtert. Text- und Sprachchat werden auf Roblox dokumentiert, aber andere Arten von nutzergenerierten Inhalten hinterlassen keine so eindeutigen Spuren. Bilder können von anderen Stellen der Plattform geladen werden, dynamische Interaktionen werden möglicherweise nicht dokumentiert, und Spieler kombinieren manchmal einzeln harmlose Kleidungsstücke zu einem Outfit, das unangemessen ist. 

Um Verstöße gegen die Richtlinien in dynamischen Situationen zu erfassen, benötigt ein Melder zunächst eine Möglichkeit, bestimmte Elemente innerhalb eines Spiels zu identifizieren. Zweitens muss der Identifizierungsmechanismus Objekt-IDs für die gemeldeten Inhalte bereitstellen, damit das richtige Objekt bewertet werden kann. 

Erkennung missbräuchlicher Avatare im 3D-Raum 

Unser bisheriges Meldetool stützte sich hauptsächlich auf Chatprotokolle. Die Meldungen enthielten keine visuellen Informationen, was zu großen Verständnislücken führte. Als wir begannen, an einem Meldetool zu arbeiten, das mehr Kontext zu anderen Arten von Verstößen erfassen konnte, konzentrierten wir uns zunächst auf eine Art von Objekt, mit dem jeder Spieler interagiert: Avatare. Spieler können ihre Avatare individuell anpassen, um sich auf Roblox darzustellen, und durch das Erfassen von Informationen über einen Avatar könnten wir Verstöße bestimmten Spielern zuordnen, selbst wenn es im Chat keine schriftlichen Hinweise gäbe. Ein System, das Avatar-Daten effektiv identifizieren kann, wäre zudem eine wichtige Grundlage für andere Arten von Objekten in der Zukunft. 

Zu den möglichen Lösungen gehörten das Erstellen von Screenshots oder Hintergrundaufnahmen, um Meldungen durch weitere Beweise zu ergänzen. Wir begannen mit Tests anhand von Screenshots, da diese eine einfache Möglichkeit darstellten, Erkenntnisse zu gewinnen, auch wenn sie nicht alle möglichen Verstöße erfassten. Wir stießen jedoch schnell an eine Grenze: Ein 2D-Bild half uns nicht dabei, den Avatar eines Spielers von anderen Avataren und NPCs im 3D-Raum zu unterscheiden. Wir konnten die Nutzer-ID des potenziellen Regelverstoßers nicht immer genau identifizieren, wenn sich Avatare überlappten.

Wir mussten herausfinden, wie wir mehr Informationen extrahieren können, um ein zu einem bestimmten Zeitpunkt aufgenommenes 2D-Bild in verwertbare Beweise umzuwandeln. 

Wir entschieden uns für Raycasting als effiziente Methode, um relevante Informationen im 3D-Raum zu isolieren und sie zum Zeitpunkt einer Meldung in einem 2D-Bild darzustellen. Wenn ein Spieler eine Meldung öffnet, erstellen wir zunächst eine Liste der Spieler in der Sitzung und filtern alle heraus, die sich nicht im Sichtbereich befinden. Anschließend bestimmen wir mithilfe von Raycasting die Begrenzungsrahmen für jeden Spieler-Avatar. Gleichzeitig speichern wir automatisch den Inhalt des Frame-Buffers der Roblox-Engine als Screenshot. Auf diese Weise kann ein einfacher 2D-Screenshot mit ausreichenden räumlichen Daten über die 3D-Welt kombiniert werden, um den potenziellen Regelverstoßenden von anderen Avataren und der Umgebung zu unterscheiden. Mit Ray Casting können wir die Begrenzungsrahmen im Durchschnitt in 3,5 Millisekunden ermitteln. Langsamere Methoden hätten eine unangenehme Pause erfordert, die das Spielerlebnis gestört hätte. 

Von dort aus können weitere kontextbezogene Informationen zu einem möglichen Verstoß gegen die Richtlinien asynchron erfasst werden. Derzeit löst das System diesen Mechanismus automatisch aus, wenn ein Spieler einen Bericht startet. 

Hervorhebungsmodus

Als Nächstes benötigten wir eine intuitive Meldeoberfläche, damit Spieler regelwidrige Inhalte schnell identifizieren konnten. Wir haben unsere Meldeoberfläche um einen Hervorhebungsmodus erweitert, damit Spieler regelwidrige Elemente markieren und ihre Meldungen mit weiteren Informationen versehen können. Wenn ein Spieler auf ein regelwidriges Element klickte, strahlten wir Strahlen in einem Kreis um den Cursor des Spielers aus. Wenn er den Avatar eines anderen Spielers auswählte, konnten wir alle notwendigen Metadaten erfassen, um die Meldung zu prüfen und entsprechend zu handeln. In internen Nutzerumfragen kam der Hervorhebungsmodus gut an, auch bei jüngeren Spielern (im Alter von 9–13 Jahren), denen es nun leichter fiel, ein Problem hervorzuheben und eine Meldung erfolgreich abzuschließen.

Mit dieser ersten Version des neuen Berichtstools haben wir lediglich IDs für Avatare erfasst. Wenn ein Spieler etwas anderes ausgewählt hat, haben wir keine Objekt-ID erfasst. Wir konnten die Berichte auf Erkenntnisse und den größeren Kontext hin untersuchen, uns an die Entwickler wenden und entscheiden, wie es weitergehen sollte. 

Wir hatten jedoch einen Mechanismus im Sinn, der es Spielern ermöglichte, jedes beliebige Element im Spiel präzise zu markieren und dessen Daten direkt in ihrem Bericht zu erfassen.

Erfassung von Datenmodellen für generische Inhaltstypen

Zwar funktionierte unser Ansatz mit kreisförmigem Raycasting gut, um die begrenzte Anzahl von Avataren oder Anzeigen im Sichtbereich eines Spielers zu unterscheiden, doch ließ er sich nicht auf jedes Objekt im Spiel skalieren. Betrachten Sie die folgende Umgebung:

In einer dichten Umgebung, in der sich Dutzende von Objekten wie Felsen, Sträucher und Blumen überlappen und animiert werden, würde ein kreisförmiger Raycasting-Vorgang eine einzelne Blume oder einen einzelnen Strauch nicht zuverlässig identifizieren. Wir mussten den Spielern ermöglichen, Objekte präziser zu markieren, und wir brauchten eine Möglichkeit, die mit jedem Objekt im Spiel verbundenen Daten zu erfassen. 

Die Roblox-Engine speichert zwar bereits eine Darstellung der 3D-Welt in ihrem Datenmodell, doch das gesamte Datenmodell für ein Spiel kann mehrere Gigabyte groß sein. Um die Geschwindigkeit zu optimieren, haben wir einen Klonmechanismus entwickelt (den wir ursprünglich für „Translation Feedback“ entwickelt hatten), der nur die Schlüsselobjekte klont, die zum Rendern einer Szene benötigt werden. Sobald wir diese geklonte Version des Datenmodells haben, können wir den „Highlight-Modus“ nutzen, um den Melder in die geklonte Welt zu versetzen, wo der Spieler in 3D präzise markieren kann, was er melden möchte. 

Dieser Ansatz gibt dem Nutzer mehr Kontrolle darüber, was er meldet, und liefert uns die Metadaten, die wir benötigen, um viel mehr Inhaltstypen zu bewerten. Außerdem fügen wir dem Bericht automatisch einen Screenshot bei, um die Moderationsprüfung zu erleichtern. 

Datenintegrität

Eine zentrale Frage, die wir uns seit Beginn des Projekts gestellt haben, ist, ob wir Beweismaterial auf dem Gerät des Nutzers oder auf dem Spielserver erfassen sollten. Roblox unterstützt clientseitige Skripte, die möglicherweise nur den Zustand des Clients und nicht den des Servers aktualisieren. Zudem sind einige Physikeffekte nicht deterministisch, was bedeutet, dass eine serverseitige Erfassung möglicherweise nicht genau das wiedergibt, was der Meldende erlebt hat. Wir haben uns für die clientseitige Erfassung entschieden, um sicherzustellen, dass der Meldende eine originalgetreue Darstellung dessen erfassen kann, was er sieht; dies bringt jedoch einen Kompromiss mit sich: Ein böswilliger Akteur könnte potenziell Zugriff auf einen Client erlangen und Beweismaterial fälschen. 

Um dies zu minimieren, überprüfen wir die Genauigkeit anhand verschiedener Signale und sortieren ungenaue Client-Darstellungen aus. Als Analogie: Meteorologen können genaue Wettervorhersagen erstellen, auch wenn sie nicht von jeder Wetterstation genaue Messwerte erhalten. 

Zukünftige Arbeiten  

Dank dieser Verbesserungen und der Möglichkeit, umfangreichere visuelle Informationen zu erfassen, sperrt das System nun automatisch über 19.000 Avatare pro Monat, die gegen die Richtlinien verstoßen, und ist zu einem wichtigen Indikator für die Erkennung unangemessener Spiele geworden. Wir verzeichnen zudem eine starke Akzeptanz: Etwa 19 % der zulässigen Meldungen enthalten visuelle Anmerkungen.² 

Wir arbeiten bereits an der nächsten Phase der Verbesserungen und entwickeln eine Methode zur Erkennung dynamischer Verstöße (wie beispielsweise Emotes in Kombination mit Spielerbewegungen), die sich nicht anhand von Momentaufnahmen feststellen lassen. Im Laufe dieses Jahres planen wir, die Erfassung einer Zeitreihe der gemeldeten Szene zu ermöglichen. Da Roblox den Entwicklern weiterhin die Werkzeuge zur Verfügung stellt, um reichhaltigere Interaktionen im Spiel zu gestalten, wird unser Sicherheitsteam auch weiterhin eine sichere Umgebung für alle Spieler fördern.

Wir möchten uns bei Rayan Hussain, Ryan Liu, Bridget Daly, Agatha Kielczewski, Alex Leavitt, Ying Liao und Andrew Xu für ihre Arbeit an diesem Projekt bedanken.