Sicherheitsüberblick: März

In unserem „Safety Snapshot“ vom März berichten wir darüber, wie wir Inhalte mithilfe automatisierter Systeme moderieren, die darauf ausgelegt sind, problematische Inhalte zu erkennen und zu entfernen – oft noch bevor Nutzer sie sehen. Außerdem stellen wir ein neues Dashboard vor, mit dem Entwickler schlechtes Nutzerverhalten in ihren eigenen Spielen erkennen und darauf reagieren können, sowie ein neues Programm zur Schulung von Community-Managern in der gesamten Branche. Weitere Informationen zu Tools für Nutzer-Meldungen finden Sie im „Safety Snapshot“ vom letzten Monat. 

Kontinuierliche Moderation des Nutzerverhaltens 

Ein Teil der Faszination von Roblox liegt in den sich ständig erweiternden und verändernden Inhalten, die von unseren Entwicklern erstellt werden. Zu jedem Zeitpunkt veröffentlichen Entwickler Spiel-Updates und fügen neue Abzeichen oder Haustiere hinzu, während Nutzer die Outfits ihrer Avatare ändern und in Echtzeit Dinge bemalen oder bauen. Wir prüfen all dies, bevor es auf der Plattform veröffentlicht wird, und entfernen alles, was gegen unsere Richtlinien verstößt. 

Mehrere Ebenen von Moderations-Tools fangen den Großteil der problematischen Inhalte auf Roblox ab, und wir lehnen alles ab, was gegen unsere Community-Standards verstößt. Aber wir sind nicht perfekt, daher nutzen wir Nutzer-Meldungen, um alles zu finden, was wir möglicherweise übersehen haben, und entsprechend zu handeln.

Die Dynamik der Roblox-Spiele bedeutet, dass sich die Inhalte ständig ändern, je nachdem, wie Nutzer zuvor genehmigte Avatare, Kleidung und Bewegungen kombinieren. In Spielen, die freies Zeichnen erlauben, könnte ein Nutzer beispielsweise ein anstößiges Symbol oder Objekt zeichnen. Deshalb haben wir kürzlich ein neues KI-System für die multimodale Moderation in Echtzeit eingeführt, das diese Kombinationen gemeinsam scannen kann. 

Herkömmliche KI-Moderationssysteme sind darauf ausgelegt, jeweils nur ein Objekt zu bewerten, und lassen oft den Kontext außer Acht, wodurch Kombinationen übersehen werden, die in einer Weise problematisch sein könnten, wie es die einzelnen Elemente für sich genommen nicht sind. Unser neues multimodales Echtzeit-Moderationssystem bewertet eine gesamte Szene – einschließlich Avatare, Text und 3D-Objekte. Es erfasst all diese Elemente gemeinsam in einem bestimmten Moment und beurteilt, ob die gesamte Szene gegen unsere Regeln verstößt. Tritt diese Art von problematischem Verhalten wiederholt in einer einzelnen Spielinstanz auf, schaltet das System nur diese Instanz (auch Server genannt) ab, anstatt das gesamte Spiel. 

Seit der Einführung dieses multimodalen Systems haben wir täglich etwa 5.000 Instanzen geschlossen, die gegen unsere Community-Standards verstoßen. Während wir das System trainieren und skalieren, verbessern wir ständig unsere Genauigkeit und arbeiten mit der Community zusammen, um Fehlalarme zu minimieren. Wir arbeiten daran, dieses multimodale System so zu skalieren, dass es 100 % der Spielzeit erfasst und überwacht. Da es jedoch immer Personen geben wird, die versuchen, jedes System zu umgehen, entwickeln wir aktiv Technologien, die über das Herunterfahren von Servern hinausgehen. Wir arbeiten an Möglichkeiten, bestimmte böswillige Akteure zu identifizieren, damit wir sie entfernen können, ohne das Spielerlebnis für gutwillige Spieler zu beeinträchtigen.

Einblick für Creator in Serverabschaltungen

Wir bieten Creators mehr Transparenz über die Ergebnisse dieses multimodalen Moderationssystems durch eine Erweiterung des Sicherheitsübersichts-Dashboards. Wie oben erwähnt, schalten wir Spielserver ab, wenn sie von unerwünschtem Nutzerverhalten überrannt werden. Um Creators mehr Einblick darin zu geben, wie oft dies in ihren Spielen geschieht, haben wir ihrem bestehenden Creator-Dashboard ein neues Diagramm hinzugefügt. 

Entwickler können nun sehen, wie viele ihrer Spielserver aufgrund von Fehlverhalten der Nutzer (d. h. Verstöße gegen unsere Richtlinien zu Belästigung und Diskriminierung oder zu romantischen und sexuellen Inhalten) geschlossen wurden. Dies hilft ihnen, einen plötzlichen Anstieg zu erkennen, sodass sie handeln können, bevor die Schließungen Auswirkungen auf ihre gesamte Community haben. Sie können sich dann ihr Spiel genauer ansehen und entscheiden, ob Änderungen an benutzerdefinierten Emotes, Avatar-Bearbeitungstools oder Funktionen zur Nutzererstellung im Spiel erforderlich sind, um problematische Kreationen zu verhindern. 

Ausbildung digitaler Moderatoren 

Roblox, Keyword Studios und Riot Games arbeiten gemeinsam mit der Forschungspsychologin und Forschungsdirektorin von Games for Change, Rachel Kowert, an einem neuen Zertifizierungsprogramm für digitale Community-Leiter. Roblox wird Fachwissen zu Community-Moderation und prosozialem Design einbringen, um den Lehrplan für das neue DLC-Führungsprogramm zu pilotieren und mitzugestalten. Ziel der Initiative ist es, dem Mangel an standardisierten Schulungen für Online-Moderatoren, Community-Manager und Entwickler im Gaming-Bereich entgegenzuwirken. In einem kürzlich erschienenen Artikel erklärte Kowert, das Programm ziele darauf ab, „Forschungsergebnisse zu Gaming-Communities und Online-Verhalten in praktische Werkzeuge zu übersetzen, mit denen digitale Führungskräfte widerstandsfähigere und nachhaltigere Online-Communities aufbauen können.“

Durch unsere Beteiligung an dieser Initiative werden wir eine Vorreiterrolle in der Branche übernehmen und ein einzigartiges, standardisiertes Zertifizierungsprogramm entwickeln, das der Roblox-Creator-Community und der gesamten Gaming-Branche zugutekommen soll. Nach Abschluss des Programms werden Creators die entscheidenden Fähigkeiten erlernen, die erforderlich sind, um ihre eigenen wachsenden Communities effektiv zu moderieren und zu verwalten. Wir sind davon überzeugt, dass die Schulung von mehr Moderatoren und Creators in bewährten Methoden für gesunde, respektvolle Online-Communities dazu beitragen wird, das Online-Gaming für alle positiver zu gestalten.