Veiligheidsoverzicht: maart

In onze Safety Snapshot van maart laten we zien hoe we content modereren via geautomatiseerde systemen die zijn ontworpen om problematische content te detecteren en te verwijderen – vaak nog voordat gebruikers deze te zien krijgen. We introduceren ook een nieuw dashboard waarmee makers slecht gebruikersgedrag in hun eigen games kunnen opsporen en aanpakken, en een nieuw programma om communitymanagers in de hele sector op te leiden. Zie de Safety Snapshot van vorige maand voor meer informatie over tools voor het melden van gebruikers. 

Continu modereren van gebruikersgedrag 

Een deel van de magie van Roblox is de steeds groeiende en veranderende content die door onze makers wordt geproduceerd. Op elk moment publiceren makers game-updates en voegen ze nieuwe badges of huisdieren toe, en veranderen gebruikers de outfits van hun avatars en schilderen of bouwen ze dingen in realtime. We beoordelen dit alles voordat het op het platform wordt gepubliceerd en verwijderen alles wat in strijd is met onze richtlijnen. 

Meerdere lagen van moderatietools vangen het overgrote deel van de problematische content op Roblox op, en we wijzen alles af dat in strijd is met onze Community Standards. Maar we zijn niet perfect, dus maken we gebruik van meldingen van gebruikers om ons te helpen alles te vinden wat we mogelijk over het hoofd hebben gezien en dienovereenkomstig actie te ondernemen.

Door het dynamische karakter van Roblox-games verandert de inhoud voortdurend, afhankelijk van hoe gebruikers eerder goedgekeurde avatars, kleding en bewegingen combineren. In games waarin vrij getekend kan worden, kan een gebruiker bijvoorbeeld een aanstootgevend symbool of voorwerp tekenen. Daarom hebben we onlangs een nieuw AI-systeem gelanceerd voor realtime multimodale moderatie, dat deze combinaties in hun geheel kan scannen. 

Traditionele AI-moderatiesystemen zijn ontworpen om één object tegelijk te beoordelen en missen vaak context, waardoor combinaties over het hoofd worden gezien die op manieren problematisch kunnen zijn die de afzonderlijke items niet zijn. Ons nieuwe realtime multimodale moderatiesysteem beoordeelt een volledige scène, inclusief avatars, tekst en 3D-objecten. Het legt al deze elementen samen vast op een specifiek moment en beoordeelt of de volledige scène in strijd is met onze regels. Als dit soort problematisch gedrag herhaaldelijk voorkomt in één game-instantie, sluit het systeem alleen die instantie (ook wel een server genoemd) af, in plaats van de hele game. 

Sinds de lancering van dit multimodale systeem hebben we ongeveer 5.000 instanties per dag afgesloten die onze communitynormen overtreden. Terwijl we het systeem trainen en opschalen, verbeteren we voortdurend onze nauwkeurigheid en werken we samen met de community om valse positieven tot een minimum te beperken. We werken eraan om dit multimodale systeem op te schalen zodat het 100% van de speeltijd registreert en controleert. Maar er zullen altijd mensen zijn die proberen om elk systeem te omzeilen, dus we ontwikkelen actief technologie die verder gaat dan het afsluiten van servers. We werken aan manieren om specifieke slechte spelers te identificeren, zodat we ze kunnen verwijderen zonder de ervaring voor spelers met goede bedoelingen te verstoren.

Creators inzicht geven in het afsluiten van servers

We bieden makers meer transparantie over de resultaten van dit multimodale moderatiesysteem met een toevoeging aan het dashboard met veiligheidsoverzicht. Zoals hierboven vermeld, sluiten we gameservers af wanneer deze worden overspoeld door slecht gebruikersgedrag. Om makers meer inzicht te geven in hoe vaak dit in hun games gebeurt, hebben we een nieuwe grafiek toegevoegd aan hun bestaande Creator Dashboard. 

Makers kunnen nu zien hoeveel van hun gameservers zijn uitgeschakeld vanwege slecht gebruikersgedrag (d.w.z. schendingen van ons beleid inzake intimidatie en discriminatie of romantische en seksuele inhoud). Dit helpt hen een plotselinge toename te signaleren, zodat ze kunnen ingrijpen voordat uitschakelingen hun bredere community beïnvloeden. Ze kunnen vervolgens hun game nader bekijken en beslissen of er wijzigingen nodig zijn in aangepaste emotes, tools voor het bewerken van avatars of functies voor gebruikerscreaties in de game om problematische creaties te helpen voorkomen. 

Opleiding van digitale moderators 

Roblox, Keyword Studios en Riot Games werken samen met onderzoekspsycholoog en Games for Change Research Director Rachel Kowert aan een nieuw certificeringsprogramma voor digitale communityleiders. Roblox zal expertise op het gebied van communitymoderatie en prosociaal ontwerp inbrengen om het curriculum voor het nieuwe DLC Leadership Program te testen en vorm te geven. Het doel van het initiatief is het aanpakken van een gebrek aan gestandaardiseerde training voor online moderators, communitymanagers en makers in de gamingwereld. In een recent artikel zei Kowert dat het programma tot doel heeft “onderzoek naar gaming-community's en online gedrag te vertalen naar praktische tools die digitale leiders kunnen gebruiken om veerkrachtigere en duurzamere online community's op te bouwen.”

Door deel te nemen aan dit initiatief helpen we de sector vooruit door een uniek gestandaardiseerd certificeringsprogramma te ontwikkelen dat is ontworpen ten behoeve van de Roblox-creatorcommunity en de bredere gamingindustrie. Na voltooiing zal het programma creators helpen de cruciale vaardigheden te leren die nodig zijn om hun eigen groeiende communities effectief te modereren en te beheren. Wij zijn ervan overtuigd dat het opleiden van meer moderators en creators in de best practices voor gezonde, respectvolle online communities zal helpen om online gaming voor iedereen positiever te houden.