Podsumowanie bezpieczeństwa: marzec

W naszym marcowym podsumowaniu dotyczącym bezpieczeństwa opowiadamy o tym, jak moderujemy treści za pomocą zautomatyzowanych systemów zaprojektowanych do wykrywania i usuwania problematycznych treści – często zanim użytkownicy je zobaczą. Przedstawiamy również nowy pulpit nawigacyjny, który umożliwia twórcom wykrywanie i reagowanie na niewłaściwe zachowania użytkowników w ich własnych grach, a także nowy program szkoleniowy dla menedżerów społeczności z całej branży. Więcej informacji na temat narzędzi do zgłaszania treści przez użytkowników można znaleźć w podsumowaniu dotyczącym bezpieczeństwa z zeszłego miesiąca. 

Ciągła moderacja zachowań użytkowników 

Częścią magii Roblox są stale rozbudowywane i zmieniające się treści tworzone przez naszych twórców. W każdej chwili twórcy publikują aktualizacje gier i dodają nowe odznaki lub zwierzaki, a użytkownicy zmieniają stroje swoich awatarów oraz malują lub budują różne rzeczy w czasie rzeczywistym. Sprawdzamy to wszystko przed opublikowaniem na platformie i usuwamy wszystko, co jest niezgodne z naszymi wytycznymi. 

Wielowarstwowe narzędzia moderacyjne wychwytują większość problematycznych treści w Roblox, a my odrzucamy wszystko, co jest niezgodne z naszymi Standardami społeczności. Nie jesteśmy jednak idealni, dlatego korzystamy ze zgłoszeń użytkowników, aby znaleźć wszystko, co mogło nam umknąć, i podjąć odpowiednie działania.

Dynamiczny charakter gier Roblox oznacza, że treści zmieniają się nieustannie w zależności od tego, jak użytkownicy łączą wcześniej zatwierdzone awatary, ubrania i ruchy. Na przykład w grach, które pozwalają na swobodne rysowanie, użytkownik może narysować obraźliwy symbol lub przedmiot. Dlatego niedawno uruchomiliśmy nowy system AI do moderacji multimodalnej w czasie rzeczywistym, który może skanować te kombinacje razem. 

Tradycyjne systemy moderacji oparte na sztucznej inteligencji są zaprojektowane tak, aby oceniać pojedyncze obiekty i często nie uwzględniają kontekstu, pomijając kombinacje, które mogą stanowić problem w sposób, w jaki nie robią tego poszczególne elementy. Nasz nowy system moderacji multimodalnej w czasie rzeczywistym ocenia całą scenę — w tym awatary, tekst i obiekty 3D. Rejestruje on wszystkie te elementy razem w konkretnym momencie i ocenia, czy cała scena narusza nasze zasady. Jeśli tego typu problematyczne zachowanie powtarza się w jednej instancji gry, system wyłącza tylko tę instancję (zwaną również serwerem), a nie całą grę. 

Od momentu uruchomienia tego systemu wielomodalnego wyłączamy około 5000 instancji dziennie, które naruszają nasze Standardy społeczności. W miarę szkolenia i skalowania stale poprawiamy naszą dokładność i współpracujemy ze społecznością, aby zminimalizować liczbę fałszywych alarmów. Pracujemy nad skalowaniem tego systemu multimodalnego, aby rejestrował i monitorował 100% czasu gry. Jednak zawsze znajdą się osoby próbujące obejść każdy system, dlatego aktywnie rozwijamy technologię, która wykracza poza wyłączanie serwerów. Pracujemy nad sposobami identyfikacji konkretnych złych graczy, abyśmy mogli ich usuwać bez zakłócania wrażeń graczy o dobrych intencjach.

Zapewnienie twórcom wglądu w wyłączanie serwerów

Zapewniamy twórcom większą przejrzystość wyników tego wielomodalnego systemu moderacji dzięki rozszerzeniu pulpitu nawigacyjnego z przeglądem bezpieczeństwa. Jak wspomniano powyżej, wyłączamy serwery gier, gdy dominują na nich nieodpowiednie zachowania użytkowników. Aby zapewnić twórcom lepszy wgląd w to, jak często ma to miejsce w ich grach, dodaliśmy nowy wykres do istniejącego pulpitu nawigacyjnego twórcy. 

Twórcy mogą teraz sprawdzić, ile ich serwerów gier zostało wyłączonych z powodu niewłaściwego zachowania użytkowników (tj. naruszenia zasad dotyczących nękania i dyskryminacji lub treści o charakterze romantycznym i seksualnym). Pomaga im to zidentyfikować nagły wzrost takich przypadków, dzięki czemu mogą podjąć działania, zanim wyłączenie serwerów wpłynie na szerszą społeczność. Następnie mogą dokładniej przyjrzeć się swojej grze i zdecydować, czy konieczne są zmiany w niestandardowych emotikonach, narzędziach do edycji awatarów lub funkcjach tworzenia treści przez użytkowników w grze, aby zapobiegać powstawaniu problematycznych treści. 

Szkolenie moderatorów cyfrowych 

Roblox, Keyword Studios i Riot Games współpracują z psychologiem badawczym i dyrektorem ds. badań w Games for Change, Rachel Kowert, nad nowym programem certyfikacyjnym dla liderów społeczności cyfrowych. Roblox wniesie swoją wiedzę specjalistyczną w zakresie moderacji społeczności i projektowania prospołecznego, aby przetestować i pomóc w kształtowaniu programu nauczania nowego programu DLC Leadership Program. Celem tej inicjatywy jest zaradzenie brakowi standardowych szkoleń dla moderatorów internetowych, menedżerów społeczności i twórców w branży gier. W niedawnym artykule Kowert stwierdziła, że program ma na celu „przekształcenie badań nad społecznościami graczy i zachowaniami w sieci w praktyczne narzędzia, które liderzy cyfrowi mogą wykorzystać do budowania bardziej odpornych i zrównoważonych społeczności internetowych”.

Uczestnicząc w tych działaniach, pomożemy przewodzić branży, opracowując pierwszy w swoim rodzaju standardowy program certyfikacyjny, który ma przynieść korzyści społeczności twórców Roblox oraz szeroko pojętej branży gier. Po ukończeniu programu twórcy zdobędą kluczowe umiejętności potrzebne do skutecznego moderowania i zarządzania własnymi, rozwijającymi się społecznościami. Wierzymy, że szkolenie większej liczby moderatorów i twórców w zakresie najlepszych praktyk dotyczących zdrowych i opartych na szacunku społeczności internetowych pomoże sprawić, że gry online będą bardziej pozytywnym doświadczeniem dla wszystkich.