Cuplikan Keamanan: Maret

Dalam Cuplikan Keamanan bulan Maret, kami membagikan cara kami memoderasi konten melalui sistem otomatis yang dirancang untuk mendeteksi dan menghapus konten bermasalah, sering kali sebelum pengguna melihatnya. Kami juga membagikan dasbor baru yang memberdayakan kreator untuk mendeteksi dan menangani perilaku buruk pengguna di game mereka sendiri, serta program baru untuk melatih manajer komunitas di seluruh industri. Lihat Cuplikan Keamanan bulan lalu untuk mengetahui informasi selengkapnya tentang alat pelaporan pengguna. 

Terus Memoderasi Perilaku Pengguna 

Salah satu hal yang menakjubkan dari Roblox adalah konten yang terus berkembang dan berubah yang dibuat oleh para kreator kami. Kreator bisa memublikasikan pembaruan game dan menambahkan lencana atau hewan peliharaan baru kapan saja, dan pengguna dapat mengubah pakaian avatar mereka serta melukis atau membangun berbagai hal secara real-time. Kami me-review semua ini sebelum dipublikasikan ke platform dan menghapus segala hal yang bertentangan dengan pedoman kami. 

Beberapa lapisan alat moderasi mendeteksi sebagian besar konten bermasalah di Roblox, dan kami menolak apa pun yang melanggar Standar Komunitas kami. Namun, kami tidak sempurna, jadi kami memanfaatkan laporan pengguna untuk menemukan hal-hal yang mungkin terlewat dan mengambil tindakan yang sesuai.

Karena game Roblox bersifat dinamis, konten terus berubah berdasarkan cara pengguna menggabungkan avatar, pakaian, dan gerakan yang telah disetujui sebelumnya. Misalnya, dalam game yang memungkinkan pengguna menggambar secara bebas, pengguna bisa menggambar simbol atau item yang ofensif. Karena itu, baru-baru ini kami meluncurkan sistem AI baru untuk moderasi multimodal real-time yang dapat men-scan kombinasi ini secara bersamaan.

Sistem moderasi AI tradisional dirancang untuk mengevaluasi satu objek dalam satu waktu dan sering kali tidak mempertimbangkan konteks, sehingga melewatkan kombinasi yang mungkin bermasalah meskipun masing-masing itemnya tidak bermasalah. Sistem moderasi multimodal real-time baru kami mengevaluasi seluruh adegan, termasuk avatar, teks, dan objek 3D. Sistem ini mengambil semua elemen ini secara bersamaan pada moment tertentu dan menilai apakah keseluruhan adegan melanggar aturan kami. Jika perilaku bermasalah seperti ini terjadi berulang kali di suatu instance game, sistem hanya akan mematikan instance tersebut (yang juga disebut server), bukan seluruh game. 

Sejak meluncurkan sistem multimodal ini, kami telah mematikan sekitar 5.000 instance per hari yang melanggar Standar Komunitas kami. Seiring dengan pelatihan dan pengembangan skala sistem, kami terus meningkatkan akurasi dan bekerja sama dengan komunitas untuk meminimalkan positif palsu. Kami sedang berupaya meningkatkan skala sistem multimodal ini agar dapat menangkap dan memantau 100% waktu main. Namun, akan selalu ada individu yang berupaya mengakali sistem apa pun, jadi kami secara aktif mengembangkan teknologi yang lebih dari sekadar mematikan server. Kami sedang mengembangkan cara untuk mengidentifikasi pelaku kejahatan tertentu agar kami bisa mengeluarkan mereka tanpa mengganggu pengalaman pemain yang berniat baik.

Memberi Kreator Visibilitas tentang Penonaktifan Server

Kami memberi kreator transparansi yang lebih besar mengenai hasil sistem moderasi multimodal ini melalui penambahan pada dasbor ringkasan keamanan. Seperti yang disebutkan di atas, kami mematikan server game ketika server tersebut dikuasai oleh perilaku buruk pengguna. Agar kreator bisa melihat dengan lebih jelas seberapa sering hal ini terjadi di game mereka, kami telah menambahkan grafik baru ke Dasbor Kreator mereka yang sudah ada. 

Kini, kreator bisa melihat berapa banyak server game mereka yang telah dimatikan akibat perilaku buruk pengguna (yaitu, melanggar kebijakan kami tentang pelecehan dan diskriminasi atau konten romantis dan seksual). Dengan cara ini, mereka bisa melihat peningkatan yang terjadi secara tiba-tiba agar mereka bisa mengambil tindakan sebelum penonaktifan server memengaruhi komunitas mereka secara lebih luas. Kemudian, mereka bisa memeriksa game mereka dengan lebih detail dan memutuskan apakah perlu dilakukan perubahan pada emote kustom, alat pengeditan avatar, atau fitur kreasi pengguna dalam game untuk mencegah kreasi yang bermasalah. 

Melatih Moderator Digital 

Roblox, Keyword Studios, dan Riot Games bermitra dengan psikolog peneliti dan Research Director Games for Change, Rachel Kowert, dalam program sertifikasi baru untuk pemimpin komunitas digital. Roblox akan menyumbangkan keahliannya terkait moderasi komunitas dan desain prososial untuk menguji coba serta membantu menyusun kurikulum Program Kepemimpinan DLC yang baru. Tujuan dari inisiatif ini adalah untuk mengatasi kurangnya pelatihan terstandar bagi moderator online, manajer komunitas, dan kreator di dunia game. Dalam sebuah artikel baru-baru ini, Kowert mengatakan bahwa program ini bertujuan untuk "menerjemahkan penelitian tentang komunitas game dan perilaku online menjadi alat praktis yang dapat digunakan oleh para pemimpin digital untuk membangun komunitas online yang lebih tangguh dan berkelanjutan".

Dengan berpartisipasi dalam upaya ini, kami akan membantu memimpin industri ini dengan mengembangkan program sertifikasi terstandar pertama dari jenisnya yang dirancang untuk memberikan manfaat bagi komunitas kreator Roblox dan industri game secara lebih luas. Setelah selesai, program ini akan membantu kreator mempelajari keterampilan penting yang diperlukan untuk secara efektif memoderasi dan mengelola komunitas mereka yang terus berkembang. Kami percaya bahwa melatih lebih banyak moderator dan kreator tentang praktik terbaik untuk membangun komunitas online yang sehat dan saling menghormati akan membantu menjaga pengalaman bermain game online lebih positif bagi semua orang.