Meningkatkan Klasifikasi Keamanan Suara Kami dengan 22 Bahasa Baru dan Kemampuan Deteksi yang Lebih Akurat
Bahasa Baru, 2 Kategori Pelanggaran Baru, dan Peningkatan Recall sebesar 14%
Roblox memproses jutaan menit data suara setiap hari dalam 30 bahasa, yang merupakan tantangan besar dalam menjaga keamanan secara real-time dalam skala besar. Selama dua tahun terakhir, sistem internal kami telah berkembang secara signifikan—bertambah dari 94,6 juta menjadi 320 juta parameter dan meluas dari lima menjadi delapan kategori pelanggaran kebijakan—sehingga kini mampu menangani 10.000 permintaan per detik pada puncaknya.
Kami merilis model klasifikasi keamanan suara yang mendasari sistem kami sebagai open-source pada tahun 2024 untuk membantu memajukan keamanan suara di seluruh industri, dan hari ini kami merilis versi v3 dari model tersebut, yang memberikan dukungan bagi 22 bahasa baru dan dua kategori pelanggaran kebijakan tambahan dengan tingkat recall 14% lebih tinggi dan tingkat presisi 5% lebih tinggi, dibandingkan dengan versi sebelumnya.
Dari V1 ke V3 dan Seterusnya
Saat kami mulai membangun sistem untuk keamanan suara secara real-time, kami berfokus pada bahasa Inggris terlebih dahulu. Kami membangun alur kerja pelabelan otomatis oleh mesin untuk menghasilkan data pelatihan dalam volume besar. Pada tahun 2024, versi v1 dari model sumber terbuka ini menggunakan 2.400 jam data bahasa Inggris yang dilabeli oleh mesin untuk pelatihan model. Setelah peluncuran awal dan implementasi notifikasi, tingkat laporan penyalahgunaan di AS turun lebih dari 50% per jam percakapan.
Pada tahun 2025, kami menambahkan lebih banyak bahasa, menyempurnakan model lebih lanjut, dan merilis versi v2 model tersebut. Untuk melatih model v3 terbaru pada tahun 2026, kami menggunakan 250.000 jam data multibahasa yang dilabeli mesin dan 29.000 jam data multibahasa yang dilabeli manusia. Setiap model dievaluasi menggunakan dataset yang dilabeli manusia.
Versi v3 dari model sumber terbuka ini mencapai tingkat recall sebesar 61% yang ditimbang berdasarkan distribusi bahasa obrolan suara Roblox dengan tingkat false positive sebesar 1%. Dengan hanya menggunakan bahasa-bahasa yang didukung oleh versi v2 model sebagai perbandingan, v3 menunjukkan peningkatan relatif sebesar 14% dalam tingkat recall yang ditimbang berdasarkan prevalensi bahasa.
Keamanan suara terlalu penting untuk diselesaikan secara terpisah. Kami merilis klasifikasi keamanan suara kami sebagai open-source dan bergabung dengan ROOST sebagai mitra pendiri karena kami percaya bahwa berbagi kemajuan dalam teknologi keamanan akan memperkuat seluruh industri. Model ini telah diunduh lebih dari 70.000 kali di Hugging Face sejak rilis pertama, dan setiap pembaruan dibentuk berdasarkan apa yang kami pelajari saat menjalankan model internal kami secara besar-besaran di seluruh komunitas kami. Kami terus menyempurnakan sistem keamanan kami, dan kami berharap dapat membagikan lebih banyak pembaruan di masa mendatang.
Ucapan Terima Kasih: Kami ingin mengucapkan terima kasih kepada Thomas Bui, Meghatrisa Chatterjee, Bridget Daly, Jason Golubock, Hannes Heikinheimo, Marek Kapolka, Cheryl Kwan, Markus Lang, Aashna Sharma, Hao-En Sung, Tingting Tang, dan Alex Trimm atas kontribusi mereka dalam proyek ini.
