Meluncurkan Lebih Banyak Bahasa untuk Model Keamanan Suara Sumber Terbuka Kami

• Kami sedang memperbarui klasifikasi keamanan suara sumber terbuka kami dengan meningkatkan jumlah parameternya dari 94,6 juta menjadi 120,2 juta dan memperluasnya ke tujuh bahasa tambahan.
• Sejak versi pertama klasifikasi ini, kami telah meningkatkan akurasi hingga tingkat recall 59,1% pada data obrolan suara berbahasa Inggris dengan tingkat false-positive 1%. Ini merupakan peningkatan sebesar 92% dibandingkan dengan tingkat recall 30,9% pada rilis sebelumnya.

Mempromosikan keamanan dan kesopanan selalu menjadi landasan dari segala hal yang kami lakukan di Roblox. Kami telah menghabiskan hampir dua dekade membangun sistem keamanan yang kuat, dan kami terus mengembangkan serta menyempurnakannya seiring dengan ketersediaan teknologi baru. Pada tahun 2024, kami meluncurkan lebih dari 40 peningkatan keamanan, termasuk pembaruan pada Kontrol Orang Tua kami, yang kami perbarui kembali hari ini. Kami juga meluncurkan salah satu klasifikasi suara keamanan open-source pertama di industri ini, yang telah diunduh lebih dari 23.000 kali. Hari ini, kami merilis versi yang diperbarui, yang lebih akurat dan mendukung lebih banyak bahasa.

Banyak sistem keamanan yang membantu melindungi pengguna kami, termasuk klasifikasi ini, didukung oleh model AI. Kami membuka sumber beberapa di antaranya karena kami tahu bahwa berbagi kemajuan keamanan AI bermanfaat bagi seluruh industri kami. Itulah juga mengapa kami baru-baru ini bergabung dengan ROOST—sebuah organisasi nirlaba baru yang berfokus pada penanganan area penting dalam keamanan digital dengan mempromosikan alat keamanan sumber terbuka—sebagai mitra pendiri.

Dalam mengelola volume konten dan interaksi yang terjadi di platform kami setiap hari di seluruh dunia, AI merupakan elemen esensial untuk menjaga keamanan pengguna. Kami yakin bahwa model yang kami bangun membantu memenuhi kebutuhan kami. Misalnya, pada kuartal keempat 2024, pengguna Roblox mengunggah 300 miliar potong konten. Hanya 0,01% dari miliaran video, audio, teks, obrolan suara, avatar, dan pengalaman 3D tersebut yang terdeteksi melanggar kebijakan kami. Dan hampir semua konten yang melanggar kebijakan tersebut telah disaring dan dihapus secara otomatis sebelum pengguna melihatnya.  

Kami telah memperbarui versi open-source dari pengklasifikasi keamanan suara kami agar lebih akurat dan membantu kami memoderasi konten dalam lebih banyak bahasa. Model baru ini:

• Mendeteksi pelanggaran dalam tujuh bahasa tambahan—Spanyol, Jerman, Prancis, Portugis, Italia, Korea, dan Jepang—berkat pelatihan pada data multibahasa.
• Memiliki tingkat recall keseluruhan yang meningkat menjadi 59,1%, peningkatan sebesar 92% dibandingkan dengan recall 30,9% pada rilis sebelumnya, dengan tingkat false-positive yang rendah.
• Dioptimalkan untuk beroperasi dalam skala besar, melayani hingga 8.300 permintaan (sebagian besar di antaranya tidak mengandung pelanggaran) per detik pada puncaknya.

Sejak peluncuran model pertama, kami telah melihat penurunan tingkat laporan penyalahgunaan di antara pengguna AS lebih dari 50% per jam percakapan. Hal ini juga membantu kami memoderasi jutaan menit obrolan suara per hari dengan lebih akurat daripada moderator manusia. Kami tidak pernah berhenti mengembangkan sistem keamanan kami dan akan terus memperbarui versi open-source-nya.

Klasifikasi Keamanan Suara Multibahasa yang Efisien

Klasifikasi keamanan suara open-source awal kami didasarkan pada model WavLM base+, yang disesuaikan dengan sampel audio obrolan suara berbahasa Inggris yang dilabeli secara mesin. Hasil yang menjanjikan dari arsitektur end-to-end ini mendorong eksperimen lebih lanjut dengan arsitektur yang disesuaikan. Kami menggunakan distilasi pengetahuan untuk mengoptimalkan kompleksitas dan akurasi model, yang menarik untuk layanan inferensi skala besar. Klasifikasi baru kami menggunakan blok bangunan dasar ini, serta meningkatkan dan memperluas pekerjaan dalam penggunaan data dan penyempurnaan arsitektur.

Dengan melatih model pada data multibahasa, model klasifikasi tunggal kami dapat beroperasi secara mulus pada salah satu dari delapan bahasa utama yang didukung. Dan peningkatan pelatihan ini berarti model tersebut tidak hanya lebih akurat tetapi juga 20% hingga 30% lebih cepat dalam skenario inferensi tipikal dibandingkan versi pertama.

Klasifikasi keamanan suara baru ini masih didasarkan pada arsitektur WavLM, tetapi konfigurasi lapisannya berbeda dari rilis sebelumnya dan model WavLM yang telah dilatih sebelumnya. Secara khusus, kami menambahkan lapisan konvolusional tambahan untuk mengurangi resolusi waktu internal lapisan transformer. Secara total, arsitektur model baru kami memiliki 120,2 juta parameter, meningkat 27% dibandingkan dengan 94,6 juta pada versi sebelumnya. Meskipun terjadi peningkatan ini, model baru ini mengonsumsi waktu komputasi 20% hingga 30% lebih sedikit saat digunakan dengan segmen input berdurasi 4 hingga 15 detik. Hal ini dimungkinkan karena model mengompres sinyal input menjadi representasi yang lebih pendek daripada sebelumnya.

Memanfaatkan Berbagai Strategi Pelabelan

Pelatihan terawasi model end-to-end memerlukan pasangan data audio dan label kelas yang dikurasi. Kami melakukan perbaikan signifikan pada alur data kami untuk memastikan aliran data berlabel yang stabil. Landasan materi pelatihan adalah dataset berlabel mesin yang besar, berisi lebih dari 100.000 jam ucapan dalam bahasa-bahasa yang didukung. Kami secara otomatis mentranskripsikan ucapan tersebut dan menjalankannya melalui pengklasifikasi toksisitas berbasis teks internal kami, yang memiliki kebijakan dan kategori toksisitas yang diinginkan. Pengumpulan data mengambil sampel konten kasar dengan probabilitas yang lebih tinggi daripada ucapan yang tidak kasar untuk menangkap kasus-kasus ekstrem dan pelanggaran kebijakan yang kurang umum dengan lebih baik.

Label yang didasarkan pada transkrip ucapan dan klasifikasi berbasis teks tidak dapat sepenuhnya menangkap nuansa yang diamati dalam konten obrolan suara. Oleh karena itu, kami memanfaatkan data yang dilabeli oleh manusia untuk menyempurnakan model dari tahap pelatihan sebelumnya. Meskipun tugas klasifikasinya sama, tahap pelatihan terakhir ini membantu menyempurnakan batas-batas keputusan dan menekankan responsivitas terhadap ekspresi yang spesifik untuk obrolan suara. Ini adalah bentuk pembelajaran kurikulum yang membantu kami memaksimalkan manfaat dari contoh-contoh berharga yang dilabeli oleh manusia.

Salah satu tantangan dalam pelatihan model end-to-end adalah label target dapat menjadi usang jika kebijakan pelabelan berubah seiring waktu. Oleh karena itu, saat kami menyempurnakan kebijakan suara yang dapat diterima, kami memerlukan penanganan khusus untuk data yang menggunakan standar pelabelan lama. Untuk itu, kami menggunakan pendekatan multitask yang memungkinkan model belajar dari kumpulan data yang tidak sesuai dengan kebijakan obrolan suara saat ini. Hal ini melibatkan penggunaan bagian klasifikasi terpisah untuk kebijakan lama, sehingga bagian utama model dapat belajar dari kumpulan data lama tanpa memengaruhi label yang ditargetkan atau bagian utama.

Model yang Telah Dikalibrasi untuk Penerapan yang Lebih Mudah

Penggunaan model klasifikasi memerlukan penentuan titik operasi dan penyesuaian sensitivitas klasifikasi sesuai dengan persyaratan tugas. Untuk memudahkan penerapan model, kami mengkalibrasi keluaran model, yang disesuaikan untuk moderasi obrolan suara. Kami memperkirakan transformasi linier berpotongan dari dataset yang disisihkan, dilakukan secara terpisah untuk setiap kepala keluaran dan bahasa yang didukung. Transformasi ini diterapkan selama distilasi model, yang memastikan model akhir sudah dikalibrasi secara native. Hal ini menghilangkan kebutuhan akan pemrosesan pasca-inferensi.

Kami sangat antusias untuk berbagi model open-source baru ini dengan komunitas dan menantikan untuk berbagi pembaruan di masa mendatang seiring dengan ketersediaannya.