Erweiterung unseres Klassifikators für Sprachsicherheit um 22 neue Sprachen und präzisere Erkennungsfunktionen
Neue Sprachen, 2 neue Verstoßkategorien und eine um 14 % höhere Trefferquote
Roblox verarbeitet täglich Millionen von Minuten an Sprachdaten in 30 Sprachen, was eine enorme Herausforderung für die Sicherheit in Echtzeit in großem Maßstab darstellt. In den letzten zwei Jahren haben sich unsere internen Systeme erheblich weiterentwickelt – von 94,6 Millionen auf 320 Millionen Parameter und von fünf auf acht Kategorien für Richtlinienverstöße –, sodass sie nun in Spitzenzeiten 10.000 Anfragen pro Sekunde verarbeiten können.
Wir haben unser zugrunde liegendes Klassifizierungsmodell für Sprachsicherheit im Jahr 2024 als Open Source veröffentlicht, um die Sprachsicherheit branchenweit voranzutreiben, und heute veröffentlichen wir Version 3 des Modells, die den Nutzern Unterstützung für 22 neue Sprachen und zwei zusätzliche Kategorien von Richtlinienverstößen bietet – mit einer um 14 % höheren Recall-Rate und einer um 5 % höheren Präzision im Vergleich zur vorherigen Version.
Von V1 bis V3 und darüber hinaus
Als wir uns daran machten, ein System für Sprachsicherheit in Echtzeit zu entwickeln, konzentrierten wir uns zunächst auf Englisch. Wir bauten eine automatisierte Pipeline zur maschinellen Annotation auf, um eine große Menge an Trainingsdaten zu generieren. Im Jahr 2024 wurden für das Training der Version 1 des Open-Source-Modells 2.400 Stunden maschinell annotierte englische Daten verwendet. Nach der ersten Einführung und der Implementierung des Benachrichtigungssystems sanken die Meldungsraten wegen Missbrauchs in den USA um über 50 % pro Stunde Sprachausgabe.
Im Jahr 2025 fügten wir weitere Sprachen hinzu, optimierten das Modell weiter und veröffentlichten Version 2 des Modells. Für das Training des neuesten Modells (Version 3) im Jahr 2026 verwendeten wir 250.000 Stunden maschinell annotierte mehrsprachige Daten und 29.000 Stunden von Menschen annotierte mehrsprachige Daten. Jedes Modell wurde anhand von von Menschen annotierten Datensätzen evaluiert.
Version 3 des Open-Source-Modells erreicht einen um die Sprachverteilung im Roblox-Sprachchat gewichteten Recall von 61 % bei einer Falsch-Positiv-Rate von 1 %. Vergleicht man nur die von Version 2 des Modells unterstützten Sprachen, zeigt Version 3 eine relative Verbesserung des um die Sprachverbreitung gewichteten Recalls um 14 %.
Die Sicherheit im Sprachbereich ist zu wichtig, um sie isoliert anzugehen. Wir haben unseren Klassifikator für Sprachsicherheit als Open-Source-Projekt veröffentlicht und sind als Gründungspartner dem ROOST beigetreten, da wir davon überzeugt sind, dass der Austausch von Fortschritten in der Sicherheitstechnologie die gesamte Branche stärkt. Das Modell wurde seit der ersten Veröffentlichung mehr als 70.000 Mal auf Hugging Face heruntergeladen, und jedes Update wurde durch die Erkenntnisse geprägt, die wir beim groß angelegten Betrieb unserer internen Modelle in unserer Community gewonnen haben. Wir arbeiten kontinuierlich an der Weiterentwicklung unserer Sicherheitssysteme und freuen uns darauf, in Zukunft weitere Updates zu veröffentlichen.
Danksagung: Wir möchten Thomas Bui, Meghatrisa Chatterjee, Bridget Daly, Jason Golubock, Hannes Heikinheimo, Marek Kapolka, Cheryl Kwan, Markus Lang, Aashna Sharma, Hao-En Sung, Tingting Tang und Alex Trimm für ihre Arbeit an diesem Projekt danken.
