Miglioramento del nostro classificatore di sicurezza vocale con 22 nuove lingue e capacità di rilevamento più precise
Nuove lingue, 2 nuove categorie di violazioni e un aumento del 14% del recall
Roblox gestisce quotidianamente milioni di minuti di dati vocali in 30 lingue, il che rappresenta una sfida enorme in termini di sicurezza in tempo reale su larga scala. Negli ultimi due anni, i nostri sistemi interni si sono evoluti in modo significativo — passando da 94,6 milioni a 320 milioni di parametri ed espandendosi da cinque a otto categorie di violazioni delle politiche — fino a gestire oggi 10.000 richieste al secondo nei momenti di picco.
Nel 2024 abbiamo reso open source il nostro modello di classificazione per la sicurezza vocale sottostante per contribuire a migliorare la sicurezza vocale in tutto il settore, e oggi rilasciamo la versione v3 del modello, che offre agli utenti il supporto per 22 nuove lingue e due ulteriori categorie di violazioni delle politiche, con un recall superiore del 14% e una precisione superiore del 5% rispetto alla versione precedente.
Dalla versione 1 alla versione 3 e oltre
Quando abbiamo deciso di sviluppare un sistema per la sicurezza vocale in tempo reale, ci siamo concentrati innanzitutto sull’inglese. Abbiamo creato una pipeline automatizzata di etichettatura automatica per generare un elevato volume di dati di addestramento. Nel 2024, la versione v1 del modello open source ha utilizzato 2.400 ore di dati in inglese etichettati automaticamente per l’addestramento del modello. A seguito del lancio iniziale e dell’implementazione delle notifiche, i tassi di segnalazione di abusi negli Stati Uniti sono diminuiti di oltre il 50% per ora di discorso.
Nel 2025 abbiamo aggiunto altre lingue, ottimizzato ulteriormente il modello e rilasciato la versione v2. Per l’addestramento dell’ultimo modello v3 nel 2026, abbiamo utilizzato 250.000 ore di dati multilingue etichettati automaticamente e 29.000 ore di dati multilingue etichettati manualmente. Ogni modello è stato valutato utilizzando set di dati etichettati manualmente.
La versione v3 del modello open source raggiunge un recall del 61%, ponderato in base alla distribuzione linguistica della chat vocale di Roblox, con un tasso di falsi positivi dell’1%. Utilizzando a titolo di confronto solo le lingue supportate dalla versione v2 del modello, la v3 mostra un miglioramento relativo del 14% nel recall ponderato in base alla prevalenza linguistica.
La sicurezza vocale è troppo importante per essere affrontata in modo isolato. Abbiamo reso open source il nostro classificatore di sicurezza vocale e siamo entrati a far parte di ROOST come partner fondatore perché crediamo che la condivisione dei progressi nella tecnologia di sicurezza rafforzi l’intero settore. Il modello è stato scaricato più di 70.000 volte su Hugging Face dal suo primo rilascio, e ogni aggiornamento è stato modellato in base a ciò che abbiamo appreso gestendo i nostri modelli interni su larga scala all’interno della nostra comunità. Continuiamo a perfezionare i nostri sistemi di sicurezza e non vediamo l’ora di condividere ulteriori aggiornamenti in futuro.
Ringraziamenti: Desideriamo ringraziare Thomas Bui, Meghatrisa Chatterjee, Bridget Daly, Jason Golubock, Hannes Heikinheimo, Marek Kapolka, Cheryl Kwan, Markus Lang, Aashna Sharma, Hao-En Sung, Tingting Tang e Alex Trimm per il loro lavoro su questo progetto.
