22개 신규 언어 지원 및 향상된 탐지 기능을 통해 ‘Our Voice’ 안전 분류기를 업그레이드합니다
새로운 언어, 2개의 새로운 위반 범주, 14% 향상된 리콜률
Roblox는 매일 30개 언어로 수백만 분에 달하는 음성 데이터를 처리하며, 이는 대규모 실시간 안전 관리에 있어 막대한 과제를 안고 있습니다. 지난 2년 동안 당사의 내부 시스템은 매개변수가 9,460만 개에서 3억 2,000만 개로 증가하고, 정책 위반 범주가 5개에서 8개로 확대되는 등 크게 발전하여, 현재는 피크 시간대에 초당 10,000건의 요청을 처리할 수 있게 되었습니다.
저희는 업계 전반의 음성 안전성을 향상시키기 위해 2024년에 기반이 되는 음성 안전 분류기 모델을 오픈소스로 공개했으며, 오늘은 이 모델의 v3 버전을 출시합니다. 이 버전은 22개의 새로운 언어를 지원하고 정책 위반 범주를 2개 추가했으며, 이전 버전에 비해 리콜률이 14%, 정밀도가 5% 향상되었습니다.
V1에서 V3로, 그리고 그 너머로
실시간 음성 안전 시스템을 구축하기 시작했을 때, 우리는 우선 영어에 집중했습니다. 대량의 훈련 데이터를 생성하기 위해 자동화된 기계 라벨링 파이프라인을 구축했습니다. 2024년, 오픈소스 모델 v1은 모델 훈련을 위해 2,400시간 분량의 기계 라벨링된 영어 데이터를 사용했습니다. 초기 출시 및 알림 기능 구현 이후, 미국 내 악용 신고율은 음성 1시간당 50% 이상 감소했습니다.
2025년에는 더 많은 언어를 추가하고 모델을 추가로 튜닝하여 v2 버전을 출시했습니다. 2026년 최신 v3 모델을 훈련하기 위해, 250,000시간 분량의 기계 라벨링 다국어 데이터와 29,000시간 분량의 수동 라벨링 다국어 데이터를 사용했습니다. 모든 모델은 수동 라벨링 데이터셋을 사용하여 평가되었습니다.
오픈소스 모델 v3는 1%의 오탐률에서 로블록스 음성 채팅 언어 분포로 가중치를 적용한 리콜률 61%를 달성했습니다. 비교를 위해 모델 v2에서 지원되는 언어만을 기준으로 할 때, v3는 언어 사용 빈도로 가중치를 적용한 리콜률에서 14%의 상대적 개선을 보였습니다.
음성 안전은 단독으로 해결하기에는 너무 중요한 문제입니다. 저희는 안전 기술의 발전을 공유하는 것이 업계 전체를 강화한다고 믿기 때문에, 음성 안전 분류기를 오픈소스로 공개하고 ROOST의 창립 파트너로 합류했습니다. 이 모델은 첫 출시 이후 Hugging Face에서 70,000회 이상 다운로드되었으며, 각 업데이트는 커뮤니티 전반에 걸쳐 대규모로 내부 모델을 운영하며 얻은 교훈을 바탕으로 이루어졌습니다. 저희는 안전 시스템을 지속적으로 개선해 나가고 있으며, 향후 더 많은 업데이트 소식을 공유할 수 있기를 기대합니다.
감사의 말씀: 이 프로젝트에 기여해 주신 Thomas Bui, Meghatrisa Chatterjee, Bridget Daly, Jason Golubock, Hannes Heikinheimo, Marek Kapolka, Cheryl Kwan, Markus Lang, Aashna Sharma, Hao-En Sung, Tingting Tang, Alex Trimm 님께 깊은 감사를 드립니다.
