Ra mắt thêm nhiều ngôn ngữ cho mô hình an toàn giọng nói mã nguồn mở của chúng tôi

• Chúng tôi đang cập nhật bộ phân loại an toàn giọng nói mã nguồn mở bằng cách tăng số tham số từ 94,6 triệu lên 120,2 triệu và mở rộng sang bảy ngôn ngữ bổ sung.
• Kể từ phiên bản đầu tiên của bộ phân loại, chúng tôi đã nâng cao độ chính xác lên mức độ nhạy (recall) là 59,1% trên dữ liệu trò chuyện giọng nói tiếng Anh với tỷ lệ dương tính giả (false-positive rate) là 1%. Đây là sự cải thiện 92% so với mức độ nhạy 30,9% của phiên bản trước.

Việc thúc đẩy an toàn và văn minh luôn là nền tảng cho mọi hoạt động của chúng tôi tại Roblox. Chúng tôi đã dành gần hai thập kỷ để xây dựng các hệ thống an toàn vững chắc và liên tục phát triển, cải tiến chúng khi công nghệ mới xuất hiện. Trong năm 2024, chúng tôi đã triển khai hơn 40 cải tiến về an toàn, bao gồm việc nâng cấp hệ thống Kiểm soát của Phụ huynh, mà chúng tôi đang cập nhật lại hôm nay. Chúng tôi cũng đã ra mắt một trong những bộ phân loại giọng nói an toàn mã nguồn mở đầu tiên trong ngành, đã được tải xuống hơn 23.000 lần. Hôm nay, chúng tôi phát hành phiên bản cập nhật, chính xác hơn và hỗ trợ nhiều ngôn ngữ hơn.

Nhiều hệ thống an toàn giúp bảo vệ người dùng của chúng tôi, bao gồm cả bộ phân loại này, đều được vận hành bởi các mô hình AI. Chúng tôi chia sẻ mã nguồn mở một số mô hình này vì chúng tôi biết rằng việc chia sẻ những tiến bộ về an toàn AI mang lại lợi ích cho toàn ngành. Đó cũng là lý do tại sao chúng tôi gần đây đã gia nhập ROOST—một tổ chức phi lợi nhuận mới chuyên giải quyết các vấn đề quan trọng trong an toàn kỹ thuật số bằng cách thúc đẩy các công cụ an toàn mã nguồn mở—với tư cách là đối tác sáng lập.

Khi quản lý khối lượng nội dung và tương tác diễn ra trên nền tảng của chúng tôi mỗi ngày trên toàn thế giới, AI là yếu tố thiết yếu để đảm bảo an toàn cho người dùng. Chúng tôi tin tưởng rằng các mô hình chúng tôi đã xây dựng đang hỗ trợ hiệu quả cho nhu cầu của chúng tôi. Ví dụ, trong quý 4 năm 2024, người dùng Roblox đã tải lên 300 tỷ nội dung. Chỉ 0,01% trong số hàng tỷ video, âm thanh, văn bản, trò chuyện thoại, avatar và trải nghiệm 3D đó bị phát hiện vi phạm chính sách của chúng tôi. Và gần như toàn bộ nội dung vi phạm chính sách đó đã được sàng lọc trước và xóa tự động trước khi người dùng nhìn thấy.  

Chúng tôi đã cập nhật phiên bản mã nguồn mở của bộ phân loại an toàn giọng nói để tăng độ chính xác và giúp chúng tôi kiểm duyệt nội dung trên nhiều ngôn ngữ hơn. Mô hình mới:

• Phát hiện các vi phạm bằng bảy ngôn ngữ bổ sung — tiếng Tây Ban Nha, tiếng Đức, tiếng Pháp, tiếng Bồ Đào Nha, tiếng Ý, tiếng Hàn và tiếng Nhật — nhờ quá trình huấn luyện trên dữ liệu đa ngôn ngữ.
• Có tỷ lệ thu hồi tổng thể tăng lên 59,1%, cải thiện 92% so với tỷ lệ thu hồi 30,9% trong bản phát hành trước đó, với tỷ lệ dương tính giả thấp.
• Được tối ưu hóa để phục vụ trên quy mô lớn, xử lý lên đến 8.300 yêu cầu (phần lớn trong số đó không chứa vi phạm) mỗi giây vào giờ cao điểm.

Kể từ khi phát hành mô hình đầu tiên, chúng tôi đã ghi nhận mức giảm hơn 50% tỷ lệ báo cáo lạm dụng trên mỗi giờ phát biểu của người dùng tại Mỹ. Mô hình này cũng giúp chúng tôi kiểm duyệt hàng triệu phút trò chuyện giọng nói mỗi ngày chính xác hơn so với nhân viên kiểm duyệt con người. Chúng tôi không ngừng nâng cao hệ thống an toàn của mình và sẽ tiếp tục cập nhật phiên bản mã nguồn mở.

Bộ phân loại an toàn giọng nói đa ngôn ngữ hiệu quả

Mô hình phân loại an toàn giọng nói mã nguồn mở ban đầu của chúng tôi dựa trên mô hình WavLM base+, được tinh chỉnh bằng các mẫu âm thanh trò chuyện giọng nói tiếng Anh được gắn nhãn bằng máy. Kết quả tích cực từ kiến trúc end-to-end này đã thúc đẩy các thí nghiệm tiếp theo với kiến trúc tùy chỉnh. Chúng tôi đã sử dụng kỹ thuật distillation kiến thức để tối ưu hóa độ phức tạp và độ chính xác của mô hình, điều này rất phù hợp cho việc triển khai suy luận quy mô lớn. Bộ phân loại mới của chúng tôi sử dụng các khối xây dựng cơ bản này, đồng thời mở rộng quy mô và nâng cao công việc trong việc sử dụng dữ liệu và tinh chỉnh kiến trúc.

Bằng cách đào tạo trên dữ liệu đa ngôn ngữ, mô hình phân loại duy nhất của chúng tôi có thể hoạt động mượt mà trên bất kỳ ngôn ngữ nào trong số tám ngôn ngữ được hỗ trợ hàng đầu của chúng tôi. Và các cải tiến trong quá trình đào tạo có nghĩa là mô hình này không chỉ chính xác hơn mà còn chạy nhanh hơn 20% đến 30% trong một kịch bản suy luận điển hình so với phiên bản đầu tiên.

Mô hình phân loại an toàn giọng nói mới vẫn dựa trên kiến trúc WavLM, nhưng cấu hình lớp khác biệt so với phiên bản trước và các mô hình WavLM đã được huấn luyện sẵn. Đặc biệt, chúng tôi đã thêm một lớp convolutional bổ sung để giảm độ phân giải thời gian nội bộ của các lớp transformer. Tổng cộng, kiến trúc mô hình mới của chúng tôi có 120,2 triệu tham số, tăng 27% so với 94,6 triệu trong phiên bản trước. Mặc dù có sự gia tăng này, mô hình mới tiêu tốn ít hơn 20% đến 30% thời gian tính toán khi được sử dụng với các đoạn đầu vào từ 4 đến 15 giây. Điều này là khả thi vì mô hình nén tín hiệu đầu vào thành một biểu diễn ngắn hơn so với trước đây.

Sử dụng nhiều chiến lược gắn nhãn

Đào tạo có giám sát cho mô hình end-to-end yêu cầu các cặp dữ liệu âm thanh và nhãn lớp được chọn lọc. Chúng tôi đã cải thiện đáng kể quy trình xử lý dữ liệu để đảm bảo nguồn dữ liệu có nhãn ổn định. Nền tảng của tài liệu đào tạo là bộ dữ liệu được gắn nhãn tự động khổng lồ với hơn 100.000 giờ giọng nói bao gồm các ngôn ngữ được hỗ trợ. Chúng tôi đã tự động chuyển lời nói thành văn bản và chạy qua bộ phân loại độc hại dựa trên văn bản nội bộ của chúng tôi, bộ phân loại này chia sẻ các chính sách và danh mục độc hại mong muốn. Việc thu thập dữ liệu lấy mẫu nội dung lạm dụng với xác suất cao hơn so với lời nói vô hại để nắm bắt tốt hơn các trường hợp ngoại lệ và các vi phạm chính sách ít phổ biến hơn.

Các nhãn dựa trên bản ghi âm giọng nói và phân loại dựa trên văn bản không thể nắm bắt đầy đủ các sắc thái được quan sát thấy trong nội dung trò chuyện bằng giọng nói. Vì vậy, chúng tôi đã sử dụng dữ liệu được con người gắn nhãn để tinh chỉnh mô hình từ giai đoạn huấn luyện trước đó. Mặc dù nhiệm vụ phân loại là giống nhau, nhưng giai đoạn huấn luyện sau giúp tinh chỉnh các ranh giới quyết định và nhấn mạnh khả năng phản hồi đối với các biểu hiện đặc trưng của trò chuyện bằng giọng nói. Đây là một hình thức học tập theo chương trình giúp chúng tôi tận dụng tối đa các ví dụ quý giá được con người gắn nhãn.

Một thách thức trong việc huấn luyện mô hình end-to-end là các nhãn mục tiêu có thể trở nên lỗi thời nếu chính sách gắn nhãn thay đổi theo thời gian. Vì vậy, khi chúng tôi tinh chỉnh chính sách giọng nói chấp nhận được, chúng tôi cần xử lý đặc biệt đối với dữ liệu sử dụng các tiêu chuẩn gắn nhãn cũ. Để giải quyết vấn đề này, chúng tôi đã sử dụng phương pháp đa tác vụ cho phép mô hình học từ các tập dữ liệu không phù hợp với chính sách trò chuyện bằng giọng nói hiện tại. Điều này bao gồm việc dành riêng một đầu phân loại cho chính sách cũ, cho phép thân mô hình học từ tập dữ liệu cũ mà không ảnh hưởng đến các nhãn mục tiêu hoặc đầu chính.

Mô hình được hiệu chỉnh để triển khai dễ dàng hơn

Việc sử dụng mô hình phân loại đòi hỏi phải xác định điểm hoạt động và điều chỉnh độ nhạy của bộ phân loại theo yêu cầu của tác vụ. Để đơn giản hóa việc triển khai mô hình, chúng tôi đã hiệu chỉnh đầu ra của mô hình, được tối ưu hóa cho việc kiểm duyệt trò chuyện giọng nói. Chúng tôi đã ước tính các biến đổi tuyến tính từng đoạn từ một tập dữ liệu được giữ lại, thực hiện riêng biệt cho từng đầu ra và ngôn ngữ được hỗ trợ. Các biến đổi này được áp dụng trong quá trình chưng cất mô hình, đảm bảo rằng mô hình cuối cùng được hiệu chỉnh sẵn. Điều này loại bỏ nhu cầu xử lý hậu kỳ trong quá trình suy luận.

Chúng tôi rất vui mừng được chia sẻ mô hình mã nguồn mở mới này với cộng đồng và mong muốn được chia sẻ các bản cập nhật trong tương lai khi có.