Cách thức hoạt động của tính năng báo cáo trong trò chơi trên Roblox

• Roblox xử lý 274 triệu lượt cập nhật avatar mỗi ngày, và đó chỉ là một trong những loại nội dung do người dùng tạo ra mà chúng tôi kiểm duyệt để phát hiện các vi phạm về an toàn.¹  
• Báo cáo của người chơi là yếu tố quan trọng để phát hiện vi phạm sớm, và chúng tôi muốn tạo điều kiện thuận lợi cho người chơi báo cáo bất kỳ nội dung nào họ cho là không phù hợp hoặc vi phạm chính sách của chúng tôi. 
• Vì các vi phạm trong nội dung 3D động do người dùng tạo ra có thể khó phát hiện, chúng tôi tận dụng công nghệ ray casting, sao chép mô hình dữ liệu và giao diện báo cáo được cải tiến để giúp người chơi xác định và báo cáo các đối tượng cụ thể kèm theo dữ liệu và bằng chứng trực quan cần thiết để chúng tôi có thể xử lý.

Vào giờ cao điểm, nền tảng Roblox xử lý 274 triệu lượt cập nhật avatar mỗi ngày.¹ Việc báo cáo và xem xét các hành vi lạm dụng trong loại nội dung 3D động do người dùng tạo ra này rất khó khăn vì nó không phải lúc nào cũng để lại dấu vết rõ ràng như nội dung tĩnh, chẳng hạn như nhật ký văn bản hoặc bài đăng trên mạng xã hội. Trong bài viết blog này, chúng tôi mô tả cách tiếp cận của mình trong việc thu thập dữ liệu và bối cảnh trực quan cần thiết để xử lý các báo cáo từ người chơi, từ phương pháp quét tia ban đầu nhằm xác định các avatar vi phạm, cho đến hệ thống hiện tại của chúng tôi – hệ thống này tích hợp với mô hình dữ liệu Roblox để người chơi có thể báo cáo chính xác bất kỳ đối tượng 3D nào trong trò chơi.

Các báo cáo của người chơi là yếu tố quan trọng để phát hiện sớm các vi phạm chính sách tiềm ẩn, và gần đây chúng tôi đã cập nhật quy trình báo cáo để giúp người chơi dễ dàng báo cáo hoặc chặn ngay lập tức bất kỳ nội dung nào khiến họ cảm thấy khó chịu hoặc không an toàn. Hiện nay, các báo cáo của người chơi dẫn đến việc tự động gỡ bỏ hơn 19.000 avatar vi phạm chính sách mỗi tháng và đóng vai trò là tín hiệu cảnh báo sớm quan trọng để phát hiện các trò chơi không phù hợp.²

Thách thức trong việc thu thập nội dung động

Vì nội dung 3D động do người dùng tạo ra có thể được kết hợp và sử dụng trong các bối cảnh khác nhau, nên các mô tả đơn giản hoặc ảnh chụp màn hình không phải lúc nào cũng cung cấp đủ dữ liệu cần thiết để chúng tôi có thể xử lý. Nội dung tĩnh như bài đăng trên mạng xã hội, bình luận trên diễn đàn và video đóng vai trò như bằng chứng lưu trữ vĩnh viễn về một vấn đề, giúp việc báo cáo và xem xét bằng chứng trở nên dễ dàng. Tin nhắn văn bản và trò chuyện bằng giọng nói được lưu trữ trên Roblox, nhưng các loại nội dung do người dùng tạo ra khác lại không để lại dấu vết rõ ràng như vậy. Hình ảnh có thể được tải từ các nơi khác trên nền tảng, các tương tác động có thể không được ghi lại, và người chơi đôi khi kết hợp các món đồ trang phục riêng lẻ vô hại để tạo thành một bộ trang phục không phù hợp. 

Để phát hiện các vi phạm chính sách trong các tình huống động, người báo cáo trước tiên cần có cách để xác định các yếu tố cụ thể trong trò chơi. Thứ hai, cơ chế xác định cần cung cấp ID đối tượng cho nội dung được báo cáo để có thể đánh giá đúng đối tượng. 

Phát hiện hình đại diện lạm dụng trong không gian 3D 

Công cụ báo cáo trước đây của chúng tôi chủ yếu dựa vào bằng chứng từ nhật ký trò chuyện. Các báo cáo không chứa bất kỳ thông tin trực quan nào, dẫn đến những lỗ hổng lớn trong việc hiểu vấn đề. Khi chúng tôi bắt đầu phát triển một công cụ báo cáo có thể thu thập thêm bối cảnh xung quanh các loại vi phạm khác, chúng tôi tập trung trước tiên vào một loại đối tượng mà mọi người chơi đều tương tác: avatar. Người chơi có thể tùy chỉnh avatar để thể hiện bản thân trên Roblox, và việc thu thập thông tin về avatar có nghĩa là chúng tôi có thể liên kết các vi phạm với người chơi cụ thể ngay cả khi không có bằng chứng trên chat. Một hệ thống có thể xác định hiệu quả dữ liệu avatar cũng sẽ là nền tảng quan trọng cho các loại đối tượng khác trong tương lai. 

Các giải pháp tiềm năng bao gồm chụp ảnh màn hình hoặc ghi lại nền để bổ sung thêm bằng chứng cho các báo cáo. Chúng tôi bắt đầu thử nghiệm với ảnh chụp màn hình vì đây là cách dễ dàng để thu thập thông tin, ngay cả khi chúng không ghi lại được tất cả các vi phạm có thể xảy ra. Chúng tôi nhanh chóng gặp phải một hạn chế: Hình ảnh 2D không giúp chúng tôi phân biệt avatar của người chơi với các avatar và NPC khác trong không gian 3D. Chúng tôi không thể luôn xác định chính xác ID người dùng của người có khả năng vi phạm khi các avatar chồng chéo lên nhau.

Chúng tôi cần tìm ra cách trích xuất thêm thông tin để có thể biến một hình ảnh 2D được chụp tại một thời điểm cụ thể thành bằng chứng có thể hành động được. 

Chúng tôi đã chọn phương pháp ray casting như một phương pháp hiệu quả để tách biệt thông tin liên quan trong không gian 3D và thể hiện nó trong hình ảnh 2D tại thời điểm báo cáo. Khi người chơi mở báo cáo, trước tiên chúng tôi thu thập danh sách người chơi trong phiên và lọc ra những người không nằm trong vùng hiển thị. Sau đó, chúng tôi sử dụng ray casting để xác định các khung giới hạn cho mỗi avatar người chơi. Đồng thời, chúng tôi tự động lưu nội dung bộ đệm khung hình của động cơ Roblox vào một ảnh chụp màn hình. Nhờ đó, một ảnh chụp màn hình 2D đơn giản có thể được kết hợp với đủ dữ liệu không gian về thế giới 3D để phân biệt người vi phạm tiềm năng với các avatar khác và môi trường xung quanh. Kỹ thuật ray casting cho phép chúng tôi xác định các khung giới hạn trong vòng trung bình 3,5 mili giây. Các phương pháp chậm hơn sẽ gây ra một khoảng dừng khó chịu, làm gián đoạn trải nghiệm. 

Từ đó, các thông tin bối cảnh khác về một vi phạm chính sách tiềm ẩn có thể được thu thập một cách không đồng bộ. Hiện nay, hệ thống tự động kích hoạt cơ chế này khi người dùng bắt đầu gửi báo cáo. 

Chế độ đánh dấu

Tiếp theo, chúng tôi cần một giao diện báo cáo trực quan để người chơi có thể nhanh chóng xác định nội dung vi phạm. Chúng tôi đã cập nhật giao diện báo cáo của mình với Chế độ đánh dấu để cho phép người chơi đánh dấu các mục vi phạm và chú thích báo cáo của họ bằng thêm thông tin. Khi người chơi nhấp vào một mục vi phạm, chúng tôi sẽ chiếu một chùm tia sáng theo hình tròn xung quanh con trỏ của người chơi. Nếu họ chọn hình đại diện của người chơi, chúng tôi có thể thu thập tất cả siêu dữ liệu cần thiết để xem xét báo cáo của họ và thực hiện hành động. Trong nghiên cứu người dùng nội bộ, Chế độ Đánh dấu đã nhận được phản hồi tích cực, bao gồm cả từ những người chơi trẻ tuổi (9-13 tuổi), những người giờ đây có thể dễ dàng đánh dấu vấn đề và hoàn thành báo cáo thành công hơn.

Với phiên bản ban đầu của công cụ báo cáo mới này, chúng tôi chỉ thu thập ID cho các avatar. Nếu người chơi chọn một mục khác, chúng tôi sẽ không thu thập ID đối tượng đó. Chúng tôi có thể phân tích các báo cáo để tìm hiểu sâu hơn và nắm bắt bối cảnh rộng hơn, liên hệ với các nhà phát triển, và quyết định bước tiếp theo. 

Tuy nhiên, chúng tôi đã hình dung ra một cơ chế cho phép người chơi đánh dấu chính xác bất kỳ mục nào trong trò chơi và thu thập dữ liệu của mục đó trực tiếp trong báo cáo của họ.

Thu thập mô hình dữ liệu cho các loại nội dung chung

Mặc dù phương pháp quét tia hình tròn của chúng tôi hoạt động tốt trong việc phân biệt số lượng hạn chế các hình đại diện hoặc quảng cáo trong vùng hiển thị của người chơi, nhưng nó không thể mở rộng để áp dụng cho mọi đối tượng trong trò chơi. Hãy xem xét môi trường dưới đây:

Trong một môi trường dày đặc, nơi hàng chục đối tượng như đá, cây bụi và hoa chồng chéo và chuyển động, việc quét tia theo hình tròn sẽ không thể xác định chính xác một bông hoa hoặc cây bụi cụ thể. Chúng tôi cần cho phép người chơi đánh dấu các đối tượng với độ chính xác cao hơn, đồng thời cần một cách để thu thập dữ liệu liên quan đến bất kỳ đối tượng nào trong trò chơi. 

Công cụ của Roblox đã lưu trữ một bản trình bày của thế giới 3D trong mô hình dữ liệu của nó, nhưng toàn bộ mô hình dữ liệu cho một trò chơi có thể có dung lượng lên đến hàng gigabyte. Để tối ưu hóa tốc độ, chúng tôi đã tạo ra một cơ chế nhân bản (một cơ chế mà chúng tôi phát triển lần đầu tiên cho Translation Feedback) chỉ nhân bản các đối tượng chính cần thiết để hiển thị một cảnh. Khi đã có phiên bản nhân bản của mô hình dữ liệu này, chúng tôi có thể sử dụng Chế độ Đánh dấu để đưa người báo cáo vào thế giới nhân bản, nơi người chơi có thể đánh dấu chính xác những gì họ muốn báo cáo trong không gian 3D. 

Cách tiếp cận này giúp người dùng có thêm quyền kiểm soát nội dung họ báo cáo và cung cấp cho chúng tôi siêu dữ liệu cần thiết để đánh giá nhiều loại nội dung hơn. Chúng tôi cũng tự động đính kèm ảnh chụp màn hình vào báo cáo để hỗ trợ quá trình kiểm duyệt. 

Tính toàn vẹn của dữ liệu

Một câu hỏi quan trọng mà chúng tôi đã đặt ra kể từ khi bắt đầu dự án là liệu chúng tôi nên thu thập bằng chứng trên thiết bị của khách hàng hay trên máy chủ trò chơi. Roblox hỗ trợ các tập lệnh phía khách hàng có thể chỉ cập nhật trạng thái của khách hàng mà không cập nhật trên máy chủ. Ngoài ra, một số hiệu ứng vật lý là không xác định, có nghĩa là việc thu thập dữ liệu phía máy chủ có thể không hiển thị chính xác những gì người báo cáo đã trải nghiệm. Chúng tôi đã quyết định thu thập dữ liệu phía client để đảm bảo người báo cáo có thể ghi lại chính xác những gì họ đang thấy, nhưng điều này đi kèm với một nhược điểm: Một kẻ xấu có thể tiềm ẩn khả năng xâm nhập vào client và tạo ra bằng chứng giả mạo. 

Để giảm thiểu rủi ro này, chúng tôi xác minh độ chính xác bằng nhiều tín hiệu khác nhau và loại bỏ các bản ghi phía client không chính xác. Tương tự như vậy, các nhà khí tượng học vẫn có thể đưa ra dự báo thời tiết chính xác ngay cả khi họ không nhận được số liệu chính xác từ mọi trạm khí tượng. 

Công việc trong tương lai  

Nhờ những cải tiến này và khả năng ghi lại thông tin hình ảnh phong phú hơn, hệ thống hiện đang tự động gỡ bỏ hơn 19.000 avatar vi phạm chính sách mỗi tháng và đã trở thành một tín hiệu quan trọng để phát hiện các trò chơi không phù hợp. Chúng tôi cũng ghi nhận mức độ áp dụng cao, với khoảng 19% số báo cáo đủ điều kiện bao gồm chú thích hình ảnh.² 

Chúng tôi đang tích cực triển khai giai đoạn cải tiến tiếp theo, phát triển phương pháp phát hiện các vi phạm động (chẳng hạn như biểu tượng cảm xúc kết hợp với chuyển động của người chơi) mà không thể xác định được qua các ảnh chụp nhanh tại một thời điểm cụ thể. Vào cuối năm nay, chúng tôi dự kiến sẽ triển khai tính năng ghi lại chuỗi thời gian của cảnh được báo cáo. Khi Roblox tiếp tục cung cấp cho các nhà sáng tạo các công cụ để xây dựng các tương tác trong trò chơi phong phú hơn, đội ngũ an toàn của chúng tôi sẽ tiếp tục thúc đẩy một môi trường an toàn cho tất cả người chơi.

Chúng tôi xin cảm ơn Rayan Hussain, Ryan Liu, Bridget Daly, Agatha Kielczewski, Alex Leavitt, Ying Liao và Andrew Xu vì những đóng góp của họ cho dự án này.