안전 현황: 3월

3월 안전 현황 보고서에서는 문제가 되는 콘텐츠를 탐지하고 삭제하도록 설계된 자동화 시스템을 통해, 사용자가 해당 콘텐츠를 접하기 전에 미리 차단하는 방식에 대해 소개합니다. 또한 크리에이터가 자신의 게임 내에서 부적절한 사용자 행동을 파악하고 대응할 수 있도록 지원하는 새로운 대시보드와, 업계 전반의 커뮤니티 관리자를 교육하기 위한 새로운 프로그램도 소개합니다. 사용자 신고 도구에 대한 자세한 내용은 지난 달 안전 현황 보고서를 참조해 주세요. 

지속적인 사용자 행동 관리 

Roblox의 매력 중 하나는 크리에이터들이 만들어내는 끊임없이 확장되고 변화하는 콘텐츠입니다. 크리에이터들은 매 순간 게임 업데이트를 게시하고 새로운 배지나 반려동물을 추가하며, 사용자들은 아바타의 의상을 바꾸거나 실시간으로 그림을 그리거나 무언가를 제작합니다. 저희는 이 모든 내용이 플랫폼에 게시되기 전에 검토하여 가이드라인에 위배되는 것은 제거합니다. 

다층적인 관리 도구를 통해 Roblox의 문제성 콘텐츠 대부분을 걸러내고 있으며, 커뮤니티 표준에 위배되는 모든 콘텐츠를 차단합니다. 하지만 저희도 완벽할 수는 없기에, 사용자 신고를 활용하여 놓친 부분을 찾아내고 그에 따라 조치를 취하고 있습니다.

Roblox 게임의 역동적인 특성상, 사용자가 이전에 승인된 아바타, 의상, 동작을 어떻게 조합하느냐에 따라 콘텐츠는 끊임없이 변화합니다. 예를 들어, 자유 형식의 그림 그리기가 허용되는 게임에서 사용자가 불쾌한 상징이나 아이템을 그릴 수도 있습니다. 그래서 최근 저희는 이러한 조합을 종합적으로 스캔할 수 있는 실시간 다중 모드 검토를 위한 새로운 AI 시스템을 출시했습니다. 

기존의 AI 검토 시스템은 한 번에 하나의 객체만 평가하도록 설계되어 있어 맥락을 파악하지 못하는 경우가 많으며, 개별 항목만으로는 문제가 되지 않더라도 조합될 경우 문제가 될 수 있는 경우를 놓치곤 합니다. 당사의 새로운 실시간 다중 모달 검토 시스템은 아바타, 텍스트, 3D 객체를 포함한 전체 장면을 평가합니다. 이 시스템은 특정 순간에 이러한 모든 요소를 종합적으로 포착하여 전체 장면이 당사의 규정을 위반하는지 여부를 판단합니다. 만약 이러한 유형의 문제 행동이 단일 게임 인스턴스에서 반복적으로 발생하면, 시스템은 게임 전체가 아닌 해당 인스턴스(서버라고도 함)만 중단시킵니다. 

이 다중 모드 시스템을 도입한 이후, 저희는 커뮤니티 가이드라인을 위반하는 인스턴스를 하루 약 5,000건 차단해 왔습니다. 모델 훈련과 시스템 확장을 통해 정확도를 지속적으로 개선하고 있으며, 오탐을 최소화하기 위해 커뮤니티와 협력하고 있습니다. 저희는 이 다중 모드 시스템을 확장하여 플레이 시간의 100%를 포착하고 모니터링할 수 있도록 노력하고 있습니다. 하지만 어떤 시스템이든 우회하려는 시도는 항상 존재할 것이므로, 단순히 서버를 중단하는 것을 넘어서는 기술을 적극적으로 개발하고 있습니다. 선의의 플레이어들의 게임 경험을 방해하지 않으면서도 특정 악성 사용자를 식별하여 제거할 수 있는 방안을 모색 중입니다.

크리에이터에게 서버 중단 현황 제공

안전 개요 대시보드에 새로운 기능을 추가하여, 크리에이터에게 이 다중 모드 관리 시스템의 결과에 대한 더 큰 투명성을 제공하고 있습니다. 앞서 언급했듯이, 악의적인 사용자 행동이 만연할 경우 게임 서버를 중단합니다. 크리에이터가 자신의 게임에서 이러한 상황이 얼마나 자주 발생하는지 더 명확히 파악할 수 있도록, 기존 크리에이터 대시보드에 새로운 차트를 추가했습니다. 

이제 제작자는 사용자의 부적절한 행동(예: 괴롭힘 및 차별, 또는 로맨틱 및 성적 콘텐츠 정책 위반)으로 인해 몇 개의 게임 서버가 중단되었는지 확인할 수 있습니다. 이를 통해 갑작스러운 증가세를 파악하여, 서버 중단이 더 넓은 커뮤니티에 영향을 미치기 전에 조치를 취할 수 있습니다. 이후 제작자는 게임을 면밀히 검토하여, 문제가 될 수 있는 창작물을 방지하기 위해 사용자 지정 이모티콘, 아바타 편집 도구 또는 게임 내 사용자 창작 기능에 변경이 필요한지 결정할 수 있습니다. 

디지털 운영자 교육 

Roblox, Keyword Studios, Riot Games는 연구 심리학자이자 Games for Change 연구 책임자인 Rachel Kowert와 협력하여 디지털 커뮤니티 리더를 위한 새로운 인증 프로그램을 진행합니다. Roblox는 커뮤니티 관리 및 친사회적 디자인에 대한 전문 지식을 제공하여 새로운 DLC 리더십 프로그램의 시범 운영을 지원하고 커리큘럼을 구성하는 데 기여할 예정입니다. 이 이니셔티브의 목표는 게임 업계의 온라인 관리자, 커뮤니티 관리자, 크리에이터를 위한 표준화된 교육의 부재를 해결하는 것입니다. 최근 기사에서 코워트는 이 프로그램이 “게임 커뮤니티와 온라인 행동에 대한 연구를 디지털 리더들이 더 탄력적이고 지속 가능한 온라인 커뮤니티를 구축하는 데 활용할 수 있는 실용적인 도구로 전환하는 것”을 목표로 한다고 밝혔습니다.

이번 노력에 동참함으로써, 우리는 로블록스 크리에이터 커뮤니티와 더 넓은 게임 산업에 도움이 되도록 설계된 업계 최초의 표준화된 인증 프로그램을 개발하여 업계를 선도하는 데 기여할 것입니다. 프로그램이 완료되면 크리에이터들이 성장하는 자신의 커뮤니티를 효과적으로 관리하고 운영하기 위해 필요한 핵심 기술을 습득하는 데 도움이 될 것입니다. 우리는 건강하고 존중받는 온라인 커뮤니티를 위한 모범 사례에 대해 더 많은 운영자와 크리에이터를 교육하는 것이 모든 사람에게 더 긍정적인 온라인 게임 환경을 조성하는 데 도움이 될 것이라고 믿습니다.