안전 스냅샷: 3월

3월 안전 스냅샷에서는 문제가 될 수 있는 콘텐츠가 사용자에게 실제로 노출되기 전에 탐지하고 차단하도록 설계된 자동화 시스템을 통해 콘텐츠를 검열하는 방법을 공유합니다. 또한, 크리에이터가 자신의 게임에서 발생하는 사용자의 악의적인 행동을 파악하고 이에 대처할 수 있도록 지원하는 새로운 대시보드와 업계 전반의 커뮤니티 관리자를 교육하는 새로운 프로그램에 대해서도 소개합니다. 사용자 신고 도구에 대한 자세한 내용은 지난달 안전 스냅샷에서 확인하세요. 

사용자 행동의 지속적 검열

Roblox의 매력 중 하나는 크리에이터들이 제작하는 콘텐츠가 끊임없이 확장되고 변화한다는 점입니다. 언제나 크리에이터들은 게임 업데이트를 게시하고, 새로운 배지 또는 펫을 추가하며, 사용자들은 실시간으로 아바타 의상을 바꾸고, 그림을 그리고, 무언가를 제작합니다. 당사는 이러한 모든 콘텐츠가 플랫폼에 게시되기 전에 검토하고 가이드라인에 위배되는 콘텐츠는 모두 삭제합니다.

다층적으로 구성된 검열 도구가 Roblox에서 문제가 될 수 있는 콘텐츠의 대부분을 탐지하며, 당사는 당사 커뮤니티 규정에 위배되는 모든 것을 거부합니다. 그러나 이런 시스템이 완벽하지는 않기 때문에, 당사는 사용자 신고를 활용하여 우리가 놓친 콘텐츠를 찾아내고 적절히 조치합니다.

Roblox 게임의 역동적인 특성으로 인해, 사용자가 기존에 승인된 아바타, 복장, 동작을 어떻게 조합하느냐에 따라 콘텐츠가 지속적으로 변화할 수 있습니다. 예를 들어, 자유로운 형식의 그림을 그릴 수 있는 게임에서 사용자가 불쾌한 기호나 항목을 그릴 수 있습니다. 그래서 당사는 최근 이러한 조합을 함께 스캔할 수 있는 실시간 멀티모달 검열용 새로운 AI 시스템을 출시했습니다.

기존의 AI 검열 시스템은 한 번에 하나의 객체만 평가하도록 설계되어 있으며, 종종 맥락이 부족하여 개별 항목이 아닌 방식으로 문제가 되는 조합을 놓치는 경우가 있었습니다. Roblox의 새로운 실시간 멀티모달 검열 시스템은 아바타, 텍스트, 3D 개체 등 전체 장면을 평가합니다. 이 시스템은 특정 순간에 모든 요소를 함께 포착하여 전체 풍경이 당사의 규정을 위반하는지 여부를 평가합니다. 이러한 유형의 문제 행동이 단일 게임 인스턴스에서 반복적으로 발생하는 경우, 시스템은 게임 전체가 아닌 해당 인스턴스(서버라고도 부름)만 종료합니다.

이 멀티모달 시스템을 도입한 이후, 당사는 매일 약 5,000개의 커뮤니티 규정 위반 인스턴스를 차단하고 있습니다. 당사는 시스템을 훈련시키고 확장하는 과정에서 지속적으로 정확도를 개선하고 있으며, 커뮤니티와 협력하여 오탐지 빈도를 최소화하기 위해 노력하고 있습니다. 당사는 플레이타임의 100%를 포착하고 모니터링할 수 있도록 이 멀티모달 시스템을 확장하기 위해 노력하고 있습니다. 그러나 언제나 시스템을 우회하려는 사람들이 있기 마련이므로, Roblox는 서버를 종료하는 것 이상의 기술을 적극적으로 개발하고 있습니다. 당사는 악의적인 행위자를 식별하여 선의의 플레이어들의 체험에 지장을 주지 않으면서 해당 행위자를 제외시킬 수 있는 방법을 모색하고 있습니다.

크리에이터에게 서버 종료에 대한 정보 제공

당사는 안전 개요 대시보드에 새로운 기능을 추가하여 크리에이터에게 이 멀티모달 검열 시스템의 결과를 더 투명하게 보여주고 있습니다. 위에서 언급한 바와 같이, 부적절한 사용자 행동이 과도하게 나타나는 경우 해당 게임 서버를 종료합니다. 크리에이터가 자신의 게임에서 이러한 상황이 얼마나 자주 발생하는지 더 명확하게 파악할 수 있도록, 기존 크리에이터 대시보드에 새로운 차트를 추가했습니다. 

이제 크리에이터는 부적절한 사용자 행동(예: 괴롭힘과 차별, 또는 연애 및 성적 콘텐츠 정책 위반)으로 인해 종료된 게임 서버의 수를 확인할 수 있습니다. 이를 통해 크리에이터는 갑작스러운 증가 추세를 파악하여 더 폭넓은 커뮤니티의 서버까지 종료되기 전에 조치할 수 있습니다. 그다음 크리에이터는 게임을 면밀히 검토하고, 문제의 소지가 있는 창작물이 생성되는 것을 방지하기 위해 맞춤 이모티콘, 아바타 편집 도구 또는 게임 내 사용자 생성 기능에 대한 변경이 필요한지 결정할 수 있습니다. 

디지털 관리자 교육

Roblox, Keyword Studios, Riot Games는 연구 심리학자이자 Games for Change의 연구 책임자인 레이첼 코워트(Rachel Kowert)와 협력하여 디지털 커뮤니티 리더를 위한 새로운 인증 프로그램을 개발하고 있습니다. Roblox는 새로운 DLC 리더십 프로그램의 시범 운영과 커리큘럼 구축에 도움을 주기 위해 커뮤니티 검열 및 친사회적 디자인에 대한 전문 지식을 제공할 것입니다. 이 이니셔티브의 목표는 게임 분야의 온라인 관리자, 커뮤니티 관리자, 크리에이터를 위한 표준화된 교육이 부족하다는 문제를 해결하는 것입니다. Kowert 박사는 최근 기사에서 이 프로그램이 "게임 커뮤니티와 온라인 행동에 대한 연구 결과를 디지털 리더들이 더욱더 탄력적이고 지속 가능한 온라인 커뮤니티를 구축하는 데 사용할 수 있는 실용적인 도구로 전환"하는 것을 목표로 한다고 말했습니다.

이 과정에 참여함으로써, 당사는 Roblox 크리에이터 커뮤니티와 더 넓은 의미의 게임 업계에 도움이 되도록 설계된 최초의 표준화된 인증 프로그램을 개발하고 업계를 선도하는 데 일조할 것입니다. 이 프로그램이 완성되면, 크리에이터가 성장하는 커뮤니티를 효과적으로 운영하고 관리하는 데 필요한 핵심 기술을 습득하는 데 도움을 줄 것입니다. 당사는 건강하고 상호 존중하는 온라인 커뮤니티를 위한 모범 사례에 대해 더 많은 규정 준수 담당자 및 크리에이터를 교육하는 것이 모두에게 더 긍정적인 온라인 게이밍 환경을 유지하는 데 도움이 될 것이라고 믿습니다.