Resumo de segurança: março

Em nosso Resumo de Segurança de março, compartilhamos como moderamos o conteúdo por meio de sistemas automatizados projetados para detectar e remover conteúdo problemático — muitas vezes antes que os usuários o vejam. Também apresentamos um novo painel que permite aos criadores identificar e lidar com comportamentos inadequados dos usuários em seus próprios jogos, além de um novo programa para treinar gerentes de comunidade em todo o setor. Consulte o Resumo de Segurança do mês passado para saber mais sobre as ferramentas de denúncia dos usuários. 

Moderação contínua do comportamento dos usuários 

Parte da magia do Roblox está no conteúdo em constante expansão e mudança produzido por nossos criadores. A qualquer momento, os criadores estão publicando atualizações de jogos e adicionando novos emblemas ou animais de estimação, e os usuários estão trocando as roupas de seus avatares e pintando ou construindo coisas em tempo real. Analisamos tudo isso antes que seja publicado na plataforma e removemos qualquer coisa que vá contra nossas diretrizes. 

Várias camadas de ferramentas de moderação detectam a grande maioria do conteúdo problemático no Roblox, e rejeitamos tudo o que vai contra nossos Padrões da Comunidade. Mas não somos perfeitos, então utilizamos as denúncias dos usuários para nos ajudar a encontrar o que podemos ter deixado passar e tomar as medidas cabíveis.

A natureza dinâmica dos jogos do Roblox significa que o conteúdo muda continuamente com base em como os usuários combinam avatares, roupas e movimentos previamente aprovados. Por exemplo, em jogos que permitem desenho livre, um usuário poderia desenhar um símbolo ou item ofensivo. É por isso que lançamos recentemente um novo sistema de IA para moderação multimodal em tempo real, capaz de analisar essas combinações em conjunto. 

Os sistemas tradicionais de moderação por IA são projetados para avaliar um objeto por vez e, muitas vezes, carecem de contexto, deixando passar combinações que poderiam ser problemáticas de maneiras que os itens individuais não são. Nosso novo sistema de moderação multimodal em tempo real avalia uma cena inteira — incluindo avatares, texto e objetos 3D. Ele captura todos esses elementos juntos em um momento específico e avalia se a cena completa viola nossas regras. Se esse tipo de comportamento problemático ocorrer repetidamente em uma única instância do jogo, o sistema desativará apenas essa instância (também chamada de servidor), em vez de todo o jogo. 

Desde o lançamento desse sistema multimodal, desativamos aproximadamente 5.000 instâncias por dia que violam nossos Padrões da Comunidade. À medida que treinamos e expandimos, estamos constantemente aprimorando nossa precisão e trabalhando com a comunidade para minimizar falsos positivos. Estamos trabalhando para expandir esse sistema multimodal para capturar e monitorar 100% do tempo de jogo. Mas sempre haverá pessoas tentando burlar qualquer sistema, por isso estamos desenvolvendo ativamente tecnologias que vão além do desligamento de servidores. Estamos trabalhando em maneiras de identificar usuários mal-intencionados específicos para que possamos removê-los sem prejudicar a experiência dos jogadores bem-intencionados.

Oferecendo visibilidade aos criadores sobre o desligamento de servidores

Estamos oferecendo aos criadores maior transparência sobre os resultados desse sistema de moderação multimodal com uma adição ao painel de visão geral de segurança. Conforme mencionado acima, desligamos servidores de jogos quando eles são dominados por comportamentos inadequados dos usuários. Para dar aos criadores mais visibilidade sobre a frequência com que isso ocorre em seus jogos, adicionamos um novo gráfico ao Painel do Criador já existente. 

Os criadores agora podem ver quantos de seus servidores de jogos foram desativados devido a mau comportamento dos usuários (ou seja, violações de nossas políticas contra assédio e discriminação ou de conteúdo romântico e sexual). Isso os ajuda a identificar um aumento repentino para que possam agir antes que as desativações afetem sua comunidade de forma mais ampla. Eles podem então examinar mais detalhadamente seu jogo e decidir se são necessárias alterações em emotes personalizados, ferramentas de edição de avatares ou recursos de criação de conteúdo pelo usuário no jogo para ajudar a prevenir criações problemáticas. 

Formação de moderadores digitais 

A Roblox, a Keyword Studios e a Riot Games estão fazendo parceria com a psicóloga pesquisadora e diretora de pesquisa da Games for Change, Rachel Kowert, em um novo programa de certificação para líderes de comunidades digitais. A Roblox contribuirá com sua expertise em moderação de comunidades e design pró-social para testar e ajudar a moldar o currículo do novo Programa de Liderança DLC. O objetivo da iniciativa é lidar com a falta de treinamento padronizado para moderadores online, gerentes de comunidade e criadores no espaço dos jogos. Em um artigo recente, Kowert disse que o programa visa “traduzir pesquisas sobre comunidades de jogos e comportamento online em ferramentas práticas que líderes digitais possam usar para construir comunidades online mais resilientes e sustentáveis”.

Ao participar desse esforço, ajudaremos a liderar o setor, desenvolvendo um programa de certificação padronizado inédito, projetado para beneficiar a comunidade de criadores da Roblox e o setor de jogos em geral. Quando concluído, o programa ajudará os criadores a aprender as habilidades essenciais necessárias para moderar e gerenciar com eficácia suas próprias comunidades em crescimento. Acreditamos que treinar mais moderadores e criadores nas melhores práticas para comunidades online saudáveis e respeitosas ajudará a manter os jogos online mais positivos para todos.