Resumo de Segurança de março
Moderação de cena completa, novo Painel de Criações e treinamento para gerentes da comunidade
No nosso Resumo de Segurança de março, contamos como moderamos o conteúdo por meio de sistemas automatizados desenvolvidos para detectar e remover conteúdos problemáticos, muitas vezes antes que os usuários os vejam. Também apresentamos um novo painel que permite que os criadores identifiquem e resolvam comportamentos inadequados dos usuários em seus próprios jogos, além de um novo programa para treinar gerentes de comunidade em todo o setor. Veja o Resumo de Segurança do mês passado para saber mais sobre as ferramentas de denúncia de usuários.
Moderação contínua do comportamento dos usuários
Parte da magia da Roblox é o conteúdo em constante expansão e mudança produzido por nossos criadores. A todo momento, criadores publicam atualizações de jogos e adicionam novos itens, como emblemas e animais de estimação. Ao mesmo tempo, os usuários mudam o visual dos seus avatares e criam coisas em tempo real. Antes de qualquer conteúdo ir ao ar, ele passa por revisão, e removemos tudo o que não segue nossas diretrizes.
Contamos com várias camadas de ferramentas de moderação, que detectam a grande maioria dos conteúdos problemáticos na Roblox, e rejeitamos qualquer coisa que vá contra as Regras da Comunidade. Mas não somos perfeitos, então usamos as denúncias dos usuários para encontrar o que pode ter passado despercebido e agir conforme necessário.
Como os jogos na Roblox são dinâmicos, os conteúdos mudam o tempo todo, dependendo de como os usuários combinam avatares, roupas e movimentos já aprovados. Por exemplo, em jogos que permitem desenho livre, alguém pode acabar desenhando um símbolo ou item ofensivo. É por isso que, recentemente, lançamos um novo sistema de IA para moderação multimodal em tempo real, capaz de analisar essas combinações como um todo.
Os sistemas tradicionais de moderação por IA são desenvolvidos para avaliar um objeto de cada vez. Por isso, muitas vezes, não levam em conta o contexto, deixando passar combinações que podem ser problemáticas, de forma que itens individuais não são. Nosso novo sistema de moderação multimodal em tempo real avalia uma cena inteira, incluindo avatares, texto e objetos 3D. Ele captura todos esses elementos juntos em um momento específico e avalia se a cena como um todo viola nossas regras. Se esse tipo de comportamento problemático ocorre várias vezes numa única instância do jogo, o sistema desativa apenas essa instância (também chamada de "servidor"), não todo o jogo.
Desde o lançamento desse sistema multimodal, encerramos cerca de 5 mil instâncias que violavam nossas Regras da Comunidade por dia. Conforme treinamos e expandimos o sistema, nós aprimoramos a precisão e colaboramos com a comunidade para minimizar os falsos positivos. Estamos trabalhando para expandir esse sistema multimodal para capturar e monitorar 100% do tempo de jogo. No entanto, como sempre haverá pessoas tentando burlar qualquer sistema, vamos desenvolver uma tecnologia que vai além do desligamento de servidores. O objetivo é identificar pessoas de má-fé específicas para que possamos removê-las sem prejudicar a experiência dos jogadores bem-intencionados.
Mais visibilidade aos criadores sobre o encerramento de servidores
Agora oferecemos mais transparência sobre os resultados desse sistema de moderação multimodal aos criadores, com um recurso adicionado ao painel de visão geral de segurança. Como mencionamos, encerramos os servidores de jogos quando eles são dominados por comportamentos inadequados de usuários. Para dar aos criadores mais visibilidade sobre a frequência com que isso acontece em seus jogos, adicionamos um novo gráfico ao Painel de Criações que eles já usam.
Agora, os criadores podem ver quantos dos seus servidores de jogo foram encerrados devido a comportamentos inadequados de usuários (ou seja, violações das nossas políticas de assédio e discriminação ou de conteúdos de cunho romântico e sexual). Isso os ajuda a identificar aumentos repentinos, para que possam agir antes que as desativações afetem sua comunidade de forma mais ampla. Assim, eles podem analisar o jogo de forma mais detalhada e decidir se são necessárias alterações nos emotes personalizados, nas ferramentas de edição de avatar ou nos recursos de criação de usuários no jogo, para evitar criações problemáticas.
Treinamento de moderadores digitais
A Roblox, a Keyword Studios e a Riot Games estão firmando uma parceria com Rachel Kowert, psicóloga, pesquisadora e diretora de pesquisa da Games for Change, para desenvolver um novo programa de certificação para líderes de comunidades digitais. A Roblox contribuirá com sua experiência em moderação de comunidades e design pró-social para testar e ajudar a definir o currículo do novo Programa de Liderança DLC. O objetivo da iniciativa é suprir a falta de treinamento padronizado para moderadores online, gerentes de comunidade e criadores no universo dos jogos. Em um artigo recente, Kowert afirmou que o programa tem como objetivo “transformar as pesquisas sobre comunidades de jogos e comportamento online em ferramentas práticas que os líderes digitais possam usar para construir comunidades online mais resilientes e sustentáveis”.
Participando dessa iniciativa, ajudaremos a liderar o setor desenvolvendo o primeiro programa de certificação padronizado desse tipo, criado para beneficiar a comunidade de criadores da Roblox e o setor de jogos em geral. Após sua conclusão, o programa ajudará os criadores a aprenderem as habilidades essenciais para moderar e gerenciar de forma eficaz suas próprias comunidades em crescimento. Acreditamos que capacitar mais moderadores e criadores para aplicarem as melhores práticas na construção de comunidades online saudáveis e respeitosas deixa os jogos online mais positivos para todos.