Resumo de segurança de janeiro
Moderação proativa de avatares e pesquisa de civilidade
O Panorama de Segurança deste mês destaca as iniciativas de segurança e civilidade que lançamos nas últimas semanas, incluindo novas tecnologias para monitorar proativamente os avatares e educar os usuários sobre nossas políticas. Também criamos e lançamos novos relatórios de civilidade em parceria com organizações terceirizadas.
Anúncio da moderação proativa de avatares
Em 2025, os usuários da Roblox atualizaram seus avatares uma média de 274 milhões de vezes por dia, mudando as roupas e os penteados dos seus avatares, além de adicionar animais de estimação, chapéus e outros acessórios. Muitos usuários dedicam tempo para selecionar cuidadosamente a aparência do seu avatar, porque ele é sua expressão na plataforma. Para ajudar a manter as pessoas seguras, verificamos proativamente tudo o que é enviado para o Mercado do Avatar e bloqueamos qualquer coisa que detectamos que viole nossas Regras da Comunidade. No entanto, os usuários às vezes combinam itens inofensivos de uma forma que cria uma roupa que viola nossas políticas. Por exemplo, um terno preto, uma braçadeira e um bigode são compatíveis por si só — mas, combinados, eles podem ser usados para criar um avatar que se assemelha a Adolf Hitler, o que vai contra nossas políticas.
Historicamente, identificamos avatares problemáticos por meio de denúncias de usuários. A partir deste mês, verificaremos automaticamente os avatares em busca de violações sempre que forem alterados, muitas vezes antes que outros usuários os vejam. Essas verificações avaliam o avatar completo, com todos os itens equipados, para detectar se algo viola nossos padrões. Se o sistema detectar algo inapropriado, o avatar do usuário será redefinido para um avatar padrão (com todos os itens do avatar desequipados). Uma notificação informará ao usuário que seu avatar foi redefinido e qual política foi violada, para ajudá-lo a aprender e cumprir as diretrizes da nossa plataforma no futuro. Embora nenhum sistema seja perfeito, essas notificações dão aos usuários uma maneira de sinalizar se eles acham que o sistema cometeu um erro e nos ajudam a melhorar a precisão da moderação.
Apoio à pesquisa sobre civilidade
Para avançar ainda mais na pesquisa para o setor de jogos, a Roblox colaborou com a Prosocial Design Network, uma organização dedicada a promover elementos de design inovadores que incentivam comportamentos positivos em plataformas online. O objetivo desta colaboração foi identificar projetos de pesquisa que possam ajudar a promover uma conexão social positiva nas plataformas de jogos. Analisamos as propostas e temos o prazer de anunciar que concedemos subsídios a seis equipes de pesquisa para realizar projetos relacionados à promoção da conexão por meio de jogos. À medida que esses projetos de pesquisa avançam, esperamos ver o que foi aprendido e se algum deles pode orientar o design futuro de produtos para a Roblox, bem como para outras empresas. Temos mais detalhes aqui sobre os projetos vencedores.
Relatório: Design para conexões sociais positivas
Em colaboração com o oung and Resilient Research Centre (Centro de Pesquisa Jovem e Resiliente) da Universidade de Western Sydney e o PROJECT ROCKIT, publicamos recentemente um relatório sobre a criação de conexões. O relatório proporciona uma estrutura para que os formuladores de políticas e líderes do setor de tecnologia promovam de forma intencional e proativa o bem-estar, a autonomia e a conexão social saudável das crianças. Essas recomendações baseadas em evidências incluem inovações técnicas e padrões regulatórios para ajudar o setor a se unir para criar ambientes digitais que capacitem os jovens a prosperar em ambientes seguros e conectados.
As recomendações deste relatório reforçam os investimentos que a Roblox fez ao longo dos anos e muitas delas se alinham com a forma como pensamos sobre o design para a segurança, incluindo:
-
Sistema de segurança multicamadas: ao longo dos anos, projetamos um sistema de segurança em camadas que tem redundâncias integradas e melhoria contínua para ajudar a equilibrar a inovação com a segurança do usuário.
-
Parceria com especialistas: aproveitamos uma combinação de tecnologia de segurança sofisticada e colaboração no mundo real, trabalhando com todos – pais, especialistas em segurança e agências governamentais – para manter nossa comunidade segura e civilizada.
-
Conselhos de adolescentes e pais: esses conselhos reúnem jovens e seus pais para consultar algumas de nossas políticas e recursos e fornecer informações sobre a linguagem para garantir que o conteúdo que compartilhamos com usuários mais jovens seja relevante e respeitoso.
-
Moderação de voz em tempo real: este sistema aciona notificações para informar aos usuários quando eles violaram uma política, educando-os sobre nossas políticas e implementando tempos de espera no chat em caso de violações subsequentes.
-
Moderação proativa de avatares: como mencionado anteriormente, este novo sistema também incluirá informações para ajudar a informar os usuários sobre o motivo pelo qual seu avatar não pode ser publicado e qual política seu avatar ou atualização viola.
"Nossa colaboração com a Roblox ressalta a importância do design baseado em evidências para criar ambientes digitais que priorizem o bem-estar dos jovens", disse a professora Amanda Third, do Young and Resilient Research Centre da Universidade de Western Sydney. "Este importante trabalho destaca o valor de reunir pesquisadores, jovens e a indústria para aprofundar nossa compreensão e projetar espaços que nutram conexão, empatia, inclusão e engajamento social positivo. A colaboração intersetorial é essencial se quisermos construir ambientes online que defendam os direitos das crianças e apoiem significativamente os comportamentos pró-sociais, com as vozes dos jovens no centro desse processo."
Todo esse trabalho faz parte do nosso alcance e colaboração contínuos com organizações de jovens, incluindo o PROJECT ROCKIT, para apoiar seu trabalho na prevenção do bullying online e na promoção de conexões sociais saudáveis e positivas online.