Resumen de seguridad: marzo

En nuestro Resumen de seguridad de marzo, compartimos cómo moderamos el contenido mediante sistemas automatizados diseñados para detectar y eliminar el contenido problemático, a menudo antes de que los usuarios lo vean. También presentamos un nuevo panel de control que permite a los creadores detectar y abordar el mal comportamiento de los usuarios en sus propios juegos, así como un nuevo programa para formar a los gestores de comunidades de todo el sector. Consulta el Resumen de seguridad del mes pasado para obtener más información sobre las herramientas de denuncia de los usuarios. 

Moderación continua del comportamiento de los usuarios 

Parte de la magia de Roblox reside en el contenido en constante expansión y cambio que producen nuestros creadores. En todo momento, los creadores publican actualizaciones de juegos y añaden nuevas insignias o mascotas, y los usuarios cambian la vestimenta de sus avatares y pintan o construyen cosas en tiempo real. Revisamos todo esto antes de que se publique en la plataforma y eliminamos cualquier cosa que vaya en contra de nuestras directrices. 

Las múltiples capas de herramientas de moderación detectan la gran mayoría del contenido problemático en Roblox, y rechazamos todo lo que vaya en contra de nuestras Normas de la comunidad. Pero no somos perfectos, por lo que aprovechamos los informes de los usuarios para ayudarnos a encontrar cualquier cosa que se nos haya podido pasar por alto y tomar las medidas oportunas.

La naturaleza dinámica de los juegos de Roblox implica que el contenido cambia continuamente en función de cómo los usuarios combinan avatares, ropa y movimientos previamente aprobados. Por ejemplo, en juegos que permiten dibujar libremente, un usuario podría dibujar un símbolo o un objeto ofensivo. Por eso hemos lanzado recientemente un nuevo sistema de IA para la moderación multimodal en tiempo real que puede analizar estas combinaciones de forma conjunta. 

Los sistemas tradicionales de moderación basados en IA están diseñados para evaluar un objeto cada vez y, a menudo, carecen de contexto, por lo que pasan por alto combinaciones que podrían ser problemáticas de formas que los elementos individuales no lo son. Nuestro nuevo sistema de moderación multimodal en tiempo real evalúa una escena completa, incluyendo avatares, texto y objetos 3D. Captura todos estos elementos juntos en un momento específico y evalúa si la escena completa incumple nuestras normas. Si este tipo de comportamiento problemático se produce repetidamente en una sola instancia del juego, el sistema cerrará solo esa instancia (también llamada servidor), en lugar de todo el juego. 

Desde el lanzamiento de este sistema multimodal, hemos cerrado aproximadamente 5000 instancias al día que infringían nuestras Normas de la comunidad. A medida que entrenamos y ampliamos el sistema, mejoramos constantemente nuestra precisión y colaboramos con la comunidad para minimizar los falsos positivos. Estamos trabajando para ampliar este sistema multimodal con el fin de capturar y supervisar el 100 % del tiempo de juego. Sin embargo, siempre habrá personas que intenten eludir cualquier sistema, por lo que estamos desarrollando activamente tecnología que vaya más allá del cierre de servidores. Estamos trabajando en formas de identificar a los usuarios malintencionados específicos para poder eliminarlos sin perturbar la experiencia de los jugadores bienintencionados.

Ofrecer a los creadores visibilidad sobre los cierres de servidores

Ofrecemos a los creadores una mayor transparencia sobre los resultados de este sistema de moderación multimodal con una nueva función en el panel de control de seguridad. Como se ha señalado anteriormente, cerramos los servidores de juego cuando se ven afectados por el comportamiento indebido de los usuarios. Para que los creadores tengan una mayor visibilidad de la frecuencia con la que esto ocurre en sus juegos, hemos añadido un nuevo gráfico a su panel de control de creadores. 

Los creadores ahora pueden ver cuántos de sus servidores de juegos se han cerrado debido a un comportamiento inadecuado de los usuarios (es decir, que incumple nuestras políticas sobre acoso y discriminación o sobre contenido romántico y sexual). Esto les ayuda a identificar un aumento repentino para que puedan actuar antes de que los cierres afecten a su comunidad en general. A continuación, pueden examinar más detenidamente su juego y decidir si es necesario realizar cambios en los emoticonos personalizados, las herramientas de edición de avatares o las funciones de creación de contenido por parte de los usuarios dentro del juego para ayudar a prevenir creaciones problemáticas. 

Formación de moderadores digitales 

Roblox, Keyword Studios y Riot Games se han asociado con la psicóloga investigadora y directora de investigación de Games for Change, Rachel Kowert, en un nuevo programa de certificación para líderes de comunidades digitales. Roblox aportará su experiencia en moderación de comunidades y diseño prosocial para poner a prueba y ayudar a dar forma al plan de estudios del nuevo Programa de Liderazgo DLC. El objetivo de la iniciativa es abordar la falta de formación estandarizada para moderadores en línea, gestores de comunidades y creadores en el ámbito de los videojuegos. En un artículo reciente, Kowert afirmó que el programa tiene como objetivo «traducir la investigación sobre las comunidades de videojuegos y el comportamiento en línea en herramientas prácticas que los líderes digitales puedan utilizar para construir comunidades en línea más resilientes y sostenibles».

Al participar en esta iniciativa, ayudaremos a liderar el sector, desarrollando un programa de certificación estandarizado pionero en su género, diseñado para beneficiar a la comunidad de creadores de Roblox y al sector de los videojuegos en general. Una vez completado, el programa ayudará a los creadores a adquirir las habilidades fundamentales necesarias para moderar y gestionar de forma eficaz sus propias comunidades en crecimiento. Creemos que formar a más moderadores y creadores en las mejores prácticas para comunidades online saludables y respetuosas contribuirá a que los videojuegos online sean una experiencia más positiva para todos.