Resumen de seguridad de marzo

En nuestro Resumen de seguridad de marzo, compartimos cómo moderamos el contenido mediante sistemas automatizados diseñados para detectar y eliminar contenido problemático, a menudo antes de que los usuarios lo vean. También presentamos un nuevo panel que permite a los creadores detectar y abordar comportamiento inadecuado de los usuarios en sus propios juegos, así como un nuevo programa para capacitar a los administradores de comunidades de todo el sector. Consulta el Resumen de seguridad del mes pasado para obtener más información sobre las herramientas de denuncia de usuarios. 

Moderación continua del comportamiento de los usuarios 

Parte de la magia de Roblox es el contenido en constante expansión y cambio que producen nuestros creadores. En todo momento, los creadores publican actualizaciones de los juegos y agregan nuevos emblemas o mascotas, y los usuarios cambian la vestimenta de sus avatares y pintan o construyen cosas en tiempo real. Revisamos todo esto antes de que se publique en la plataforma y eliminamos cualquier cosa que infrinja nuestras directrices. 

Varias capas de herramientas de moderación detectan la gran mayoría del contenido problemático en Roblox, y rechazamos todo lo que vaya en contra de nuestras Normas de la comunidad. Pero no somos perfectos, por lo que utilizamos los reportes de los usuarios para ayudarnos a identificar cualquier cosa que se nos haya pasado y tomar las medidas correspondientes.

La naturaleza dinámica de los juegos de Roblox implica que el contenido está en constante cambio según cómo los usuarios combinan avatares, ropa y movimientos previamente aprobados. Por ejemplo, en los juegos que permiten dibujar libremente, un usuario podría dibujar un símbolo u objeto ofensivo. Por eso, recientemente lanzamos un nuevo sistema de IA para la moderación multimodal en tiempo real, que puede analizar estas combinaciones de forma conjunta.

Los sistemas tradicionales de moderación con IA están diseñados para evaluar un objeto a la vez y, a menudo, carecen de contexto, por lo que pasan por alto combinaciones que podrían ser problemáticas de formas en que los objetos individuales no lo son. Nuestro nuevo sistema de moderación multimodal en tiempo real evalúa una escena completa, incluidos los avatares, el texto y los objetos en 3D. Captura todos estos elementos en conjunto en un momento específico y evalúa si la escena completa infringe nuestras reglas. Si este tipo de comportamiento problemático ocurre repetidamente en una misma instancia del juego, el sistema cerrará solo esa instancia (también llamada servidor), en lugar de todo el juego. 

Desde el lanzamiento de este sistema multimodal, hemos cerrado aproximadamente 5000 instancias por día que infringían nuestras Normas de la comunidad. A medida que entrenamos y ampliamos el sistema, mejoramos constantemente nuestra precisión y colaboramos con la comunidad para reducir al mínimo los falsos positivos. Estamos trabajando para ampliar este sistema multimodal y lograr supervisar el 100% del tiempo de juego. Pero siempre habrá personas que intenten eludir cualquier sistema, por lo que estamos desarrollando activamente tecnología que va más allá de cerrar servidores. Estamos trabajando en formas de identificar a usuarios maliciosos específicos para poder eliminarlos sin interrumpir la experiencia de los jugadores bien intencionados.

Visibilidad para los creadores sobre los cierres de servidores

Brindamos a los creadores una mayor transparencia sobre los resultados de este sistema de moderación multimodal mediante una incorporación al panel de resumen de seguridad. Como se indicó anteriormente, cerramos los servidores de juego cuando se ven dominados por comportamientos inadecuados de los usuarios. Para ofrecer a los creadores mayor visibilidad sobre la frecuencia con la que esto ocurre en sus juegos, agregamos un nuevo gráfico a su Interfaz de creación. 

Ahora los creadores pueden ver cuántos servidores de sus juegos hemos cerrado debido a comportamientos inadecuados de los usuarios (es decir, por infringir nuestras políticas sobre acoso y discriminación o sobre contenido romántico y sexual). Esto les ayuda a detectar aumentos repentinos para tomar medidas antes de que los cierres afecten a su comunidad en general. A partir de ahí, pueden analizar su juego más a fondo y decidir si es necesario hacer cambios en los emotes personalizados, las herramientas de edición de avatares o las funciones de creación dentro del juego para ayudar a prevenir contenido problemático. 

Capacitación de moderadores digitales 

Roblox, Keyword Studios y Riot Games se asociaron con la psicóloga investigadora y directora de investigación de Games for Change, Rachel Kowert, para crear un nuevo programa de certificación para líderes de comunidades digitales. Roblox aportará su experiencia en moderación de comunidades y diseño prosocial para poner a prueba y ayudar a definir el plan de estudios del nuevo Programa de Liderazgo de DLC. El objetivo de la iniciativa es abordar la falta de formación estandarizada para moderadores en línea, gestores de comunidad y creadores en el ámbito de los videojuegos. En un artículo reciente, Kowert afirmó que el objetivo del programa es “convertir la investigación sobre las comunidades de jugadores y el comportamiento en línea en herramientas prácticas que los líderes digitales puedan usar para crear comunidades en línea más resilientes y sostenibles”.

Al participar en esta iniciativa, contribuiremos a liderar el sector mediante el desarrollo de un programa de certificación estandarizado único en su tipo, diseñado para beneficiar a la comunidad de creadores de Roblox y al sector de los videojuegos en general. Una vez completado, el programa ayudará a los creadores a adquirir las habilidades clave necesarias para moderar y gestionar eficazmente sus comunidades en crecimiento. Creemos que formar a más moderadores y creadores en las mejores prácticas para fomentar comunidades en línea sanas y respetuosas ayudará a que los videojuegos en línea sean más positivos para todos.