Cómo funciona la función de informar desde el juego en Roblox

• Roblox procesa 274 millones de actualizaciones de avatares al día, y ese es solo un tipo de contenido generado por los usuarios que moderamos para detectar infracciones de seguridad.¹  
• Las denuncias de los jugadores son fundamentales para detectar las infracciones de forma temprana, y queremos facilitar a los jugadores la tarea de denunciar cualquier cosa que vean y que consideren inapropiada o contraria a nuestras políticas. 
• Dado que las infracciones en el contenido 3D dinámico generado por los usuarios pueden ser difíciles de detectar, utilizamos el ray casting, la clonación de modelos de datos y una interfaz de usuario de denuncia renovada para ayudar a los jugadores a identificar y denunciar objetos específicos con los datos y las pruebas visuales necesarias para que podamos tomar medidas.

En horas punta, la plataforma Roblox procesa 274 millones de actualizaciones diarias de avatares.¹ Denunciar y revisar los abusos en este tipo de contenido 3D dinámico generado por los usuarios supone un reto, ya que no siempre deja un rastro explícito como lo hace el contenido estático, como un registro de texto o una publicación en redes sociales. En esta entrada del blog, describimos nuestro enfoque para recopilar los datos y el contexto visual necesarios para actuar ante las denuncias de los jugadores, desde nuestro método inicial de «ray casting» para identificar avatares abusivos hasta nuestro sistema actual, que se integra con el modelo de datos de Roblox para que los jugadores puedan denunciar con precisión cualquier objeto 3D del juego.

Las denuncias de los jugadores son fundamentales para identificar de forma temprana posibles incumplimientos de las normas, y recientemente hemos actualizado nuestro proceso de denuncia para que a los jugadores les resulte más fácil denunciar o bloquear de inmediato cualquier cosa que les haga sentir incómodos o inseguros. Las denuncias de los jugadores dan lugar ahora a la eliminación automática de más de 19 000 avatares que incumplen las normas al mes y sirven como una importante señal temprana para detectar juegos inapropiados.²

El reto de capturar contenido dinámico

Dado que el contenido 3D dinámico generado por los usuarios puede combinarse y utilizarse en diferentes contextos, las simples descripciones o capturas de pantalla no siempre proporcionan los datos necesarios para que podamos tomar medidas. El contenido estático, como las publicaciones en redes sociales, los comentarios en foros y los vídeos, actúa como documentación permanente de un problema, lo que facilita tanto la denuncia como la revisión de las pruebas. El chat de texto y de voz queda documentado en Roblox, pero otros tipos de contenido generado por los usuarios no dejan un rastro tan explícito. Las imágenes pueden cargarse desde otras partes de la plataforma, es posible que las interacciones dinámicas no queden documentadas y, en ocasiones, los jugadores combinan prendas de vestir que, por sí solas, son inofensivas, para crear un conjunto inapropiado. 

Para detectar infracciones de las normas en situaciones dinámicas, el denunciante necesita, en primer lugar, una forma de identificar elementos específicos dentro de un juego. En segundo lugar, el mecanismo de identificación debe proporcionar los identificadores de los objetos del contenido denunciado, de modo que se pueda evaluar el objeto correcto. 

Detección de avatares abusivos en el espacio 3D 

Nuestra herramienta de denuncia anterior se basaba principalmente en pruebas procedentes de los registros de chat. Las denuncias no incluían ninguna información visual, lo que dejaba grandes lagunas en la comprensión de los hechos. Cuando empezamos a trabajar en una herramienta de denuncia capaz de captar más contexto en torno a otros tipos de infracciones, nos centramos primero en un tipo de objeto con el que todos los jugadores interactúan: los avatares. Los jugadores pueden personalizar sus avatares para representarse a sí mismos en Roblox, y recopilar información sobre un avatar significaba que podríamos asociar las infracciones con jugadores concretos, incluso si no hubiera rastro escrito en el chat. Un sistema capaz de identificar eficazmente los datos de los avatares también sería una base importante para otros tipos de objetos en el futuro. 

Entre las posibles soluciones se incluían la realización de capturas de pantalla o grabaciones de fondo para complementar las denuncias con más pruebas. Empezamos a probar con capturas de pantalla porque eran una forma sencilla de recabar información, aunque no captaran todas las posibles infracciones. Rápidamente nos topamos con una limitación: una imagen en 2D no nos ayudaba a distinguir el avatar de un jugador de otros avatares y PNJ en un espacio 3D. No siempre podíamos identificar con precisión el ID de usuario del posible infractor cuando los avatares se solapaban.

Teníamos que averiguar cómo extraer más información para poder convertir una imagen 2D tomada en un momento concreto en pruebas útiles. 

Nos decantamos por el ray casting como método eficaz para aislar la información relevante en el espacio 3D y representarla en una imagen 2D en el momento de la denuncia. Cuando un jugador abre una denuncia, primero recopilamos una lista de los jugadores que participan en la sesión y filtramos a aquellos que no se encuentran en el campo de visión. A continuación, utilizamos el ray casting para determinar los rectángulos delimitadores de cada avatar de jugador. Al mismo tiempo, guardamos automáticamente el contenido del búfer de fotogramas del motor de Roblox en una captura de pantalla. De esta forma, una simple captura de pantalla en 2D puede combinarse con suficientes datos espaciales sobre el mundo 3D como para diferenciar al posible infractor de otros avatares y del entorno que lo rodea. El ray casting nos permite determinar los rectángulos delimitadores en una media de 3,5 milisegundos. Unos métodos más lentos habrían requerido una pausa incómoda, lo que habría interrumpido la experiencia. 

A partir de ahí, se puede recopilar de forma asíncrona otra información contextual sobre una posible infracción de las normas. En la actualidad, el sistema activa automáticamente este mecanismo cuando un usuario inicia una denuncia. 

Modo de resaltado

A continuación, necesitábamos una interfaz de denuncia intuitiva para que los jugadores pudieran identificar rápidamente el contenido que infringía las normas. Actualizamos nuestra interfaz de denuncia con un «Modo de resaltado» para permitir a los jugadores resaltar los elementos infractores y añadir más información a sus denuncias. Cuando un jugador hacía clic en un elemento infractor, proyectábamos una serie de rayos en círculo alrededor del cursor del jugador. Si seleccionaban el avatar de otro jugador, podíamos capturar todos los metadatos necesarios para revisar su denuncia y tomar medidas. En los estudios internos con usuarios, el «Modo de resaltado» tuvo una buena acogida, incluso entre los jugadores más jóvenes (de entre 9 y 13 años), que ahora podían señalar un problema con mayor facilidad y completar con éxito una denuncia.

Con esta versión inicial de la nueva herramienta de generación de informes, solo capturábamos los ID de los avatares. Si un jugador seleccionaba otra cosa, no capturábamos el ID del objeto. Podíamos examinar los informes para obtener información y un contexto más amplio, ponernos en contacto con los desarrolladores y decidir qué hacer a continuación. 

Pero imaginamos un mecanismo que permitiera a los jugadores resaltar con precisión cualquier elemento del juego y capturar sus datos directamente en su informe.

Captura del modelo de datos para tipos de contenido genéricos

Aunque nuestro enfoque de «ray casting» circular funcionaba bien para diferenciar el número limitado de avatares o anuncios dentro del campo de visión de un jugador, no era escalable a todos los objetos de un juego. Consideremos el entorno que se muestra a continuación:

En un entorno denso en el que se superponen y se animan docenas de objetos como rocas, arbustos y flores, el trazado de rayos en círculo no permitiría identificar de forma fiable una sola flor o arbusto. Necesitábamos que los jugadores pudieran resaltar objetos con mayor precisión, y necesitábamos una forma de capturar los datos asociados a cualquier objeto del juego. 

El motor de Roblox ya almacena una representación del mundo 3D en su modelo de datos, pero el modelo de datos completo de un juego puede ocupar gigabytes. Para optimizar la velocidad, creamos un mecanismo de clonación (un mecanismo que desarrollamos inicialmente para Translation Feedback) que clona solo los objetos clave necesarios para renderizar una escena. Una vez que disponemos de esta versión clonada del modelo de datos, podemos utilizar el «Modo de selección» para situar al informante en el mundo clonado, donde el jugador puede seleccionar con precisión lo que desea informar en 3D. 

Este enfoque ofrece al usuario un mayor control sobre lo que denuncia y nos proporciona los metadatos necesarios para evaluar muchos más tipos de contenido. Además, adjuntamos automáticamente una captura de pantalla a la denuncia para facilitar la revisión por parte de los moderadores. 

Integridad de los datos

Una cuestión clave que nos hemos planteado desde el inicio del proyecto es si debemos capturar las pruebas en el dispositivo del usuario o en el servidor del juego. Roblox admite scripts del lado del cliente que pueden actualizar únicamente el estado del cliente, y no el del servidor. Además, algunos efectos físicos son no deterministas, lo que significa que una captura del lado del servidor podría no mostrar exactamente lo que experimentó el denunciante. Nos decantamos por la captura del lado del cliente para garantizar que el denunciante pueda capturar una representación fiel de lo que está viendo, pero esto conlleva un inconveniente: un malintencionado podría acceder a un cliente y falsificar pruebas. 

Para mitigar este riesgo, verificamos la precisión mediante diversas señales y descartamos las representaciones del cliente que no son precisas. A modo de analogía, los meteorólogos pueden elaborar previsiones meteorológicas precisas aunque no reciban lecturas exactas de todas las estaciones meteorológicas. 

Trabajo futuro  

Gracias a estas mejoras y a la capacidad de capturar información visual más rica, el sistema ahora elimina automáticamente más de 19 000 avatares que infringen las normas al mes y se ha convertido en una señal importante para detectar partidas inapropiadas. También hemos observado una gran aceptación, ya que aproximadamente el 19 % de las denuncias admisibles incluyen anotaciones visuales.² 

Ya estamos trabajando en la siguiente fase de mejoras, desarrollando una forma de detectar infracciones dinámicas (como emoticonos combinados con el movimiento de los jugadores) que no pueden determinarse mediante instantáneas puntuales. A finales de este año, tenemos previsto habilitar la captura de una secuencia temporal de la escena denunciada. A medida que Roblox siga proporcionando a los creadores las herramientas para desarrollar interacciones más ricas dentro del juego, nuestro equipo de seguridad seguirá promoviendo un entorno seguro para todos los jugadores.

Nos gustaría dar las gracias a Rayan Hussain, Ryan Liu, Bridget Daly, Agatha Kielczewski, Alex Leavitt, Ying Liao y Andrew Xu por su trabajo en este proyecto.