Repensamos el chat para promover la diversión, el juego y la cortesía

• Un chat natural y fluido es vital para los juegos en los que hay equipos o comunidades que juegan juntos.

• Las cadenas que muestran ##### para bloquear lenguaje inapropiado pueden interrumpir el chat, ser difíciles de leer e interrumpir la experiencia de juego.

• Para que el chat fluya y sea respetuoso, mejoramos nuestros filtros de chat y se reformularán las palabras soeces para reemplazarlas por palabras que estén dentro de nuestras pautas.

• Este es el primer paso en nuestro camino para reducir el uso de ##### a largo plazo y generar una experiencia de chat más natural. Seguiremos aprendiendo, iterando y desarrollando nuestras herramientas para proveer un chat seguro y cordial, lo que incluirá controles adicionales para los usuarios.

Todos los días, millones de personas se conectan y juegan en Roblox, donde la comunicación en tiempo real es importante tanto para la expresión de los usuarios como para la coordinación dentro del juego. El uso de filtros de IA para bloquear el texto problemático (visible para los usuarios como #####) siempre ha sido fundamental para nuestro enfoque de seguridad y promoción de la cortesía. Estas marcas numerales se generan en tiempo real y ayudan a los usuarios a notar cuándo lo que escriben no está permitido. Por supuesto, cuando los usuarios infringen repetidamente las reglas, enfrentarán consecuencias más serias que la sustitución de sus palabras por ###.

En mayo de 2025, presentamos las advertencias proactivas en tiempo real para ayudar a los usuarios a comprender nuestras políticas. Ahora están activas tanto para el chat de texto como para el de voz. Estas notificaciones les indican a los usuarios cuándo han infringido una regla, les piden que reconsideren su lenguaje la próxima vez y les ayudan a convertirse en mejores ciudadanos digitales. En una serie de experimentos el año pasado, notamos que los resultados de emitir notificaciones de chat de texto en la experiencia y aplicar suspensiones fueron una reducción del 5% en los mensajes de chat filtrados y una reducción del 6% en consecuencias relacionadas con informes de abuso.

Hoy, agregamos una función adicional para ayudar a mantener la cortesía en el chat de texto dentro de la experiencia: aprovechamos la IA para reformular automáticamente los mensajes, comenzando con el lenguaje ofensivo. A medida que estos sistemas se escalan, crean una inercia hacia la cortesía: la retroalimentación en tiempo real ayuda a los usuarios a conocer y adoptar nuestras Normas de la Comunidad. Todos los usuarios, no solo el remitente del mensaje, podrán ver el lenguaje que sí está permitido en Roblox (y el remitente ve lo que no está permitido). Esto proporciona más retroalimentación a los usuarios que podrían no estar al tanto de las reglas y se basa en nuestra base de filtrado y advertencias en tiempo real para facilitar una conversación segura, civilizada y divertida en Roblox.

Reformulación del chat en tiempo real: pasar de una señal de alto a la orientación

Para muchos usuarios, una cadena de ##### es un callejón sin salida en la conversación, sin orientación sobre cómo reformular su lenguaje para apegarse a nuestras Normas de la Comunidad. Esto a menudo causa confusión y dificulta la colaboración de los equipos dentro del juego. Imagina que alguien quiere advertirle a su amigo que hay un monstruo detrás de él y escribe algo como “¡Cuidado! ¡Hay un pto monstruo en tu ahhh!”para advertirle. El amigo solo ve "###########", lo cual no es muy útil. 

A partir de hoy, el texto filtrado se traducirá a un lenguaje más respetuoso que se sienta natural para los usuarios de Roblox. La reformulación en tiempo real, al momento de su lanzamiento, se centra en los insultos. Por ejemplo, “¡Date prisa, carajo!”podría convertirse en “¡Date prisa!”,lo cual es mucho más cercano a la intención original que #####. Para ser claros, cuando reformulamos un mensaje que infringe nuestra política de lenguaje ofensivo, sigue siendo una infracción y se aplican las mismas reglas. Si un usuario insiste en insultar en el chat, enfrentará las consecuencias habituales por infringir repetidamente nuestra política.

Podemos comparar este sistema con un volante en lugar de una señal de alto: si un mensaje infringe nuestra política, se notifica a todos en el chat que el texto se reformuló para mantener una buena convivencia. Al hacer coincidir las palabras restringidas con las frases que los usuarios usan en el chat diario, ayudamos a que el chat sea respetuoso, sin perder el flujo o la sensación de naturalidad. Al reemplazar estas señales de alto con orientación en tiempo real, podemos reducir parte de esa fricción, sin dejar de reforzar nuestras reglas contra el lenguaje soez.

Aún estamos empezando con la reformulación y la facilitación de contexto para los usuarios cuando se bloquea el texto. Con el tiempo, como cualquier herramienta de traducción de IA, se volverá cada vez más precisa y matizada al conservar el tono o el contexto original de un usuario. Nuestra prioridad sigue siendo construir una forma segura y amena de comunicarse en Roblox que siga priorizando la información, la educación y la orientación de nuestros usuarios conforme aprenden las normas.

Si bien la reformulación reduce parte de la interrupción en el chat, nuestro sistema de seguridad de varias capas permanece vigente para aboradar comportamientos más serios. La reformulación está disponible exclusivamente para el chat dentro de la experiencia, que solo está disponible entre usuarios de grupos de edad similares y sus Conexiones de confianza. Las reformulaciones son compatibles con todos los idiomas disponibles actualmente a través de nuestras herramientas de traducción automática. Nuestro objetivo es lograr un nivel de precisión que nos permita reducir el uso de ### hasta que podamos retirarlo por completo, haciendo que la comunicación digital sea tan natural y clara como una conversación en persona.

A medida que desarrollamos esta función, consultamos con los miembros de nuestro Consejo de adolescentes para construir un sistema que refleje su estilo real de chat. Sofia, integrante del Consejo, comentó: “Avanzar hacia la reformulación en tiempo real conserva el flujo de la conversación y, al mismo tiempo, ayuda a proteger a toda la comunidad. Reorienta la interacción discretamente y ayuda a que todas las personas se sientan bienvenidas”. 

Jordyn, miembro del Consejo de adolescentes, está de acuerdo. “Este cambio les enseña a los jugadores a pensar sobre cómo se comunican y fortalece la interacción al fomentar conexiones amistosas”, declaró Jordyn. Al cambiar a la reformulación, encontramos un punto medio entre las solicitudes de los jugadores y las normas de seguridad necesarias”.

Filtros de texto mejorados: de los patrones al contexto

Nuestras funciones de seguridad evolucionan continuamente para mantenerse fieles a la forma en que los usuarios chatean en Roblox. Nuestros filtros de texto están entrenados para detectar y bloquear todo lo que vaya en contra de nuestras Normas de la Comunidad. Eso debe suceder a escala global y en tiempo real, mientras los usuarios están chateando.

Inicialmente, este sistema tenía dos componentes: 1) Un sistema basado en reglas diseñado para detectar y bloquear contenido que infringe nuestras reglas en cuestión de minutos cuando ocurren eventos en el mundo real. 2) Un conjunto de modelos especializados que se entrenaron a partir de un modelo más grande, basado en un conjunto de muestras simuladas y reales que se actualizan continuamente para incluir tipos de lenguaje en evolución.

Estos modelos especializados son muy buenos para tareas específicas, como encontrar una lista de palabras que no permitimos, pero no razonan del todo bien, por lo que se quedan cortos al encontrar términos en evolución. Los modelos extremadamente grandes no funcionan en tiempo real y las alucinaciones (o categorizaciones erróneas) a menudo aumentan los falsos positivos.

En esta actualización, implementamos un nuevo tercer componente en nuestro sistema de filtrado de texto. Ahora, cuando los modelos especializados no están seguros de si algo infringe las reglas o no, se envía a modelos muy grandes que son mejores para razonar y evaluar más contexto. Estos modelos grandes pueden tomar decisiones más complejas.

Nuestros experimentos muestran que este enfoque combinado ha mejorado significativamente nuestros filtros. Los filtros ahora pueden detectar mejor el leet-speak, o letras reemplazadas por números o símbolos, y los intentos más sofisticados de eludir nuestros filtros. Ningún sistema es perfecto, pero nos entusiasma ver que nuestra innovación más reciente nos ha permitido reducir 20 veces la prevalencia de falsos negativos al compartir o solicitar información personal, como identificadores en redes sociales o números de teléfono.

Este es un enfoque nuevo y revolucionario, así que no siempre reformularemos las palabras a la perfección. Sin embargo, seguiremos aprendiendo y experimentando a medida sobre la marcha, y seguiremos reduciendo el número de ##### que los usuarios ven en sus chats, con miras a retirarlos por completo en el largo plazo. Nuestro objetivo final es permitir que los usuarios colaboren y se conecten de una manera divertida y respetuosa.