Zoom sur la sécurité : mars
Modération de la scène entière, nouveau Tableau de bord du créateur et formation pour les responsables de communauté
Dans notre Zoom sur la sécurité de mars, nous expliquons comment nous modérons le contenu à l'aide de systèmes automatisés conçus pour détecter et supprimer le contenu problématique ; souvent avant que les utilisateurs ne le voient. Nous présentons également une nouvelle interface permettant aux créateurs de détecter et de traiter les comportements inappropriés des utilisateurs sur leurs propres expériences, ainsi qu'un nouveau programme de formation destiné aux responsables de la communauté dans tout le secteur. Pour en savoir plus sur les outils de signalement d'utilisateurs, consultez le Zoom sur la sécurité du mois dernier.
Modération continue des comportements utilisateurs
Le contenu en constante évolution et en constante expansion produit par nos créateurs constitue l'une des richesse de Roblox. À tout moment, les créateurs publient des mises à jour pour leurs expériences, ajoutent de nouveaux badges ou animaux de compagnie, et les utilisateurs changent les tenues de leurs avatars, peignent ou construisent des choses en temps réel. Nous examinons tout cela avant la publication sur la plateforme et supprimons tout ce qui est contraire à nos directives.
Nos outils de modération à plusieurs niveaux permettent de détecter la grande majorité des contenus problématiques sur Roblox, et nous rejetons tout ce qui va à l'encontre des Normes de la communauté. En revanche, nous ne sommes pas infaillibles. Voilà pourquoi nous nous appuyons sur les signalements des utilisateurs : pour nous aider à détecter tout élément qui aurait pu échapper à notre vigilance et prendre les mesures qui s'imposent.
En raison de la nature dynamique des jeux Roblox, le contenu évolue en permanence selon la manière dont les utilisateurs combinent des avatars, des vêtements et des mouvements précédemment approuvés. Par exemple, dans les jeux autorisant le dessin libre, un utilisateur pourrait dessiner un symbole ou un objet offensant. À cet effet, nous avons récemment mis en place un nouveau système d'IA dédié à la modération multimodale en temps réel, capable d'analyser ces combinaisons dans leur ensemble.
Les systèmes de modération par IA traditionnels sont conçus pour évaluer un objet à la fois et manquent souvent de contexte ; ils ne détectent donc pas les combinaisons potentiellement problématiques alors que les éléments individuels ne le sont pas. Ce nouveau système de modération multimodale en temps réel évalue une scène dans son ensemble, y compris les avatars, le texte et les objets 3D. Il capture tous ces éléments ensemble à un moment précis et évalue si la scène dans son ensemble enfreint nos directives. Si ce type de comportement problématique se produit de manière répétée au sein d'une même instance de jeu, le système arrête uniquement cette dernière (également appelée « serveur »), et non l'ensemble de l'expérience.
Depuis le lancement de ce système multimodal, environ 5 000 instances enfreignant nos Normes de la communauté ont été fermées chaque jour. Plus nous entraînons le système et le déployons à plus grande échelle, plus nous améliorons sa précision, tout en collaborant avec la communauté afin de réduire les faux positifs. Nous nous efforçons d'étendre ce système multimodal afin de capturer et de surveiller 100 % du temps de jeu. Néanmoins, il y aura toujours des personnes qui tenteront de contourner n'importe quel système ; c'est la raison pour laquelle nous développons une technologie allant au-delà de la fermeture des serveurs. Nous élaborons des méthodes pour identifier des mauvais acteurs spécifiques et les exclure, sans affecter l'expérience des joueurs bien intentionnés.
Offrir aux créateurs une visibilité sur les fermetures de serveurs
Grâce à un nouvel élément ajouté à l'interface de synthèse de la sécurité, nous offrons aux créateurs une plus grande transparence concernant les résultats de ce système de modération multimodal. Comme indiqué ci-dessus, nous fermons les serveurs de jeu lorsqu'ils sont envahis par des utilisateurs au comportement inapproprié. Afin d'offrir aux créateurs davantage de visibilité sur la fréquence à laquelle cela se produit dans leurs expériences, nous avons ajouté un nouveau graphique au Tableau de bord du créateur.
Ils peuvent désormais voir combien de leurs serveurs de jeu ont été fermés en raison d'un mauvais comportement utilisateurs (c'est-à-dire en cas d'infraction à nos politiques en matière de harcèlement et de discrimination ou de contenus à caractère romantique et sexuel). En les aidant à détecter une augmentation soudaine de cette nature, ils sont en mesure d'agir avant que les fermetures n'affectent l'ensemble de leur communauté. Ils peuvent ensuite examiner de plus près leur expérience et décider si des modifications sont nécessaires au niveau des émoticônes personnalisées, des outils d'édition d'avatars ou des fonctionnalités de création d'utilisateurs dans le jeu, et ainsi contribuer à prévenir les créations problématiques.
Formation des modérateurs numériques
Roblox, Keyword Studios et Riot Games s'associent à Rachel Kowert, psychologue chercheuse et directrice de la recherche chez Games for Change, pour mettre en place un nouveau programme de certification destiné aux leaders de communautés numériques. Roblox apportera son expertise en matière de modération de communauté et de conception prosociale afin de piloter et de contribuer à l'élaboration du programme du nouveau DLC Leadership Program. Cette initiative a pour objectif de remédier à l'absence de formation standardisée pour les modérateurs en ligne, les responsables de communauté et les créateurs de jeux vidéo. Dans un article récent, Rachel Kowert a déclaré que le programme visait à « convertir les recherches sur les communautés de joueurs et les comportements en ligne en outils pratiques utilisables par les leaders numériques pour créer des communautés en ligne plus résilientes et plus durables ».
Cette initiative nous permet de montrer l'exemple au secteur en développant le tout premier programme de certification standardisé destiné à la communauté des créateurs Roblox et à l'ensemble de l'industrie du jeu vidéo. Une fois finalisé, le programme aidera les créateurs à acquérir les compétences essentielles nécessaires pour modérer et gérer efficacement leurs propres communautés en pleine croissance. Nous croyons que former plus de modérateurs et de créateurs aux bonnes pratiques pour favoriser des communautés en ligne respectueuses et saines rendra l'expérience de jeu plus positive pour tous.