Mesurer les effets causaux de la communication civile sans randomisation
Author
Venue
AAAI ICWSM 2024
Abstract
Il est essentiel de comprendre les effets causaux de la civilité lors de l'analyse de la communication sociale en ligne, mais il est difficile de mesurer la causalité. Les tests A/B et autres expériences randomisées constituent la référence en matière d'établissement des effets causaux, mais ils ne sont pas applicables dans ce contexte en raison 1) de l'impossibilité de contrôler les niveaux de civilité dans une expérience, et surtout 2) des contraintes éthiques liées à la randomisation intentionnelle des niveaux de civilité. Nous développons une nouvelle approche quasi-expérimentale pour quantifier l'effet causal de la civilité dans les communautés en ligne sur la plateforme sociale 3D Roblox sans nécessiter de randomisation explicite. Cette méthode utilise la stochasticité résiduelle dans l'affectation des utilisateurs aux serveurs (le « matchmaking ») comme mécanisme de quasi-randomisation dans les données historiques d'observation. Nous constatons que l'affectation d'un utilisateur à un serveur présentant des niveaux de communication plus courtois pourrait augmenter le temps d'engagement de près de 1,5 % dans certaines expériences. Compte tenu des 4,8 milliards d'heures-personnes passées chaque mois sur la plateforme, cela implique une augmentation potentielle de plus de 8 000 années-personnes d'interaction sociale chaque mois. De plus, cet effet est sous-estimé par les méthodes non causales. Les approches quasi-expérimentales ouvrent de nouvelles perspectives pour mesurer l'impact causal du comportement des utilisateurs dans les communautés en ligne sans nuire aux utilisateurs par le biais d'expériences randomisées.
