Medindo os efeitos causais da comunicação civil sem randomização
Author
Venue
AAAI ICWSM 2024
Abstract
Compreender os efeitos causais da civilidade é fundamental ao analisar a comunicação social online, mas medir a causalidade é difícil. Testes A/B e outros experimentos randomizados são o padrão-ouro para estabelecer efeitos causais, mas são inaplicáveis neste contexto devido a 1) a incapacidade de controlar os níveis de civilidade em um experimento e, mais importante, 2) restrições éticas à randomização intencional dos níveis de civilidade. Desenvolvemos uma nova abordagem quase-experimental para quantificar o efeito causal da civilidade em comunidades online na plataforma social 3D Roblox sem a necessidade de randomização explícita. Esse método utiliza a estocasticidade residual na atribuição de usuários a servidores (o “matchmaking”) como um mecanismo de quase-randomização em dados históricos observacionais. Constatamos que atribuir um usuário a um servidor com níveis mais elevados de comunicação civilizada poderia aumentar o tempo de engajamento em até 1,5% em experiências específicas. Considerando as 4,8 bilhões de horas-pessoa gastas mensalmente na plataforma, isso implica um aumento potencial de mais de 8.000 anos-pessoa de interação social a cada mês. Além disso, esse efeito é subestimado por métodos não causais. Abordagens quase-experimentais prometem novos caminhos para medir o impacto causal do comportamento do usuário em comunidades online sem afetar negativamente os usuários por meio de experimentos randomizados.
