Misurazione degli effetti causali della comunicazione civile senza randomizzazione
Author
Venue
AAAI ICWSM 2024
Abstract
Comprendere gli effetti causali della civiltà è fondamentale quando si analizza la comunicazione sociale online, ma misurare la causalità è difficile. I test A/B e altri esperimenti randomizzati sono il gold standard per stabilire gli effetti causali, ma non sono applicabili in questo contesto a causa 1) dell'impossibilità di controllare i livelli di civiltà in un esperimento e, cosa ancora più importante, 2) dei vincoli etici sulla randomizzazione intenzionale dei livelli di civiltà. Abbiamo sviluppato un nuovo approccio quasi-sperimentale per quantificare l'effetto causale della civiltà nelle comunità online sulla piattaforma sociale 3D Roblox senza richiedere una randomizzazione esplicita. Questo metodo utilizza la stocasticità residua nell'assegnazione "matchmaking" degli utenti ai server come meccanismo di quasi-randomizzazione nei dati storici osservazionali. Abbiamo riscontrato che l'assegnazione di un utente a un server con livelli più elevati di comunicazione civile potrebbe aumentare il tempo di coinvolgimento fino all'1,5% in determinate esperienze. Considerando i 4,8 miliardi di ore-persona trascorse mensilmente sulla piattaforma, ciò implica un potenziale aumento di oltre 8.000 anni-persona di interazione sociale ogni mese. Inoltre, questo effetto viene stimato in modo errato dai metodi non causali. Gli approcci quasi-sperimentali promettono nuove vie per misurare l'impatto causale del comportamento degli utenti nelle comunità online senza influire negativamente sugli utenti attraverso esperimenti randomizzati.
