Het meten van causale effecten van civiele communicatie zonder randomisatie
Author
Venue
AAAI ICWSM 2024
Abstract
Inzicht in de causale effecten van beleefdheid is van cruciaal belang bij het analyseren van online sociale communicatie, maar het meten van causaliteit is moeilijk. A/B-tests en andere gerandomiseerde experimenten zijn de gouden standaard voor het vaststellen van causale effecten, maar ze zijn in deze context niet toepasbaar vanwege 1) het onvermogen om het niveau van beleefdheid in een experiment te controleren, en, nog belangrijker, 2) ethische beperkingen op het opzettelijk randomiseren van beleefdheidsniveaus. We ontwikkelen een nieuwe quasi-experimentele benadering om het causale effect van beleefdheid in online communities op het sociale 3D-platform Roblox te kwantificeren zonder dat expliciete randomisatie nodig is. Deze methode maakt gebruik van resterende stochastiek in de "matchmaking"-toewijzing van gebruikers aan servers als een quasi-randomisatiemechanisme in observationele historische gegevens. We constateren dat het toewijzen van een gebruiker aan een server met een hoger niveau van beleefde communicatie de betrokkenheidstijd in bepaalde ervaringen met maar liefst 1,5% kan verhogen. Gezien de 4,8 miljard mensuren die maandelijks op het platform worden doorgebracht, impliceert dit een potentiële toename van meer dan 8.000 mensjaren aan sociale interactie per maand. Bovendien wordt dit effect verkeerd ingeschat door niet-causale methoden. Quasi-experimentele benaderingen bieden nieuwe mogelijkheden om de causale impact van gebruikersgedrag in online gemeenschappen te meten zonder gebruikers nadelig te beïnvloeden door middel van gerandomiseerde experimenten.
