Pomiar skutków przyczynowych komunikacji obywatelskiej bez randomizacji
Author
Venue
AAAI ICWSM 2024
Abstract
Zrozumienie skutków przyczynowych uprzejmości ma kluczowe znaczenie podczas analizy komunikacji społecznej w Internecie, jednak pomiar tej przyczynowości jest trudny. Testy A/B i inne eksperymenty z randomizacją są złotym standardem w ustalaniu skutków przyczynowych, ale nie mają zastosowania w tym kontekście ze względu na 1) niemożność kontrolowania poziomu uprzejmości w eksperymencie oraz, co ważniejsze, 2) ograniczenia etyczne związane z celową randomizacją poziomów uprzejmości. Opracowaliśmy nowatorskie podejście quasi-eksperymentalne do ilościowego określenia skutków przyczynowych uprzejmości w społecznościach internetowych na platformie społecznościowej 3D Roblox bez konieczności wyraźnej randomizacji. Metoda ta wykorzystuje resztkową stochastyczność w przypisywaniu użytkowników do serwerów w ramach „matchmakingu” jako mechanizm quasi-randomizacji w historycznych danych obserwacyjnych. Stwierdziliśmy, że przypisanie użytkownika do serwera o wyższym poziomie uprzejmości w komunikacji może zwiększyć czas zaangażowania nawet o 1,5% w przypadku konkretnych doświadczeń. Biorąc pod uwagę 4,8 mld godzin spędzanych miesięcznie na platformie, oznacza to potencjalny wzrost interakcji społecznych o ponad 8 000 osobolat miesięcznie. Co więcej, efekt ten jest błędnie szacowany przez metody nieprzyczynowe. Podejścia quasi-eksperymentalne otwierają nowe możliwości pomiaru przyczynowego wpływu zachowań użytkowników w społecznościach internetowych bez wywierania negatywnego wpływu na użytkowników poprzez eksperymenty losowe.
