Mengukur Efek Kausal Komunikasi Sipil Tanpa Pengacakan
Author
Venue
AAAI ICWSM 2024
Abstract
Memahami efek kausal dari kesopanan sangat penting saat menganalisis komunikasi sosial daring, namun mengukur kausalitas itu sulit. Uji A/B dan eksperimen acak lainnya adalah standar emas untuk menetapkan efek kausal, tetapi tidak dapat diterapkan dalam konteks ini karena 1) ketidakmampuan untuk mengontrol tingkat kesopanan dalam sebuah eksperimen, dan yang lebih penting, 2) batasan etis dalam mengacak tingkat kesopanan secara sengaja. Kami mengembangkan pendekatan kuasi-eksperimental baru untuk mengukur efek kausal kesopanan dalam komunitas daring di platform sosial 3D Roblox tanpa memerlukan randomisasi eksplisit. Metode ini memanfaatkan ketidakpastian sisa dalam penugasan "matchmaking" pengguna ke server sebagai mekanisme kuasi-randomisasi dalam data historis observasional. Kami menemukan bahwa menugaskan pengguna ke server dengan tingkat komunikasi yang lebih sopan dapat meningkatkan waktu keterlibatan hingga 1,5% dalam pengalaman tertentu. Mengingat 4,8 miliar jam pengguna yang dihabiskan setiap bulan di platform ini, hal ini mengimplikasikan potensi peningkatan lebih dari 8.000 tahun orang interaksi sosial setiap bulan. Selain itu, efek ini salah diperkirakan oleh metode non-kausal. Pendekatan kuasi-eksperimental menjanjikan cara baru untuk mengukur dampak kausal dari perilaku pengguna dalam komunitas daring tanpa merugikan pengguna melalui eksperimen acak.
