Penelitian: Algoritma Anti-Spam Menunjukkan Bias Politik Selama Pemilu AS 2020

Menurut sebuah studi baru, algoritma penyaringan spam (SFAs) dari tiga penyedia email terbesar di dunia menunjukkan bias politik selama pemilu AS 2020, dengan Gmail dari Google cenderung ke kiri, dan Microsoft Outlook dan Yahoo Mail mendukung email dari kandidat sayap kanan.

Makalah tersebut menyatakan:

‘Pengamatan kami menunjukkan bahwa semua SFAs menunjukkan bias politik dalam beberapa bulan sebelum pemilu AS 2020. Gmail cenderung ke kiri (Demokrat) sedangkan Outlook dan Yahoo cenderung ke kanan (Republik). Gmail menandai 59,3% lebih banyak email dari kandidat kanan sebagai spam dibandingkan dengan kandidat kiri, sedangkan Outlook dan Yahoo menandai 20,4% dan 14,2% lebih banyak email dari kandidat kiri sebagai spam dibandingkan dengan kandidat kanan, masing-masing.’

Analisis penulis, mereka klaim, menunjukkan ‘bias agregat’ dalam aktivitas SFA.

Makalah tersebut juga mengakui kemungkinan ‘penandai spam’ yang dibudidayakan, di mana aktor yang mencari untuk membungkam suara oposisi dapat meminta atau mendapatkan akses ke komunikasi resmi dari ‘pihak lawan’ dan afiliasi dengan tujuan melaporkan komunikasi sebagai spam, sehingga mempengaruhi algoritma yang menentukan kemungkinan spam dari pengirim tertentu.

Namun, peneliti mengamati, ini tidak menjelaskan variasi yang jelas dalam cara penyedia email yang berbeda tampaknya telah mengkonfigurasi tindakan berdasarkan umpan balik dari pengguna:

‘Arguably, ada kemungkinan bahwa SFAs dari layanan email belajar dari pilihan beberapa pemilih yang menandai surel kampanye tertentu sebagai spam dan mulai menandai surel kampanye tersebut sebagai spam untuk pemilih lain. Sementara kita tidak memiliki alasan untuk percaya bahwa ada upaya sengaja dari layanan email untuk menciptakan bias ini untuk mempengaruhi pemilih, fakta tetap bahwa SFAs mereka telah belajar untuk menandai lebih banyak surel dari afiliasi politik tertentu sebagai spam dibandingkan dengan yang lain. ‘

‘Karena layanan email yang terkemuka ini secara aktif digunakan oleh sebagian besar pemilih dan karena banyak pemilih hari ini bergantung pada informasi yang mereka lihat (atau tidak lihat) secara online, bias seperti ini mungkin memiliki dampak yang tidak dapat diabaikan pada hasil pemilu.’

Makalah tersebut berjudul A Peek into the Political Biases in Email Spam Filtering Algorithms During US Election 2020, dan berasal dari empat peneliti di Departemen Ilmu Komputer Universitas North Carolina State.

Round the Houses

Studi peneliti mencakup periode lima bulan dari Juli 2020 hingga akhir November tahun yang sama, di mana mereka membuat 102 alamat email baru di tiga platform email, dan berlangganan ke dua daftar pemberitahuan email kandidat presiden, 78 kandidat senat dan 156 kandidat DPR.

Untuk menghilangkan faktor demografi, akun email dibuat dengan faktor demografi yang berbeda untuk setiap pengguna (fiktif), dan dibagi menjadi dua jalur: yang pertama mempelajari tren bias umum dalam algoritma penyaringan spam di seluruh layanan email untuk kandidat presiden, senat, dan DPR; dan yang kedua mempelajari cara interaksi email yang berbeda (seperti menandai atau tidak menandai sebagai spam oleh pengguna) tampaknya mempengaruhi perilaku filter spam algoritmik.

Beberapa pengamatan kunci muncul selama studi. Penulis melaporkan bahwa Gmail ‘cenderung ke kiri’, sedangkan Outlook dan Yahoo cenderung ke kanan. Yahoo mempertahankan 55,2% dari semua surel politik di kotak masuk pengguna, sedangkan Outlook menyaring 71,8% surel dari kandidat politik semua warna.

‘Gmail, bagaimanapun, mempertahankan sebagian besar surel kandidat sayap kiri di kotak masuk (< 10,12% ditandai sebagai spam) sementara [mengirim] sebagian besar surel kandidat sayap kanan ke folder spam (hingga 77,2% ditandai sebagai spam). ‘

‘Kami lebih lanjut mengamati bahwa persentase surel yang ditandai oleh Gmail sebagai spam dari kandidat sayap kanan tumbuh secara stabil seiring dengan pendekatan tanggal pemilu, sementara persentase surel yang ditandai sebagai spam dari kandidat sayap kiri tetap sama.’

Picking Candidates

Sementara kandidat presiden yang berlangganan untuk studi ini terbatas pada Joe Biden dan Donald Trump, peneliti berhati-hati untuk membuat pilihan yang representatif ketika mempertimbangkan untuk berlangganan ke komunikasi email dari kandidat senat dan DPR, karena beberapa alasan.

Pertama, negara bagian memiliki jumlah kursi di DPR yang berbeda-beda, berdasarkan jumlah penduduk negara bagian. Kedua, jumlah kandidat senat dan DPR di kedua partai politik utama bervariasi di seluruh negara bagian. Selanjutnya, beberapa kandidat hanya diwakili oleh situs web resmi.gov, yang dilarang oleh undang-undang untuk mengirim surel kampanye; dan akhirnya, beberapa daftar langganan kandidat dilindungi oleh CAPTCHAs, yang tidak dapat diotomatisasi oleh kerangka kerja pengumpulan data khusus peneliti.

Distribusi afiliasi politik dari daftar langganan email kandidat senat dan DPR. Sumber: https://arxiv.org/pdf/2203.16743.pdf

Untuk mengimbangkan ketidakseimbangan yang dihasilkan antara kandidat Demokrat dan Republik, peneliti berlangganan ke informasi email kampanye dari jumlah kandidat maksimum di setiap negara bagian di mana kandidat kiri dan kanan sama dalam jumlah, kecuali di negara bagian seperti Alaska, yang hanya memiliki satu kandidat senat Republik.

Totalnya, penulis harus mempertimbangkan secara adil 11 negara bagian seperti itu, dan akhirnya memiliki semua 50 negara bagian yang diwakili. 78 langganan di 36 negara bagian berjumlah 44 kandidat senat Demokrat dan 34 kandidat senat Republik, sementara ada 156 langganan di 42 negara bagian untuk kandidat DPR – 81 Demokrat, dan 75 Republik.

Analyzing the Data

Peneliti mengumpulkan 318.108 surel di seluruh tiga layanan email dalam periode pengumpulan data aktif yang dipotong setelah 20 November karena penurunan volume surel yang cepat setelah tanggal itu. Data yang dikumpulkan untuk setiap surel termasuk MIME-Version, Content Type, Subject, From, To, Date, Message-ID, Delivered-To, Received-SPF, dan Received-By.

Karena tantangan yang terkait dengan merepresentasikan komunikasi partai politik secara adil, Analisis Skor Propensi (PSA) dipilih sebagai metode statistik untuk data. PSA menghasilkan covariates dari data yang tidak seimbang yang menyamakan distribusi dalam keadaan luar biasa di mana kelompok kontrol dan pemisahan statistik tradisional tidak mudah diterapkan.

Penulis menyimpulkan bahwa SFAs untuk layanan email yang dipelajari menunjukkan bias politik, dan bahwa konsistensi awal di seluruh layanan berubah menjadi perilaku yang lebih spesifik seiring waktu.

Gmail menandai persentase yang lebih tinggi (67,6%) dari surel politik sayap kanan sebagai spam, dibandingkan dengan 8,2% dari surel yang berafiliasi dengan sayap kiri, tetapi menanggapi lebih dinamis terhadap interaksi pengguna yang menandai surel sebagai spam daripada rekan-rekannya. Outlook, sebaliknya, menandai 95,8% dari surel politik sayap kiri sebagai spam, dibandingkan dengan 75,4% untuk surel sayap kanan, dan Yahoo menandai 14,2% lebih banyak surel sayap kiri sebagai spam daripada surel sayap kanan.

Distribusi kumulatif dari persentase surel Demokrat (biru) dan Republik (merah) yang ditandai sebagai spam di akun email dari setiap layanan.

Lebih lanjut, hasilnya menunjukkan bahwa sepanjang periode studi, Gmail menanggapi volume surel yang meningkat di semua afiliasi politik dengan menandai surel tersebut sebagai spam, terlepas dari asalnya. Yahoo secara konsisten melaporkan surel sayap kiri sebagai spam seiring dengan kemajuan kampanye, pada saat yang sama mengurangi jumlah surel sayap kanan yang ditandai sebagai spam. Outlook tampaknya paling sedikit dipengaruhi oleh volume surel yang meningkat dari kedua partai politik, mempertahankan bias sayap kanan.

Persentase surel yang ditandai sebagai spam di seluruh kedua partai politik dan ketiga layanan email selama 153 hari periode studi.

Response to User Interaction

Ketika kita menandai surel spam sebagai ‘Bukan Spam’, niatnya adalah untuk melatih sistem email agar tidak menandai surel serupa di masa depan, meskipun jenis aturan yang mendasarinya (berdasarkan email, konten, dll.) tidak selalu jelas.

Hasil studi menunjukkan bahwa dari tiga layanan email yang diperiksa, hanya Gmail yang menanggapi ‘bukan spam’ dari pengguna. Sebaliknya, interaksi pengguna yang mengubah spam ke kotak masuk (S→I) memiliki efek jangka panjang yang sangat terbatas di Outlook dan Yahoo.

Peneliti mengamati:

‘[Karena] interaksi S→I, bias politik di Gmail berkurang secara signifikan. Namun, tidak terduga, bias tersebut meningkat di Outlook dan Yahoo karena tidak ada dari kedua layanan tersebut yang menanggapi keinginan pengguna untuk tidak menandai surel sebagai spam yang ditandai sebagai spam oleh kedua layanan.’

Conclusion

Penulis menyimpulkan bahwa Gmail menanggapi interaksi pengguna ‘secara signifikan’ dibandingkan dengan Outlook dan Yahoo, meskipun kecenderungan kiri yang dimilikinya.

Penulis menyatakan:

‘Sementara bias politik di Gmail tetap tidak berubah setelah interaksi membaca, bias tersebut berkurang secara signifikan karena interaksi I→S dan S→I.’

Dan melanjutkan:

‘Sementara bias politik berubah sebagai respons terhadap berbagai interaksi, Gmail mempertahankan kecenderungan kirinya, sementara Outlook dan Yahoo mempertahankan kecenderungan kanan mereka di semua skenario.’

Peneliti mengakui harapan umum pengguna akhir bahwa filter spam dapat dan akan menyesuaikan perilaku mereka berdasarkan intervensi pengguna (seperti memindahkan surel dari folder spam ke kotak masuk, atau menandai surel sebagai ‘bukan spam’), tetapi bahwa mekanisme ini tidak dapat diandalkan, dan tentu saja tidak konsisten di seluruh tiga layanan email yang dipelajari.

Makalah tersebut mencatat:

‘[Kami] tidak menemukan tindakan konsisten yang dapat disarankan kepada pengguna untuk membantu mereka mengurangi bias dalam cara SFA memperlakukan surel politik yang dikirim kepada mereka.’

Dipublikasikan pertama kali pada 4 April 2022.