Araştırma: Anti-Spam Algoritmaları 2020 ABD Seçimleri Sırasında Siyasi Yanlılık Gösterdi

Yeni bir çalışmaya göre, dünyanın üç büyük e-posta sağlayıcısının spam filtreleme algoritmaları (SFAs), 2020 ABD seçimlerinde siyasi yanlılık gösterdi. Google’ın Gmail’i sol yanlılık gösterirken, Microsoft Outlook ve Yahoo Mail sağ yanlılık gösterdi.

Çalışma şöyle diyor:

‘Gözlemlerimiz, tüm SFAların 2020 ABD seçimlerine giden aylarda siyasi yanlılık gösterdiğini ortaya koydu. Gmail sol yanlılık gösterirken (Demokratlar), Outlook ve Yahoo sağ yanlılık gösterdi (Cumhuriyetçiler). Gmail, sağ yanlılık gösteren adayların e-postalarını %59,3 daha fazla spam olarak işaretlerken, Outlook ve Yahoo sol yanlılık gösteren adayların e-postalarını sırasıyla %20,4 ve %14,2 daha fazla spam olarak işaretledi.’

Araştırmacıların analizi, SFAların ‘toplu yanlılıklar’ gösterdiğini ortaya koyuyor.

Çalışma ayrıca, bazı aktörlerin muhalefet seslerini susturmak amacıyla resmi iletişimlere erişerek ve bunları spam olarak işaretleyerek algoritmaları etkileyebileceklerini kabul ediyor.

Ancak araştırmacılar, bu durumun farklı e-posta sağlayıcılarının kullanıcı geri bildirimlerine dayalı olarak farklı şekilde davranmalarını açıklamadığını gözlemliyor:

‘Arguably, bazı oy verenlerin belirli kampanya e-postalarını spam olarak işaretlemesi ve bu e-postaların diğer oy verenler için de spam olarak işaretlenmeye başlaması mümkün. Ancak, bu e-posta hizmetlerinin kasıtlı olarak bu yanlılıkları yaratmak amacıyla hareket ettiklerine dair bir neden bulunmuyor. Gerçek şu ki, SFAları certain siyasi bağlantılara sahip e-postaları diğerlerine göre daha fazla spam olarak işaretliyor.’

‘Bu nổi bật e-posta hizmetleri, önemli bir oy veren kitlesini kullanıyor ve birçok oy veren, gördükleri (veya görmedikleri) bilgilere dayanarak hareket ediyor. Bu nedenle, bu yanlılıkların seçim sonuçlarına önemli bir etkisi olabilir.’

Çalışma A Peek into the Political Biases in Email Spam Filtering Algorithms During US Election 2020 adlı bir makale ve Kuzey Carolina Eyalet Üniversitesi Bilgisayar Bilimi Bölümü’nden dört araştırmacının eseridir.

Evreler

Araştırmacıların çalışması, Temmuz 2020’den Kasım 2020 sonuna kadar beş aylık bir dönemi kapsıyor. Bu süre zarfında, üç e-posta platformunda 102 yeni e-posta adresi oluşturularak, iki başkanlık, 78 senato ve 156 ev adayının e-posta bildirim listelerine abone oldular.

Demografik faktörleri göz ardı etmek amacıyla, e-posta hesapları farklı demografik faktörlerle oluşturularak, iki gruba ayrıldı: İlk grup, tüm e-posta hizmetleri için genel yanlılık eğilimlerini incelemeye odaklanırken, ikinci grup, farklı e-posta etkileşimlerinin (örneğin, bir e-postanın spam olarak işaretlenmesi veya işaretlenmemesi) SFAların davranışını nasıl etkilediğini inceledi.

Çalışma sırasında several önemli gözlem yapıldı. Araştırmacılar, Gmail’in sol yanlılık gösterdiğini, Outlook ve Yahoo’nun ise sağ yanlılık gösterdiğini belirtiyorlar. Yahoo, tüm siyasi e-postaların %55,2’sini kullanıcıların posta kutusuna giữürken, Outlook tüm siyasi adayların e-postalarının %71,8’ini spam olarak işaretledi.

‘Gmail, sol yanlılık gösteren adayların e-postalarını posta kutusunda tutarken (%10,12’den azını spam olarak işaretledi), sağ yanlılık gösteren adayların e-postalarının çoğunu spam klasörüne gönderdi (en fazla %77,2’sini spam olarak işaretledi). ‘

‘Ayrıca, Gmail’in sağ yanlılık gösteren adayların e-postalarını spam olarak işaretleme yüzdesinin, seçim tarihine yaklaştıkça sürekli arttığını gözlemledik. Sol yanlılık gösteren adayların e-postalarının spam olarak işaretlenme yüzdesi ise yaklaşık aynı kaldı.’

Aday Seçimi

Başkanlık adayları için sadece Joe Biden ve Donald Trump’a odaklanıldı. Araştırmacılar, Senato ve Ev adayları için temsilci seçimlerde dikkatli davrandılar.

İlk olarak, eyaletlerin nüfusu temelinde farklı sayıda sandalyesi vardır. İkincisi, iki büyük parti arasındaki Senato ve Ev adayları sayısı eyaletlere göre değişir. Ayrıca, bazı adaylar sadece resmi.gov sitelerine sahipti ve bu siteler kanunen kampanya e-postaları göndermekten men ediliyorlardı; bazı adayların abonelik listeleri ise araştırmacıların özel veri toplama çerçevesini otomatikleştiremeyecekleri CAPTCHAlarla korunuyordu.

Senato ve Ev adaylarının siyasi bağlantılı e-posta aboneliklerinin dağılımı. Kaynak: https://arxiv.org/pdf/2203.16743.pdf

Sol ve sağ yanlılık gösteren adaylar arasındaki dengesizliği dengelemek amacıyla, araştırmacılar her eyalette eşit sayıda sol ve sağ yanlılık gösteren adayların kampanya e-posta bilgilerine abone oldular. Alaska gibi sadece bir Cumhuriyetçi Senato adayı olan eyaletler hariç.

Toplamda, araştırmacılar 11 böyle eyaleti adil bir şekilde temsil etmek zorunda kaldılar ve sonunda tüm 50 eyaleti temsil ettiler. 36 eyalette 78 abonelik, 44 Demokrat ve 34 Cumhuriyetçi Senato adayı listesini içeriyordu; 42 eyalette 156 abonelik, 81 Demokrat ve 75 Cumhuriyetçi Ev adayı listesini içeriyordu.

Veri Analizi

Araştırmacılar, çalışmanın aktif veri toplama döneminde, üç e-posta hizmeti üzerinden 318.108 e-posta topladı. Toplanan veriler, her e-posta için MIME-Version, Content Type, Subject, From, To, Date, Message-ID, Delivered-To, Received-SPF ve Received-By bilgilerini içeriyordu.

Her iki siyasi partinin iletişimlerini adil bir şekilde temsil etme zorluğu nedeniyle, Propensity Score Analysis (PSA) veri için istatistiksel yöntem olarak seçildi. PSA, dengesiz verilerden covariates oluşturur ve kontrol grupları ve geleneksel istatistiksel bölünmeler kolayca uygulanamayan özel durumlarda dağılımları dengelemeye yardımcı olur.

Araştırmacılar, SFAların siyasi yanlılık gösterdiğini ve hizmetlerin davranışının zaman içinde değiştiğini belirtiyorlar.

Gmail, sağ yanlılık gösteren siyasi e-postaların %67,6’sını spam olarak işaretlerken, sol yanlılık gösteren e-postaların sadece %8,2’sini spam olarak işaretliyor. Outlook, sol yanlılık gösteren siyasi e-postaların %95,8’ini spam olarak işaretlerken, sağ yanlılık gösteren e-postaların %75,4’ünü spam olarak işaretliyor. Yahoo, sol yanlılık gösteren e-postaları sağ yanlılık gösteren e-postalardan %14,2 daha fazla spam olarak işaretliyor.

Her e-posta hizmetinin posta kutusundaki Demokrat (mavi) ve Cumhuriyetçi (kırmızı) e-postaların spam olarak işaretlenme yüzdesinin birikimli dağılımı.

Araştırmaların sonuçları, Gmail’in tüm siyasi bağlantılara ait e-postalara generic bir şekilde yanıt verdiğini ve bunları spam olarak işaretlediğini gösteriyor. Yahoo, sol yanlılık gösteren e-postaları spam olarak işaretlemeye devam ederken, sağ yanlılık gösteren e-postaların spam olarak işaretlenme yüzdesini azalttı. Outlook, her iki siyasi partiden gelen e-postaların artan hacmine karşı genel olarak sağ yanlılık göstermeye devam etti.

İki siyasi parti ve üç e-posta sağlayıcısı için 153 günlük çalışma dönemi boyunca spam olarak işaretlenen e-postaların yüzdesi.

Kullanıcı Etkileşimine Yanıt

Bir spam e-postayı ‘Spam Değil’ olarak işaretlediğimizde, e-posta sisteminin benzer e-postaları gelecekte spam olarak işaretlememesini amaçlıyoruz, ancak altta yatan kural türü her zaman açık değildir.

Çalışmanın sonuçları, üç e-posta sağlayıcısından sadece Gmail’in ‘Spam Değil’ girişine đáng kể bir şekilde yanıt verdiğini gösteriyor. Buna karşılık, bu kullanıcı tarafından yönlendirilen spam-to-inbox (S→I) etkileşimi, Outlook ve Yahoo’da uzun vadeli bir etkiye sahip değil.

Araştırmacılar gözlemliyor:

‘S→I etkileşimi nedeniyle, Gmail’deki siyasi yanlılık önemli ölçüde azaldı. Ancak beklenmedik bir şekilde, Outlook ve Yahoo’da arttı, çünkü bu iki hizmet de spam olarak işaretlenen e-postaları spam olarak işaretlememeye yönelik kullanıcı isteğine đáng kể bir şekilde yanıt vermedi.’

SONUÇ

Araştırmacılar, Gmail’in Outlook ve Yahoo’ya kıyasla kullanıcı etkileşimine daha önemli bir şekilde yanıt verdiğini, ancak kendi sol yanlılık eğilimini koruduğunu belirtiyorlar.

Araştırmacılar şöyle diyor:

‘Gmail’deki siyasi yanlılık, okuma etkileşiminden sonra değişmedi, ancak I→S ve S→I etkileşimlerinden sonra önemli ölçüde azaldı.’

Ve devam ediyor:

‘Siyasi yanlılıklar çeşitli etkileşimlere yanıt olarak değişse de, Gmail sol yanlılık eğilimini korurken, Outlook ve Yahoo sağ yanlılık eğilimini korudu.’

Araştırmacılar, kullanıcıların spam filtrelerinin kullanıcı müdahalesine (örneğin, bir e-postayı spam klasöründen posta kutusuna taşıma veya bir e-postayı ‘Spam Değil’ olarak işaretleme) dayanarak davranışını değiştirebileceğini beklediğini kabul ediyor, ancak bu mekanizmanın güvenilir olmadığını ve üç e-posta sağlayıcısı arasında tutarlı olmadığını belirtiyorlar.

Çalışma şöyle diyor:

‘Kullanıcıların, SFAların siyasi e-postaları nasıl işlediğinde yanlılığı azaltmalarına yardımcı olacak tutarlı eylemler öneremedik.’

İlk olarak 4 Nisan 2022’de yayınlandı.