Forskning: Antispamalgoritmer visade politisk bias under USA-valet 2020

Enligt en ny studie visade spamfilteralgoritmerna (SFAs) från tre av världens största e-postleverantörer politisk bias under USA-valet 2020, med Google’s Gmail som lutade åt vänster och Microsoft Outlook och Yahoo Mail som favoriserade e-post från högerextrema kandidater.

Studien konstaterar:

‘Våra observationer visade att alla SFAs visade politisk bias under månaderna som ledde upp till valet 2020 i USA. Gmail lutade åt vänster (demokrater) medan Outlook och Yahoo lutade åt höger (republikaner). Gmail markerade 59,3% fler e-postmeddelanden från högerkandidater som skräp jämfört med vänsterkandidater, medan Outlook och Yahoo markerade 20,4% respektive 14,2% fler e-postmeddelanden från vänsterkandidater som skräp jämfört med högerkandidater.’

Författarnas analys visar, enligt dem, ‘samlade bias’ i SFAs aktivitet.

Studien erkänner också möjligheten till ‘odlad’ skräpmarkering, där aktörer som försöker tysta oppositionsröster kan söka eller få tillgång till officiella kommunikationer från ‘fiendliga’ parter och affiliationer med avsikt att rapportera kommunikationen som skräp, och därmed påverka algoritmerna som bestämmer sannolikheten för skräpursprung från en viss avsändare.

Men forskarna observerar att detta inte förklarar de tydliga variationerna i hur olika e-postleverantörer tycks ha konfigurerat åtgärder baserat på feedback från slutanvändare:

‘Det är också möjligt att SFAs för e-posttjänsterna lärde sig av vissa väljares val att markera vissa kampanje-postmeddelanden som skräp och började markera dessa/samma kampanje-postmeddelanden som skräp för andra väljare. Medan vi inte har någon anledning att tro att det fanns avsiktliga försök från dessa e-posttjänster att skapa dessa bias för att påverka väljarna, kvarstår faktum att deras SFAs har lärt sig att markera fler e-postmeddelanden från en politisk tillhörighet som skräp jämfört med den andra.’

‘Eftersom dessa framstående e-posttjänster används aktivt av en stor del av väljarkåren och eftersom många av väljarna idag förlitar sig på den information de ser (eller inte ser) online, kan sådana bias ha en otillständlig inverkan på valresultatet.’

Studien, som heter En titt på de politiska biasen i e-postskräpfiltersalgoritmer under USA-valet 2020, kommer från fyra forskare vid institutionen för datavetenskap vid North Carolina State University.

Runaround

Forskarnas studie omfattar en period av fem månader från juli 2020 till slutet av november samma år, under vilken de skapade 102 nya e-postadresser på de tre e-postplattformarna och prenumererade på två presidentkandidaters, 78 senatorers och 156 representanthusets kandidaters e-postmeddelanden.

För att diskontera demografiska faktorer skapades e-postkontona med varierande demografiska faktorer för varje (fiktiv) slutanvändare och delades upp i två grenar: den första studerade allmänna bias-trender i skräpfiltersalgoritmer över alla kombinerade e-posttjänster för president-, senator- och representanthuskandidater; och den andra undersökte hur olika e-postinteraktioner (såsom markering eller avmarkering som skräp av slutanvändaren) tycktes påverka beteendet hos algoritmiska skräpfiltren.

Flera viktiga observationer kom i fokus under studien. Författarna rapporterar att Gmail ‘lutade åt vänster’, medan Outlook och Yahoo lutade åt höger. Yahoo behöll 55,2% av alla politiska e-postmeddelanden i inkorgen, medan Outlook filtrerade 71,8% av e-postmeddelanden från politiska kandidater av alla slag.

‘Gmail, däremot, behöll de flesta e-postmeddelanden från vänsterkandidater i inkorgen (< 10,12% markerade som skräp) medan [de] skickade de flesta e-postmeddelanden från högerkandidater till skräpposten (upp till 77,2% markerade som skräp). ‘

‘Vi observerade vidare att andelen e-postmeddelanden som markerades av Gmail som skräp från högerkandidater ökade stadigt allteftersom valdagen närmade sig, medan andelen e-postmeddelanden som markerades som skräp från vänsterkandidater förblev densamma.’

Välj kandidater

Medan presidentkandidaterna som prenumererades på för studien var begränsade till Joe Biden och Donald Trump, tog forskarna hand om att göra representativa val när de övervägde att prenumerera på e-postmeddelanden från senator- och representanthuskandidater, av flera skäl.

För det första har delstater varierande antal platser i representanthuset, baserat på delstatens befolkning. För det andra varierar antalet senator- och representanthuskandidater över de två stora politiska partierna mellan delstater. Dessutom var vissa kandidater endast representerade av officiella.gov-webbplatser, som är lagligt förbjudna att skicka kampanje-postmeddelanden; och slutligen var vissa kandidaters prenumerationslistor skyddade av CAPTCHAs, som inte kunde automatiseras av forskarnas anpassade datainsamlingsramverk.

Fördelning av politisk tillhörighet för e-postprenumerationer från senator- och representanthuskandidater. Källa: https://arxiv.org/pdf/2203.16743.pdf

För att utjämna den resulterande obalansen mellan demokrater och republikaner prenumererade forskarna på kampanje-postmeddelanden från det maximala antalet kandidater i varje delstat där vänster- och högerkandidater var lika många, förutom i delstater som Alaska, som endast hade en republikansk senatorskandidat.

Totalt sett hade författarna att ta hänsyn till 11 sådana delstater och slutade till slut med att alla 50 delstater var representerade. 78 prenumerationer över 36 delstater motsvarade 44 demokratiska och 34 republikanska senatorskandidater, medan det fanns 156 prenumerationer över 42 delstater för representanthuskandidater – 81 demokrater och 75 republikaner.

Analys av data

Forskarna samlade in 318 108 e-postmeddelanden över de tre e-posttjänsterna under studiens aktiva datainsamlingsperiod, som avbröts efter den 20 november på grund av den snabba minskningen av e-postvolymen efter det datumet. Datainnehållet som samlades in för varje e-postmeddelande inkluderade MIME-Version, Content Type, Subject, From, To, Date, Message-ID, Delivered-To, Received-SPF och Received-By.

På grund av de utmaningar som är förknippade med att representera både politiska partikommunikationer rättvist, valdes Propensity Score Analysis (PSA) som den statistiska metoden för data. PSA genererar covariates från obalanserad data som utjämnar fördelningar i exceptionella omständigheter där kontrollgrupper och traditionella statistiska delningar inte är lätt tillämpliga.

Författarna slutsats är att SFAs för de undersökta e-posttjänsterna visar politisk bias, och att den tidiga relativa konsekvensen över tjänsterna divergerar till mer specifikt beteende över tid.

Gmail markerar en högre procent (67,6%) av högerextrema politiska e-postmeddelanden som skräp, jämfört med endast 8,2% av vänsterrelaterade e-postmeddelanden, men svarar mer dynamiskt på användarinteraktioner som avmarkerar e-postmeddelanden som skräp än dess like. Outlook, istället, markerar 95,8% av vänsterlutande politiska e-postmeddelanden som skräp, jämfört med 75,4% för högerextrema e-postmeddelanden, och Yahoo markerar 14,2% fler vänsterextrema e-postmeddelanden som skräp än högerextrema e-postmeddelanden.

Kumulativ fördelning av procentandelen demokrater (blå) och republikaner (röd) som markerades som skräp i e-postkonton för varje tjänst.

Dessutom visar resultaten att Gmail under studieperioden svarar ganska generiskt på en ökad volym av e-postmeddelanden över alla politiska tillhörigheter genom att öka markeringen av dem som skräp, oavsett ursprung. Yahoo rapporterade konsekvent vänsterlutande e-postmeddelanden som skräp allteftersom kampanjerna framskred, samtidigt som de minskade antalet högerextrema e-postmeddelanden som markerades som skräp. Outlook tycktes minst påverkad av den ökande volymen e-postmeddelanden från antingen politiskt parti, och behöll en allmän högerextrem bias.

Procentandel e-postmeddelanden som markerades som skräp över båda politiska partierna och alla tre e-posttjänster under de 153 dagarna av studieperioden.

Svar på användarinteraktion

När vi markerar ett skräp-e-postmeddelande som ‘Inte skräp’, är avsikten att träna e-postsystemet att inte flagga liknande e-postmeddelanden i framtiden, även om den underliggande typen av regel (e-postbaserad, innehållsbaserad etc.) inte alltid är helt tydlig.

Studiens resultat visade att av de tre e-posttjänsterna som undersöktes, var det endast Gmail som svarade märkbart på en ‘inte skräp’-inmatning från användaren. I kontrast hade denna användarstyrda skräp-till-inkorgsinteraktion (S→I) en mycket begränsad långsiktig effekt i Outlook och Yahoo.

Forskarna observerar:

‘[På grund av] S→I-interaktionen minskade den politiska biasen i Gmail betydligt. Men oväntat ökade den i både Outlook och Yahoo, eftersom ingen av de två tjänsterna reagerade märkbart på användarens önskan att inte markera e-postmeddelanden som skräp som de två tjänsterna markerade som skräp.’

Slutsats

Författarna slutsats är att Gmail svarar ‘väsentligt’ på användarinteraktion i jämförelse med Outlook och Yahoo, trots sin egen vänsterlutande predisposition.

Författarna påpekar:

‘Medan den politiska biasen i Gmail förblev oförändrad efter läsinteraktionen, minskade den betydligt på grund av I→S- och S→I-interaktionerna.’

Och fortsätter:

‘Medan de politiska biasen förändrades i samband med olika interaktioner, behöll Gmail sin vänsterlutande tendens, medan Outlook och Yahoo behöll sin högerlutande tendens i alla scenarier.’

Forskarna erkänner en allmän förväntan hos slutanvändaren att skräpfiltren kan och kommer att anpassa sitt beteende baserat på användarintervention (såsom att flytta ett e-postmeddelande från skräpposten till inkorgen eller markera ett meddelande som ‘inte skräp’), men att denna mekanism inte är tillförlitlig och inte är konsekvent över de tre e-posttjänsterna som undersöktes.

Studien påpekar:

‘[Vi] fann ingen konsekvent åtgärd som man kunde rekommendera användare att hjälpa dem minska biasen i hur SFA behandlar politiska e-postmeddelanden som skickas till dem.’

Publicerad första gången den 4 april 2022.