Forskning: Anti-spamalgoritmer visade politisk partiskhet under 2020 års USA-val

Enligt en ny studie visade sig spamfilteralgoritmerna (SFAs) från tre av världens största e-postleverantörer ha politisk partiskhet under USA:s val 2020, med Google’s Gmail som lutade åt vänster och Microsoft Outlook och Yahoo Mail som favoriserade e-post från högerorienterade kandidater.

Studien säger:

‘Våra [observationer] visade att alla SFAs visade politisk partiskhet under de månader som ledde upp till 2020 års USA-val. Gmail lutade åt vänster (demokrater) medan Outlook och Yahoo lutade åt höger (republikaner). Gmail markerade 59,3% fler e-postmeddelanden från högerkandidater som skräppost jämfört med vänsterkandidater, medan Outlook och Yahoo markerade 20,4% respektive 14,2% fler e-postmeddelanden från vänsterkandidater som skräppost jämfört med högerkandidater.’

Författarnas analys visar, enligt dem, ‘sammanslagna partiskheter’ i SFA-aktivitet.

Studien erkänner också möjligheten till ‘odlad’ skräppostmarkering, där aktörer som försöker tysta oppositionsröster kan söka eller få tillgång till officiella kommunikationer från ‘fientliga’ parter och affiliationer med avsikt att rapportera kommunikationen som skräppost, och därmed påverka algoritmerna som bestämmer sannolikheten för skräppostursprung från en viss avsändare.

Men forskarna observerar att detta inte förklarar de markerade variationerna i hur olika e-postleverantörer tycks ha konfigurerat åtgärder baserat på feedback från slutanvändare:

‘Det är också möjligt att SFAs för e-posttjänsterna lärde sig av val av vissa väljare som markerade vissa kampanje-postmeddelanden som skräppost och började markera dessa/liknande kampanje-postmeddelanden som skräppost för andra väljare. Medan vi inte har någon anledning att tro att det fanns medvetna försök från dessa e-posttjänster att skapa dessa partiskheter för att påverka väljarna, kvarstår faktum att deras SFAs har lärt sig att markera fler e-postmeddelanden från en politisk tillhörighet som skräppost jämfört med den andra.’

‘Eftersom dessa framstående e-posttjänster används aktivt av en stor del av väljarpopulationen och eftersom många av dagens väljare förlitar sig på den information de ser (eller inte ser) online, kan sådana partiskheter ha en otillständlig inverkan på valresultatet.’

Studien studien heter En titt på de politiska partiskheterna i e-postskräppostfilteralgoritmer under USA-valet 2020 och kommer från fyra forskare vid datavetenskapsavdelningen vid North Carolina State University.

Runt husen

Forskarnas studie omfattar en period på fem månader från juli 2020 till och med slutet av november samma år, då de skapade 102 nya e-postadresser på de tre e-postplattformarna och prenumererade på två presidentkandidaters, 78 senats- och 156 huskandidaters e-postmeddelandelistor.

För att diskontera demografiska faktorer skapades e-postkontona med varierande demografiska faktorer för varje (fiktiv) slutanvändare och delades upp i två strängar: den första studerade allmänna partiskhetstrender i skräppostfilteralgoritmer över alla kombinerade e-posttjänster för president-, hus- och senatskandidater; och den andra undersökte hur olika e-postinteraktioner (såsom markering eller avmarkering som skräppost av slutanvändaren) tycktes påverka beteendet hos algoritmiska skräppostfilter.

Flera viktiga observationer kom i fokus under studien. Författarna rapporterar att Gmail ‘lutade åt vänster’, medan Outlook och Yahoo lutade åt höger. Yahoo behöll 55,2% av alla politiska e-postmeddelanden i användarens inkorg, medan Outlook filterade 71,8% av e-postmeddelanden från politiska kandidater av alla slag.

‘Gmail behöll majoriteten av vänsterorienterade kandidaters e-postmeddelanden i inkorgen (< 10,12% markerade som skräppost) medan [den skickade] majoriteten av högerorienterade kandidaters e-postmeddelanden till skräppostmappen (upp till 77,2% markerade som skräppost). ‘

‘Vi observerade vidare att procentandelen e-postmeddelanden som markerades av Gmail som skräppost från högerorienterade kandidater ökade stadigt allteftersom valdagen närmade sig, medan procentandelen e-postmeddelanden som markerades som skräppost från vänsterorienterade kandidater förblev densamma.’

Att välja kandidater

Medan presidentkandidaterna som prenumererades för studien var begränsade till Joe Biden och Donald Trump, tog forskarna hand om att göra representativa val när det gällde att prenumerera på e-postkommunikation från senats- och huskandidater, av flera skäl.

Först och främst har delstater varierande antal platser i huset, baserat på delstatens befolkningsantal. För det andra varierar antalet senats- och huskandidater över de två stora politiska partierna mellan delstater. Dessutom var vissa kandidater endast representerade av officiella .gov-webbplatser, som är lagstadgade att inte skicka kampanje-postmeddelanden; och slutligen var vissa kandidaters prenumerationslistor skyddade av CAPTCHAs, som inte kunde automatiseras av forskarnas anpassade datainsamlingsram.

Fördelning av politisk tillhörighet av e-postprenumerationer från senats- och huskandidater. Källa: https://arxiv.org/pdf/2203.16743.pdf

För att utjämna den resulterande obalansen mellan demokrater och republikaner prenumererade forskarna på kampanje-postmeddelandeinformation från det maximala antalet kandidater i varje delstat där vänster- och högerkandidater var lika många, förutom i delstater som Alaska, som endast hade en republikansk senatskandidat.

Totalt sett hade författarna att göra rättvisa för 11 sådana delstater och slutade till slut med alla 50 delstater representerade. 78 prenumerationer över 36 delstater motsvarade 44 demokratiske och 34 republikanska senatskandidatlistor, medan det fanns 156 prenumerationer över 42 delstater för huskandidater – 81 demokrater och 75 republikaner.

Att analysera data

Forskarna samlade in 318 108 e-postmeddelanden över de tre e-posttjänsterna under studiens aktiva datainsamlingsperiod, som avbröts efter den 20 november på grund av den snabba minskningen av e-postvolymen efter det datumet. Datainnehåll som samlades in för varje e-postmeddelande inkluderade MIME-Version, Content Type, Subject, From, To, Date, Message-ID, Delivered-To, Received-SPF och Received-By.

På grund av de utmaningar som är involverade i att representera båda partiernas kommunikation rättvist, valdes Propensity Score Analysis (PSA) som den statistiska metoden för data. PSA genererar covariates från obalanserad data som utjämnar fördelningar i exceptionella omständigheter där kontrollgrupper och traditionella statistiska delningar inte är lätt tillämpliga.

Författarna slutsats är att SFAs för e-posttjänsterna som studerades visar politisk partiskhet, och att tidig relativ konsekvens över tjänsterna divergerar till mer specifikt beteende över tid.

Gmail markerar en högre procent (67,6%) av högerorienterade politiska e-postmeddelanden som skräppost, jämfört med enbart 8,2% av vänsterorienterade e-postmeddelanden, men svarar mer dynamiskt på användarinteraktioner som avmarkerar e-postmeddelanden som skräppost än sina kollegor. Outlook markerar 95,8% av vänsterorienterade politiska e-postmeddelanden som skräppost, jämfört med 75,4% för högerorienterade e-postmeddelanden, och Yahoo markerar 14,2% fler vänsterorienterade e-postmeddelanden som skräppost än högerorienterade e-postmeddelanden.

Kumulativ fördelning av procentandelen demokratiske (blå) och republikanska (röd) e-postmeddelanden som markerades som skräppost i e-postkonton för varje tjänst.

Dessutom visar resultaten att Gmail under studieperioden svarar ganska generiskt på en ökad volym e-postmeddelanden över alla politiska tillhörigheter genom att öka markeringen av dem som skräppost, oavsett ursprung. Yahoo rapporterade konsekvent vänsterorienterade e-postmeddelanden som skräppost allteftersom kampanjerna framskred, samtidigt som de minskade antalet högerorienterade e-postmeddelanden som markerades som skräppost. Outlook tycktes minst påverkad av den ökande volymen e-postmeddelanden från antingen politiskt parti, och upprätthöll en allmän högerorienterad partiskhet.

Procent av e-postmeddelanden som markerades som skräppost över båda politiska partierna och alla tre e-postleverantörer under de 153 dagarna av studieperioden.

Svar på användarinteraktion

När vi markerar ett skräppostmeddelande som ‘Inte skräppost’, är avsikten att träna e-postsystemet att inte flagga liknande meddelanden i framtiden, även om den underliggande typen av regel (e-postbaserad, innehållsbaserad etc.) inte alltid är helt tydlig.

Studiens resultat visade att av de tre e-postleverantörerna som undersöktes, endast Gmail svarade märkbart på en ‘inte skräppost’-inmatning från användaren. I kontrast hade denna användarstyrd skräppost-till-inkorg (S→I)-interaktion en mycket begränsad långsiktig effekt i Outlook och Yahoo.

Forskarna observerar:

‘[På grund av] S→I-interaktionen minskade den politiska partiskheten i Gmail betydligt. Men oväntat ökade den i både Outlook och Yahoo, eftersom ingen av de två tjänsterna reagerade märkbart på användarens önskan att inte markera e-postmeddelanden som skräppost som de två tjänsterna markerade som skräppost.’

Slutsats

Författarna slutsats är att Gmail svarar ‘betydligt’ på användarinteraktion i jämförelse med Outlook och Yahoo, trots sin egen vänsterorienterade partiskhet.

Författarna skriver:

‘Medan den politiska partiskheten i Gmail förblev oförändrad efter läsinteraktionen, minskade den betydligt på grund av I→S- och S→I-interaktionerna.’

Och fortsätter:

‘Medan de politiska partiskheterna ändrades som svar på olika interaktioner, upprätthöll Gmail sin vänsterorienterade partiskhet, medan Outlook och Yahoo upprätthöll sin högerorienterade partiskhet i alla scenarier.’

Forskarna erkänner ett allmänt förväntat beteende hos slutanvändaren att skräppostfilter kan och kommer att anpassa sitt beteende baserat på användarintervention (såsom att flytta ett e-postmeddelande från en skräppostmapp till inkorgen, eller markera ett meddelande som ‘inte skräppost’), men att denna mekanism inte är tillförlitlig, och definitivt inte är konsekvent över de tre e-postleverantörerna som studerades.

Studien noterar:

‘[Vi] hittade inga konsekventa åtgärder som man kunde rekommendera användare att hjälpa dem reducera partiskheten i hur SFA behandlar politiska e-postmeddelanden som skickas till dem.’

Publicerad första gången 4 april 2022.