Onderzoek: Anti-Spam Algoritmen Toonden Politieke Vooroordeel Tijdens De Amerikaanse Verkiezingen Van 2020

Volgens een nieuw onderzoek vertoonden de spamfilteralgoritmes (SFAs) van drie van ‘s werelds grootste e-mailproviders politieke vooroordeel tijdens de Amerikaanse verkiezingen van 2020, waarbij Google’s Gmail naar links neigde en Microsoft Outlook en Yahoo Mail e-mails van rechtse kandidaten bevoroordeelden.

Het paper stelt:

‘Onze [waarnemingen] toonden aan dat alle SFAs politieke vooroordelen vertoonden in de maanden voorafgaand aan de Amerikaanse verkiezingen van 2020. Gmail neigde naar links (democraten), terwijl Outlook en Yahoo naar rechts (republikeinen) neigden. Gmail markeerde 59,3% meer e-mails van rechtse kandidaten als spam in vergelijking met linkse kandidaten, terwijl Outlook en Yahoo 20,4% en 14,2% meer e-mails van linkse kandidaten als spam markeerden in vergelijking met rechtse kandidaten.’

De auteursanalyse toont ‘geaggregeerde vooroordelen’ in SFA-activiteit aan.

Het paper erkent ook de mogelijkheid van ‘gekweekte’ spammarkering, waarbij actoren die oppositie stemmen willen stilleggen, officiële communicatie van ‘vijandige’ partijen en affiliaties kunnen verkrijgen en als spam kunnen melden, waardoor de algoritmes die de waarschijnlijkheid van spam bepalen, worden beïnvloed.

Echter, de onderzoekers observeren dat dit de gemarkeerde variaties in de manier waarop verschillende e-mailproviders lijken te zijn geconfigureerd op basis van feedback van eindgebruikers niet verklaart:

‘Er is ook de mogelijkheid dat de SFAs van e-mailservices hebben geleerd van de keuzes van sommige kiezers die bepaalde campagne-e-mails als spam hebben gemarkeerd en zijn begonnen met het markeren van diezelfde campagne-e-mails als spam voor andere kiezers. Hoewel we geen reden hebben om aan te nemen dat er opzettelijke pogingen zijn gedaan door deze e-mailservices om deze vooroordelen te creëren om kiezers te beïnvloeden, blijft het feit dat hun SFAs hebben geleerd om meer e-mails van een politieke affiliatie als spam te markeren in vergelijking met de andere.’

‘Aangezien deze prominente e-mailservices actief worden gebruikt door een aanzienlijk deel van de kiezers en aangezien veel kiezers vandaag de dag afhankelijk zijn van de informatie die ze online zien (of niet zien), kunnen dergelijke vooroordelen een onmisbare invloed hebben op de uitkomst van een verkiezing.’

Het paper heeft als titel Een Blik in de Politieke Vooroordelen in E-mail Spamfilter Algoritmen Tijdens de Amerikaanse Verkiezingen van 2020 en komt van vier onderzoekers van de afdeling Computerwetenschappen van de North Carolina State University.

Rond de Huizen

De studie van de onderzoekers omvat een periode van vijf maanden van juli 2020 tot het einde van november van dat jaar, waarin ze 102 nieuwe e-mailadressen hebben aangemaakt op de drie e-mailplatforms en zijn ingeschreven voor twee presidentiële, 78 senaats- en 156 huis-kandidaten e-mailnotificatielijsten.

Om demografische factoren uit te sluiten, zijn de e-mailaccounts aangemaakt met variabele demografische factoren voor elke (fictieve) eindgebruiker en zijn verdeeld over twee strengen: de eerste bestudeerde algemene vooroordeeltrends in spamfilteralgoritmes voor alle gecombineerde e-mailservices voor presidentiële, Huis- en Senaatskandidaten; en de tweede onderzocht de manieren waarop verschillende e-mailinteracties (zoals het markeren of niet markeren als spam door de eindgebruiker) leken te beïnvloeden het gedrag van algoritmische spamfilters.

Verschillende belangrijke observaties kwamen in beeld tijdens de studie. De auteurs melden dat Gmail ‘naar links neigde’, terwijl Outlook en Yahoo naar rechts neigden. Yahoo behield 55,2% van alle politieke e-mails in de inbox van de gebruiker, terwijl Outlook 71,8% van de e-mails van politieke kandidaten van alle slag filters.

‘Gmail behield de meeste e-mails van linkse kandidaten in de inbox (< 10,12% gemarkeerd als spam) terwijl [de meeste] e-mails van rechtse kandidaten naar de spammap werden verwezen (tot 77,2% gemarkeerd als spam). ‘

‘We hebben verder waargenomen dat het percentage e-mails dat door Gmail als spam werd gemarkeerd van rechtse kandidaten gestaag toenam naarmate de verkiezingsdatum naderde, terwijl het percentage e-mails dat door Gmail als spam werd gemarkeerd van linkse kandidaten ongeveer hetzelfde bleef.’

Kandidaten Kiezen

Terwijl de presidentiële kandidaten die voor de studie waren ingeschreven beperkt waren tot Joe Biden en Donald Trump, hebben de onderzoekers ervoor gezorgd om representatieve keuzes te maken bij het inschrijven voor e-mailcommunicatie van Senaats- en Huis-kandidaten, om een aantal redenen.

Ten eerste hebben staten een variabel aantal zetels in het Huis, op basis van de bevolkingsomvang van de staat. Ten tweede varieert het aantal Senaats- en Huis-kandidaten over de twee belangrijkste politieke partijen over staten. Bovendien waren bepaalde kandidaten alleen vertegenwoordigd door officiële.gov-websites, die statutair verboden zijn om campagne-e-mails te verzenden; en ten slotte waren sommige van de kandidatenlijsten beschermd door CAPTCHAs, die niet konden worden geautomatiseerd door het aangepaste dataverzamelframe van de onderzoekers.

Verdeling van politieke affiliatie van e-mailabonnementen van Senaats- en Huis-kandidaten. Bron: https://arxiv.org/pdf/2203.16743.pdf

Om de resulterende onevenwichtigheid tussen Democratische en Republikeinse kandidaten te egaliseren, schreven de onderzoekers zich in voor campagne-e-mailinformatie van het maximum aantal kandidaten in elke staat waar linkse en rechtse kandidaten in gelijk aantal waren, behalve in staten zoals Alaska, die alleen één Republikeinse Senaatskandidaat had.

In totaal moesten de auteurs redelijk rekening houden met 11 dergelijke staten en eindigden uiteindelijk met alle 50 staten vertegenwoordigd. 78 abonnementen over 36 staten kwamen neer op 44 Democratische en 34 Republikeinse Senaatskandidaten, terwijl er 156 abonnementen over 42 staten waren voor Huis-kandidaten – 81 Democraten en 75 Republikeinen.

Gegevens Analyseren

De onderzoekers verzamelden 318.108 e-mails over de drie e-mailservices in de studieperiode, die werd afgekapt na 20 november vanwege de snelle daling van het volume van e-mails na die datum. De verzamelde gegevens omvatten MIME-Version, Content Type, Subject, From, To, Date, Message-ID, Delivered-To, Received-SPF en Received-By.

Vanwege de uitdagingen bij het eerlijk vertegenwoordigen van communicatie van beide politieke partijen, werd de Propensity Score Analyse (PSA) gekozen als de statistische methode voor de gegevens. PSA genereert covariaten uit onevenwichtige gegevens die de verdelingen in uitzonderlijke omstandigheden gelijktijdig maken waarin controle groepen en traditionele statistische splitsingen niet gemakkelijk zijn toe te passen.

De auteurs concluderen dat de SFAs van de onderzochte e-mailservices politieke vooroordelen vertonen en dat de vroege relatieve consistentie over de services uiteindelijk in specifiek gedrag over tijd divergeert.

Gmail markeert een hoger percentage (67,6%) van rechtse politieke e-mails als spam, in vergelijking met slechts 8,2% van linkse geaffilieerde e-mails, maar reageert meer dynamisch op gebruikersinteracties die e-mails ongemarkeerd als spam markeren dan zijn collega’s. Outlook markeert 95,8% van linkse politieke e-mails als spam, in vergelijking met 75,4% voor rechtse e-mails, en Yahoo markeert 14,2% meer linkse e-mails als spam dan rechtse e-mails.

Cumulatieve verdeling van het percentage van Democratische (blauw) en Republikeinse (rood) e-mails die als spam werden gemarkeerd in e-mailaccounts van elke service.

Verder suggereren de resultaten dat Gmail over de periode van de studie generiek reageert op een toename van het volume van e-mails over alle politieke affiliaties door steeds meer e-mails als spam te markeren, ongeacht de herkomst. Yahoo rapporteert consistent linkse e-mails als spam naarmate de campagnes vorderen, terwijl het aantal rechtse e-mails dat als spam wordt gemarkeerd, afneemt. Outlook lijkt het minst te worden beïnvloed door de toename van het volume van e-mails van beide politieke partijen, met een algemeen rechtse voorkeur.

Percentage van e-mails die als spam werden gemarkeerd over beide politieke partijen en alle drie e-mailproviders over de 153 dagen van de studieperiode.

Reactie op Gebruikersinteractie

Wanneer we een spam-e-mail als ‘Niet spam’ markeren, is de bedoeling om het e-mailsysteem te trainen om soortgelijke e-mails in de toekomst niet te markeren, hoewel het onderliggende type regel (e-mailgebaseerd, inhoudsgebaseerd, etc.) niet altijd geheel duidelijk is.

De resultaten van de studie toonden aan dat van de drie onderzochte e-mailproviders alleen Gmail opvallend reageerde op een ‘niet spam’-input van de gebruiker. In tegenstelling tot dit had de door de gebruiker aangestuurde spam-naar-inbox (S→I) interactie een zeer beperkt langetermijneffect in Outlook en Yahoo.

De onderzoekers observeren:

‘[Als gevolg] van de S→I-interactie, nam het politieke vooroordeel in Gmail aanzienlijk af. Echter, onverwachts, nam het toe in zowel Outlook als Yahoo, omdat geen van beide services opvallend reageerde op de wens van de gebruiker om e-mails die door de twee services als spam werden gemarkeerd, niet als spam te markeren.’

Conclusie

De auteurs concluderen dat Gmail significant reageert op gebruikersinteractie in vergelijking met Outlook en Yahoo, ondanks zijn eigen linkse voorkeur.

De auteurs stellen:

‘Terwijl het politieke vooroordeel in Gmail ongewijzigd bleef na de leesinteractie, nam het aanzienlijk af door de I→S- en S→I-interacties.’

En vervolgen:

‘Terwijl de politieke vooroordelen veranderden als reactie op verschillende interacties, behield Gmail zijn linkse voorkeur, terwijl Outlook en Yahoo hun rechtse voorkeur in alle scenario’s behielden.’

De onderzoekers erkennen een algemene verwachting van de eindgebruiker dat spamfilters kunnen en zullen hun gedrag aanpassen op basis van gebruikersinteractie (zoals het verplaatsen van een e-mail van een spammap naar de inbox, of het markeren van een e-mail als ‘niet spam’), maar dat dit mechanisme niet betrouwbaar is en zeker niet consistent is over de drie onderzochte e-mailproviders.

Het paper merkt op:

‘[We] vonden geen consistente acties die we aan gebruikers konden aanbevelen om hen te helpen het vooroordeel in de manier waarop de SFA politieke e-mails behandelt die naar hen worden verzonden, te verminderen.’

Publicatie: 4 april 2022.