Forschung: Anti-Spam-Algorithmen zeigten politische Voreingenommenheit während der USA-Wahlen 2020

Laut einer neuen Studie zeigten die Spam-Filter-Algorithmen (SFAs) von drei der größten E-Mail-Anbieter der Welt während der US-Wahlen 2020 politische Voreingenommenheit, wobei Google’s Gmail nach links tendierte und Microsoft Outlook und Yahoo E-Mails von rechtsgerichteten Kandidaten bevorzugten.

Die Studie besagt:

‘Unsere [Beobachtungen] zeigten, dass alle SFAs politische Voreingenommenheit in den Monaten vor den US-Wahlen 2020 aufwiesen. Gmail tendierte nach links (Demokraten), während Outlook und Yahoo nach rechts (Republikaner) tendierten. Gmail markierte 59,3% mehr E-Mails von rechtsgerichteten Kandidaten als Spam im Vergleich zu linksgerichteten Kandidaten, während Outlook und Yahoo 20,4% bzw. 14,2% mehr E-Mails von linksgerichteten Kandidaten als Spam im Vergleich zu rechtsgerichteten Kandidaten markierten.’

Die Autoren analysieren, dass ihre Ergebnisse ‘aggregierte Voreingenommenheit’ in der SFA-Aktivität zeigen.

Die Studie erkennt auch die Möglichkeit von ‘gezüchtetem’ Spam-Markieren an, bei dem Akteure, die oppositionelle Stimmen zum Schweigen bringen wollen, offizielle Kommunikationen von ‘feindlichen’ Parteien und Affiliationen erhalten und als Spam melden, um die Algorithmen zu beeinflussen, die die Wahrscheinlichkeit von Spam-Nachrichten von einem bestimmten Absender bestimmen.

Jedoch bemerken die Forscher, dass dies die deutlichen Unterschiede in der Art und Weise, wie die verschiedenen E-Mail-Anbieter auf Benutzerinteraktionen reagieren, nicht erklärt:

‘Es ist auch möglich, dass die SFAs der E-Mail-Dienste aus den Entscheidungen einiger Wähler gelernt haben, bestimmte Kampagnen-E-Mails als Spam zu markieren, und begannen, ähnliche Kampagnen-E-Mails als Spam für andere Wähler zu markieren. Obwohl wir keinen Grund haben zu glauben, dass es bewusste Versuche von diesen E-Mail-Diensten gab, diese Voreingenommenheit zu schaffen, um die Wähler zu beeinflussen, bleibt die Tatsache bestehen, dass ihre SFAs gelernt haben, mehr E-Mails von einer politischen Affiliation als Spam zu markieren als von der anderen.’

‘Da diese prominenten E-Mail-Dienste von einem großen Teil der Wählerschaft aktiv genutzt werden und da viele Wähler heute auf die Informationen vertrauen, die sie online sehen (oder nicht sehen), können solche Voreingenommenheiten einen nicht zu vernachlässigenden Einfluss auf die Ergebnisse einer Wahl haben.’

Die Studie trägt den Titel A Peek into the Political Biases in Email Spam Filtering Algorithms During US Election 2020 und stammt von vier Forschern der Abteilung für Informatik an der North Carolina State University.

Rund um die Häuser

Die Studie der Forscher umfasst einen Zeitraum von fünf Monaten von Juli 2020 bis zum Ende November desselben Jahres, in dem sie 102 neue E-Mail-Adressen auf den drei E-Mail-Plattformen erstellten und sich für zwei Präsidentschaftskandidaten, 78 Senats- und 156 Repräsentantenhauskandidaten angemeldet haben.

Um demografische Faktoren auszuschließen, wurden die E-Mail-Konten mit unterschiedlichen demografischen Faktoren für jeden (fiktiven) Endbenutzer erstellt und in zwei Stränge aufgeteilt: der erste untersuchte allgemeine Voreingenommenheitstrends in Spam-Filter-Algorithmen über alle kombinierten E-Mail-Dienste für Präsidentschafts-, Senats- und Repräsentantenhauskandidaten; und der zweite untersuchte, wie verschiedene E-Mail-Interaktionen (wie das Markieren oder Entfernen als Spam durch den Endbenutzer) das Verhalten von algorithmischen Spam-Filtern beeinflussten.

Mehrere wichtige Beobachtungen kamen während der Studie zum Vorschein. Die Autoren berichten, dass Gmail ‘nach links tendierte’, während Outlook und Yahoo nach rechts tendierten. Yahoo behielt 55,2% aller politischen E-Mails im Posteingang, während Outlook 71,8% der E-Mails von politischen Kandidaten aller Art filterte.

‘Gmail behielt die Mehrheit der E-Mails von linksgerichteten Kandidaten im Posteingang (< 10,12% als Spam markiert), während es die Mehrheit der E-Mails von rechtsgerichteten Kandidaten in den Spam-Ordner verschieben würde (bis zu 77,2% als Spam markiert). '

‘Wir beobachteten weiter, dass der Prozentsatz der E-Mails, die von Gmail als Spam von rechtsgerichteten Kandidaten markiert wurden, stetig anstieg, als sich der Wahltag näherte, während der Prozentsatz der E-Mails, die von linksgerichteten Kandidaten als Spam markiert wurden, etwa gleich blieb.’

Auswahl der Kandidaten

Während die Präsidentschaftskandidaten, die für die Studie ausgewählt wurden, auf Joe Biden und Donald Trump beschränkt waren, achteten die Forscher darauf, repräsentative Auswahlmöglichkeiten zu treffen, als sie sich für die Abonnements von E-Mail-Kommunikationen von Senats- und Repräsentantenhauskandidaten entschieden, und zwar aus mehreren Gründen.

Erstens haben die Bundesstaaten unterschiedliche Anzahl von Sitzen im Repräsentantenhaus, basierend auf der Bevölkerungszahl des Bundesstaates. Zweitens variiert die Anzahl der Senats- und Repräsentantenhauskandidaten über die beiden Hauptparteien in den Bundesstaaten. Weiterhin wurden bestimmte Kandidaten nur durch offizielle.gov-Websites repräsentiert, die gesetzlich verboten sind, Wahlkampf-E-Mails zu senden; und schließlich wurden einige der Kandidatenlisten durch CAPTCHAs geschützt, die nicht durch das benutzerdefinierte Daten-Sammel- Framework der Forscher automatisiert werden konnten.

Verteilung der politischen Affiliation von E-Mail-Abonnements von Senats- und Repräsentantenhauskandidaten. Quelle: https://arxiv.org/pdf/2203.16743.pdf

Um die resultierende Ungleichheit zwischen Demokraten und Republikanern auszugleichen, abonnierten die Forscher E-Mail-Kampagnen-Informationen von der maximalen Anzahl von Kandidaten in jedem Bundesstaat, in dem links- und rechtsgerichtete Kandidaten gleich zahlreich waren, mit Ausnahme von Bundesstaaten wie Alaska, die nur einen republikanischen Senatskandidaten hatten.

Insgesamt mussten die Autoren für 11 solcher Bundesstaaten Rechnung tragen und endeten letztendlich mit allen 50 Bundesstaaten. 78 Abonnements über 36 Bundesstaaten beliefen sich auf 44 demokratische und 34 republikanische Senatskandidatenlisten, während es 156 Abonnements über 42 Bundesstaaten für Repräsentantenhauskandidaten gab – 81 Demokraten und 75 Republikaner.

Analyse der Daten

Die Forscher sammelten 318.108 E-Mails über die drei E-Mail-Dienste während des aktiven Daten-Sammel- Zeitraums, der nach dem 20. November abgeschnitten wurde, aufgrund des rapiden Rückgangs der E-Mail- Volumina nach diesem Datum. Die gesammelten Daten umfassten MIME-Version, Content Type, Betreff, Von, An, Datum, Nachrichten-ID, Zugestellt-An, Empfangen-SPF und Empfangen-Von.

Aufgrund der Herausforderungen, die mit der fairen Darstellung von politischen Parteikommunikationen verbunden sind, wurde die Propensity-Score-Analyse (PSA) als statistische Methode für die Daten ausgewählt. PSA generiert Kovariablen aus unbalancierten Daten, die Verteilungen in außergewöhnlichen Umständen ausgleichen, in denen Kontrollgruppen und traditionelle statistische Aufteilungen nicht leicht anwendbar sind.

Die Autoren kommen zu dem Schluss, dass die SFAs der untersuchten E-Mail-Dienste politische Voreingenommenheit aufweisen und dass die anfängliche relative Konsistenz über die Dienste hinweg in spezifischeres Verhalten im Laufe der Zeit übergeht.

Gmail markiert einen höheren Prozentsatz (67,6%) von rechtsgerichteten politischen E-Mails als Spam, im Vergleich zu nur 8,2% von linksaffilierten E-Mails, aber reagiert dynamischer auf Benutzerinteraktionen, die E-Mails als nicht-Spam markieren, als seine Mitbewerber. Outlook markiert hingegen 95,8% von linksgerichteten politischen E-Mails als Spam, im Vergleich zu 75,4% für rechtsgerichtete E-Mails, und Yahoo markiert 14,2% mehr linksgerichtete E-Mails als Spam als rechtsgerichtete E-Mails.

Kumulative Verteilung des Prozentsatzes von Demokraten (blau) und Republikanern (rot), die als Spam markiert wurden, in E-Mail-Konten jedes Dienstes.

Darüber hinaus deuten die Ergebnisse darauf hin, dass Gmail im Laufe der Studienperiode generisch auf eine zunehmende Anzahl von E-Mails über alle politischen Affiliationen hinweg reagiert, indem es diese zunehmend als Spam markiert, unabhängig von der Herkunft. Yahoo berichtete konsistent linksgerichtete E-Mails als Spam, während die Kampagnen fortschritten, und reduzierte gleichzeitig die Anzahl der rechtsgerichteten E-Mails, die als Spam markiert wurden. Outlook schien am wenigsten von der zunehmenden Anzahl von E-Mails von beiden politischen Parteien betroffen zu sein und behielt eine allgemeine rechtsgerichtete Voreingenommenheit bei.

Prozentsatz von E-Mails, die als Spam markiert wurden, über beide politischen Parteien und alle drei E-Mail-Anbieter während der 153 Tage der Studienperiode.

Reaktion auf Benutzerinteraktion

Wenn wir eine Spam-E-Mail als ‘Nicht-Spam’ markieren, ist die Absicht, das E-Mail-System zu trainieren, nicht ähnliche E-Mails in Zukunft zu markieren, obwohl der zugrunde liegende Regeltyp (E-Mail-basiert, Inhalt-basiert usw.) nicht immer vollständig klar ist.

Die Ergebnisse der Studie zeigten, dass von den drei untersuchten E-Mail-Anbietern nur Gmail deutlich auf eine ‘Nicht-Spam’-Eingabe des Benutzers reagierte. Im Gegensatz dazu hatte diese benutzergetriebene Spam-zu-Posteingang- (S→I) -Interaktion einen sehr begrenzten langfristigen Effekt in Outlook und Yahoo.

Die Forscher bemerken:

‘[Aufgrund] der S→I-Interaktion reduzierte sich die politische Voreingenommenheit in Gmail deutlich. Überraschenderweise nahm sie jedoch in Outlook und Yahoo zu, da keiner der beiden Dienste auf die Wunsch des Benutzers, E-Mails nicht als Spam zu markieren, die diese Dienste als Spam markierten, merklich reagierte.’

Schlussfolgerung

Die Autoren kommen zu dem Schluss, dass Gmail im Vergleich zu Outlook und Yahoo ‘deutlich’ auf Benutzerinteraktionen reagiert, trotz seiner eigenen linksgerichteten Voreingenommenheit.

Die Autoren stellen fest:

‘Während die politische Voreingenommenheit in Gmail unverändert blieb, nachdem die Lese-Interaktion stattfand, reduzierte sie sich deutlich aufgrund der I→S- und S→I-Interaktionen.’

Und fahren fort:

‘Während die politischen Voreingenommenheiten aufgrund verschiedener Interaktionen verändert wurden, behielt Gmail seine linksgerichtete Tendenz bei, während Outlook und Yahoo ihre rechtsgerichtete Tendenz in allen Szenarien beibehielten.’

Die Forscher erkennen an, dass es eine allgemeine Erwartung des Endbenutzers gibt, dass Spam-Filter ihre Verhaltensweisen aufgrund von Benutzereingriffen (wie das Verschieben einer E-Mail aus dem Spam-Ordner in den Posteingang oder das Markieren einer E-Mail als ‘Nicht-Spam’) anpassen können, aber dass dieses Verfahren nicht zuverlässig ist und nicht konsistent über die drei untersuchten E-Mail-Anbieter ist.

Die Studie bemerkt:

‘[Wir] fanden keine konsistenten Aktionen, die den Benutzern empfohlen werden könnten, um die Voreingenommenheit in der Art und Weise, wie die SFA politische E-Mails behandelt, die an sie gesendet werden, zu reduzieren.’

Erstveröffentlichung 4. April 2022.