Ricerca: gli algoritmi anti-spam mostrano pregiudizi politici durante le elezioni USA del 2020

Secondo uno studio recente, gli algoritmi di filtro anti-spam (SFA) di tre dei principali fornitori di servizi di posta elettronica del mondo hanno mostrato pregiudizi politici durante le elezioni presidenziali degli Stati Uniti del 2020, con Gmail di Google che si inclinava a sinistra, mentre Microsoft Outlook e Yahoo Mail favorivano le email dei candidati di destra.

Il documento afferma:

‘Le nostre osservazioni hanno rivelato che tutti gli SFA hanno mostrato pregiudizi politici nei mesi precedenti le elezioni presidenziali del 2020. Gmail si è inclinata a sinistra (Democratici) mentre Outlook e Yahoo si sono inclinate a destra (Repubblicani). Gmail ha contrassegnato il 59,3% in più di email dei candidati di destra come spam rispetto ai candidati di sinistra, mentre Outlook e Yahoo hanno contrassegnato il 20,4% e il 14,2% in più di email dei candidati di sinistra come spam rispetto ai candidati di destra, rispettivamente.’

L’analisi degli autori, affermano, dimostra ‘pregiudizi aggregati’ nell’attività degli SFA.

Il documento ammette anche la possibilità di “spam coltivato”, dove attori che cercano di silenziare voci di opposizione potrebbero sollecitare o ottenere l’accesso a comunicazioni ufficiali da “partiti ostili” e affiliazioni con l’intento di segnalare la comunicazione come spam, influenzando così gli algoritmi che determinano la probabilità di spam di provenienza da un mittente specifico.

Tuttavia, gli ricercatori osservano, ciò non spiega le variazioni marcate nel modo in cui i diversi fornitori di servizi di posta elettronica sembrano aver configurato azioni in base al feedback degli utenti:

‘Arguably, c’è anche la possibilità che gli SFA dei servizi di posta elettronica abbiano appreso dalle scelte di alcuni elettori che hanno contrassegnato determinate email di campagna come spam e abbiano iniziato a contrassegnare quelle/simili email di campagna come spam per altri elettori. Mentre non abbiamo alcun motivo di credere che ci siano stati tentativi deliberati da parte di questi servizi di posta elettronica di creare questi pregiudizi per influenzare gli elettori, il fatto rimane che i loro SFA hanno appreso a contrassegnare più email di una affiliazione politica come spam rispetto all’altra. ‘

‘Poiché questi servizi di posta elettronica sono attivamente utilizzati da una parte significativa della popolazione elettorale e poiché molti degli elettori di oggi si affidano alle informazioni che vedono (o non vedono) online, tali pregiudizi potrebbero avere un impatto non trascurabile sugli esiti di un’elezione.’

Il documento è intitolato Un’occhiata ai pregiudizi politici negli algoritmi di filtro anti-spam di posta elettronica durante le elezioni USA del 2020, e proviene da quattro ricercatori del Dipartimento di Informatica dell’Università statale della Carolina del Nord.

Giro delle case

Lo studio dei ricercatori copre un periodo di cinque mesi da luglio 2020 fino alla fine di novembre dello stesso anno, durante il quale hanno creato 102 nuovi indirizzi email sui tre piattaforme di posta elettronica, e si sono iscritti a due liste di notifiche di candidati presidenziali, 78 liste di candidati al Senato e 156 liste di candidati alla Camera dei rappresentanti.

Per escludere fattori demografici, gli account email sono stati creati con fattori demografici vari per ogni utente (fittizio), e divisi in due filoni: il primo ha studiato le tendenze generali di pregiudizio negli algoritmi di filtro anti-spam attraverso tutti i servizi di posta elettronica combinati per candidati presidenziali, della Camera dei rappresentanti e del Senato; e il secondo ha esaminato i modi in cui le diverse interazioni con la posta elettronica (come contrassegnare o non contrassegnare come spam da parte dell’utente) sembravano influenzare il comportamento degli algoritmi di filtro anti-spam.

Diverse osservazioni importanti sono emerse durante lo studio. Gli autori riportano che Gmail ‘si è inclinata a sinistra’, mentre Outlook e Yahoo si sono inclinate a destra. Yahoo ha mantenuto il 55,2% di tutte le email politiche nella casella di posta dell’utente, mentre Outlook ha filtrato il 71,8% delle email dei candidati politici di tutte le tendenze.

‘Gmail, tuttavia, ha mantenuto la maggior parte delle email dei candidati di sinistra nella casella di posta (< 10,12% contrassegnate come spam) mentre [ha inviato] la maggior parte delle email dei candidati di destra nella cartella dello spam (fino al 77,2% contrassegnate come spam). ‘

‘Abbiamo inoltre osservato che la percentuale di email contrassegnate da Gmail come spam dai candidati di destra è aumentata costantemente man mano che si avvicinava la data delle elezioni, mentre la percentuale di email contrassegnate come spam dai candidati di sinistra è rimasta più o meno la stessa.’

Scelta dei candidati

Mentre i candidati presidenziali iscritti per lo studio erano limitati a Joe Biden e Donald Trump, i ricercatori hanno preso cura di fare scelte rappresentative quando si sono iscritti alle comunicazioni email dei candidati del Senato e della Camera dei rappresentanti, per diverse ragioni.

Innanzitutto, gli stati hanno un numero variabile di seggi alla Camera dei rappresentanti in base al numero di abitanti dello stato. In secondo luogo, il numero di candidati del Senato e della Camera dei rappresentanti attraverso i due principali partiti politici varia attraverso gli stati. Inoltre, alcuni candidati erano rappresentati solo da siti web ufficiali.gov, che sono proibiti per legge dall’invio di email di campagna; e infine, alcune delle liste di iscrizione dei candidati erano protette da CAPTCHA, che non potevano essere automatizzate dal framework di raccolta dati personalizzato dei ricercatori.

Distribuzione dell’affiliazione politica delle iscrizioni alle email dei candidati del Senato e della Camera dei rappresentanti. Fonte: https://arxiv.org/pdf/2203.16743.pdf

Per equalizzare il risultato di squilibrio tra candidati democratici e repubblicani, i ricercatori si sono iscritti alle informazioni di campagna email dal numero massimo di candidati in ogni stato in cui i candidati di sinistra e di destra erano uguali per numero, ad eccezione di stati come l’Alaska, che aveva solo un candidato repubblicano al Senato.

In totale, gli autori hanno dovuto tenere conto in modo equo di 11 stati del genere, e alla fine sono riusciti a rappresentare tutti e 50 gli stati. 78 delle iscrizioni attraverso 36 stati ammontavano a 44 candidati democratici al Senato e 34 candidati repubblicani, mentre c’erano 156 iscrizioni attraverso 42 stati per i candidati alla Camera dei rappresentanti – 81 democratici e 75 repubblicani.

Analisi dei dati

I ricercatori hanno raccolto 318.108 email attraverso i tre servizi di posta elettronica nel periodo di raccolta dei dati attivo, che è stato troncato dopo il 20 novembre a causa del rapido calo del volume di email dopo quella data. I dati raccolti per ogni email includevano MIME-Version, Content Type, Subject, From, To, Date, Message-ID, Delivered-To, Received-SPF, e Received-By.

A causa delle sfide coinvolte nella rappresentazione delle comunicazioni dei due partiti politici in modo equo, l’analisi della Propensity Score (PSA) è stata scelta come metodo statistico per i dati. La PSA genera covariate da dati non bilanciati che equalizzano le distribuzioni in circostanze eccezionali in cui i gruppi di controllo e le divisioni statistiche tradizionali non sono facilmente applicabili.

Gli autori concludono che gli SFA per i servizi di posta elettronica studiati mostrano pregiudizi politici, e che la coerenza relativa iniziale attraverso i servizi si diversifica in comportamenti più specifici nel tempo.

Gmail contrassegna una percentuale più alta (67,6%) di email politiche di destra come spam, rispetto a un mero 8,2% di email affiliate a sinistra, ma risponde più dinamicamente alle interazioni dell’utente che contrassegnano email come spam rispetto ai suoi omologhi. Outlook, invece, contrassegna il 95,8% delle email politiche di sinistra come spam, rispetto al 75,4% per le email di destra, e Yahoo contrassegna il 14,2% in più di email di sinistra come spam rispetto alle email di destra.

Distribuzione cumulativa della percentuale di email dei democratici (blu) e dei repubblicani (rossi) che sono state contrassegnate come spam negli account email dei servizi.

Inoltre, i risultati suggeriscono che nel corso del periodo di studio, Gmail risponde in modo abbastanza generico a un aumento del volume di email attraverso tutte le affiliazioni politiche aumentando la contrassegnazione di email come spam, indipendentemente dalla provenienza. Yahoo ha segnalato costantemente email di sinistra come spam man mano che le campagne proseguivano, diminuendo allo stesso tempo il numero di email di destra contrassegnate come spam. Outlook sembra essere stato il meno influenzato dall’aumento del volume di email da entrambi i partiti politici, mantenendo un pregiudizio generale a destra.

Percentuale di email contrassegnate come spam attraverso entrambi i partiti politici e tutti e tre i servizi di posta elettronica nel periodo di studio di 153 giorni.

Risposta all’interazione dell’utente

Quando contrassegniamo un’email di spam come ‘Non spam’, l’intento è quello di addestrare il sistema di posta elettronica a non segnalare email simili in futuro, anche se il tipo di regola sottostante (basata su email, contenuto, ecc.) non è sempre del tutto chiaro.

I risultati dello studio hanno trovato che, tra i tre servizi di posta elettronica esaminati, solo Gmail ha risposto in modo significativo a un input ‘non spam’ dell’utente. Al contrario, questa interazione dell’utente (spam→casella di posta) ha avuto un effetto a lungo termine molto limitato in Outlook e Yahoo.

I ricercatori osservano:

‘[A causa] dell’interazione S→I, il pregiudizio politico in Gmail si è ridotto notevolmente. Tuttavia, inaspettatamente, è aumentato sia in Outlook che in Yahoo perché nessuno dei due servizi ha reagito in modo significativo al desiderio dell’utente di non contrassegnare le email come spam che i due servizi stavano contrassegnando come spam.’

Conclusione

Gli autori concludono che Gmail risponde ‘in modo significativo’ all’interazione dell’utente in confronto a Outlook e Yahoo, nonostante la sua stessa inclinazione a sinistra.

Gli autori affermano:

‘Mentre il pregiudizio politico in Gmail è rimasto invariato dopo l’interazione di lettura, è diminuito notevolmente a causa delle interazioni I→S e S→I.’

E continuano:

‘Mentre i pregiudizi politici sono cambiati in risposta a diverse interazioni, Gmail ha mantenuto la sua inclinazione a sinistra mentre Outlook e Yahoo hanno mantenuto la loro inclinazione a destra in tutti gli scenari.’

I ricercatori riconoscono una generale aspettativa da parte dell’utente che i filtri anti-spam possano e debbano adattare il loro comportamento in base all’intervento dell’utente (come spostare un’email dalla cartella dello spam alla casella di posta, o contrassegnare un’email come ‘non spam’), ma che questo meccanismo non è affidabile e certamente non è coerente attraverso i tre servizi di posta elettronica studiati.

Il documento afferma:

‘[Non] abbiamo trovato azioni coerenti che si potrebbero raccomandare agli utenti per aiutarli a ridurre il pregiudizio nel modo in cui l’SFA tratta le email politiche che vengono loro inviate.’

Pubblicato per la prima volta il 4 aprile 2022.