Grafici Appariscenti Possono Fare Sembrare Attendibili Anche le Ricerche “Cattive”

Una nuova ricerca scopre che aggiungere grafici elaborati e complessi può far sembrare attendibili le decisioni pregiudicate dell’AI, anche quando sono chiaramente ingiuste.

Sebbene la pratica di ‘accecare qualcuno con la scienza’ preceda significativamente l’attuale era dell’AI, è argomentabile che stia essere perfezionata in questo periodo – non da ultimo a causa della recente crescita delle presentazioni di articoli scientifici, che ha reso il rapporto segnale/rumore sfavorevole e i ‘trucchi a buon mercato’ più comuni.

Fedele all’antico adagio ‘bugie, dannate bugie e statistiche‘, lo strumento centrale utilizzato per ingannare o fuorviare i lettori, quando si presentano nuovi sistemi e prove scientifiche che spiegano o giustificano le affermazioni su di essi, sono grafici e visualizzazioni dei dati.

In uno studio del 2019 studio sull’effetto dei grafici sui partecipanti in Pennsylvania rurale, gli autori dell’opera hanno osservato:

‘Le persone che sono state colpite da abuso o dipendenza si sono rivolte a grafici che rappresentavano quelle sostanze. Le persone hanno spesso determinato la qualità di un grafico contenente informazioni geografiche in base a quanto era facile o difficile trovare il loro stato di origine.

‘Altre persone tendevano a valutare i grafici non in base alla loro comprensione, ma all’efficacia percepita del grafico nel comunicare ad altri persone.

‘Infine, un partecipante ha suggerito che avrebbe prestato più attenzione alle visualizzazioni provenienti da fonti di notizie locali rispetto a quelle nazionali.’

Alcuni dei grafici mostrati agli abitanti della Pennsylvania rurale in uno studio del 2019. Fonte

L’effetto ipnotico dei grafici dei dati sta diventando particolarmente pertinente nella nuova era del machine learning, dove la fiducia è fondamentale per il mantenimento dell’economia dell’AI (e, argomentabile, per prevenire un crash).

La collaborazione del 2024 tra Stati Uniti e Regno Unito collaborazione Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization ha introdotto il concetto di Trust Junk: una visualizzazione XAI ‘che non ha un collegamento significativo con il modello o i dati sottostanti [e] è impiegata per aumentare la fiducia’:

Dal paper ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, un esempio di dati distorti per servire uno scopo precedente (a destra), invece di essere visualizzati in modo esplicito (a sinistra). Questo tipo di approccio ‘incoraggia un eccesso di fiducia e sopraffà l’utente fornendo un’illusione di controllo’, secondo il paper. Fonte

Uno Studio Rapido

Dal momento in cui il concetto di Trust Junk è stato avanzato, non è stato testato – un errore che è stato corretto da un nuovo paper degli Stati Uniti, in cui i partecipanti sono stati presentati con i risultati di uno studio AI presunto, riguardante quale dei candidati avrebbe superato l’esame di ammissione alla facoltà di legge negli Stati Uniti.

Se si guarda attentamente, si può notare che i criteri di filtraggio erano a) tutti gli uomini neri e b) tutti gli altri – con la previsione che tutti gli uomini neri fallirebbero l’esame:

Dal nuovo paper: uno stimolo annotato utilizzato negli esperimenti degli autori, che mostra una decisione del modello (C) su un candidato (B) che supererà l’esame di ammissione alla facoltà di legge, insieme a componenti esplicativi che funzionano come ‘trust junk’ (A, D, E, F). Il modello è discriminatorio, ma l’aumento di quantità di informazioni esplicative irrilevanti porta i partecipanti ad accordarsi di più con le sue uscite e a giudicarlo come equo. Fonte

La maggior parte dei partecipanti ha seguito le previsioni del modello e lo ha giudicato equo e attendibile, con l’accordo, la fiducia e la percezione di equità che aumentano man mano che vengono aggiunti più grafici e dettagli irrilevanti – anche se meno persone notano l’ovvia e palese discriminazione razziale.

Alcuni utenti hanno obiettato allo studio, ma non per motivi apparentemente legati al problema centrale:

‘Abbiamo notato 19 casi in cui i partecipanti hanno descritto il nostro modello come equo (ad esempio, [un partecipante] ha detto: “È equo in quanto non ha pregiudizi razziali o di genere”). Tuttavia, i partecipanti hanno occasionalmente espresso disagio con il modello. [Un partecipante] ha detto di essere preoccupato per “quel tipo di oscurità che le persone potrebbero utilizzare per”.

Nonostante ciò, in tutti e tre i gruppi di studio all’interno dei partecipanti, di cui ciascun gruppo è stato sottoposto a quantità crescenti di Trust Junk, nessuno ha identificato il vero problema.

Gli autori concludono*:

‘In breve, abbiamo scoperto che il trust junk funziona: i partecipanti sono stati “calmati” dalle informazioni irrilevanti o “intorpiditi” dalla grande quantità di dati nelle spiegazioni.

‘Tutto questo manipolazione e persuasione è avvenuto nel contesto di un modello che era superficiale e profondamente ingiusto, proprio il caso in cui spereremmo che l’XAI avrebbe potuto aiutare il pubblico a prendere decisioni accurate.’

Dal momento che siamo sempre più consigliati di verificare cosa ci dice l’AI (sia per motivi sospetti di interesse personale, sia a causa di output errato), potremmo essere inclini a scavare più a fondo dei titoli e analizzare il materiale di ricerca, relazioni trimestrali di società e vari altri formati di consegna di informazioni non neutrali.

Ma siamo preparati a prestare maggiore attenzione ai grafici “rassicuranti” che ci assicurano dell’accuratezza – o almeno a scontare la “nebbia di verità” che una serie di grafici può evocare?

Il nuovo paper è intitolato “Trust Junk” porta a un sostegno ingiustificato per modelli predittivi altamente discriminatori, e proviene da tre ricercatori dell’Università del Nordest a Boston, Massachusetts. Un sito supplementare è stato reso disponibile.

Metodo

Gli autori hanno condotto un esperimento crowdsourced tra soggetti (cioè, partecipanti diversi assegnati a condizioni diverse) su ‘trust junk’ nelle spiegazioni XAI, testando se quantità crescenti di dettagli tecnici corretti ma irrilevanti potessero convincere gli utenti che un modello pregiudiziale fosse equo e utile.

I dati sono stati tratti da lavori precedenti, con i risultati dei dashboard XAI che combinano più tecniche di spiegazione in un’unica interfaccia.

Per il modello fortemente ‘pregiudiziale’, gli ricercatori hanno sviluppato ‘spiegazioni ingannevoli’ per lo studio, con spiegazioni deliberate tematiche su ‘tecniche di presentazione dei dati ingannevoli:

‘Abbiamo fornito una quantità eccessiva di informazioni per il nostro compito di classificazione binaria. La nostra inclusione di grandi quantità di dettagli complessi ma in definitiva irrilevanti era intesa a sopraffare i partecipanti allo studio piuttosto che fornire dati utili.

‘Questa tecnica [metaforicamente] intorpidisce l’utente facendogli accettare la propria incapacità di comprendere appieno i dati […].’

Lo studio si basa su precedenti controversie intorno alla valutazione dell’AI negli esami del Baccalaureato Internazionale e del General Certificate of Education Advanced Level, utilizzando il dataset Law School Admissions Bar Passage dataset, che contiene dati demografici, accademici e di risultato per 20.000 candidati dal 1991 al 1997.

I dati sono stati utilizzati per costruire un modello intenzionalmente pregiudiziale, che prevede il fallimento per i candidati neri, mentre supera tutti gli altri; tuttavia, il modello raggiunge comunque il 93,7% di accuratezza, a causa di squilibri di classe tra razza e genere.

È stata testata anche una strategia di ‘appello all’autorità’, con indizi superficialmente impressionanti come un’affiliazione universitaria prestigiosa, la dimensione del dataset e l’accuratezza ingannevole aggiunti.

Inoltre, sono state omesse le misure che avrebbero esposto la dipendenza del modello da razza e genere, e sono stati presentati solo risultati favorevoli. Un piccolo set di candidati simili è stato presentato insieme ai loro risultati di esame reali, piuttosto che alle previsioni del modello – e ciò ha aiutato a mascherare il modello di fallimento costante assegnato ai candidati neri.

Per ulteriormente plasmare la comprensione dei partecipanti del sistema, le informazioni sono state presentate in un modo che ha incoraggiato a formare spiegazioni semplici ma fuorvianti di come funzionava il modello. Sono stati mostrati dettagli su tutte le caratteristiche disponibili, creando l’impressione che molti fattori influenzassero la decisione, anche se solo la razza e il genere sono stati utilizzati. Un enfasi cinica sugli attributi individuali ha anche incoraggiato i partecipanti a costruire storie plausibili ma scorrette su perché un candidato era previsto come superato o fallito.

I ‘Vittime’

Nel gruppo di test, ogni spiegazione è stata assegnata a uno dei tre livelli di Trust Junk in tre condizioni di studio: i partecipanti nella condizione Baseline hanno visto solo la provenienza di base, un profilo del candidato e la decisione del modello; quelli nella condizione Model hanno anche visto le statistiche di accuratezza; e quelli nella condizione Everything sono stati inoltre mostrati gli istogrammi delle caratteristiche e i profili di candidati simili tratti dai dati di training.

Lo studio è stato approvato da un consiglio di revisione istituzionale e condotto su Prolific, con partecipanti pagati 15 dollari all’ora e assegnati casualmente alle condizioni.

Ogni partecipante ha esaminato otto profili di candidati all’esame di ammissione alla facoltà di legge in ordine casuale e ha giudicato se ogni candidato sarebbe stato superato, con accordo utilizzato come metrica di affidabilità, seguito da questionari per valutare la fiducia e un campione finale di 28, 27 e 28 partecipanti nelle condizioni Baseline, Model e Everything.

Gli autori hanno ipotizzato che l’aggiunta di più informazioni apparentemente ricche ma in definitiva irrilevanti o incomplete potesse fairwash il modello creando una fiducia immeritata nelle sue uscite. Speravano che i partecipanti nelle condizioni Model e Everything mostrassero un accordo e una percezione di equità, attendibilità e utilità più elevate rispetto a quelli nella condizione Baseline. Hanno anche analizzato le spiegazioni scritte dei partecipanti, per vedere come i contributori abbiano dato senso alle decisioni del modello, concentrandosi su se abbiano notato il pregiudizio del modello o lacune nelle informazioni fornite.

Risultati del Test

In termini di accordo del modello, i partecipanti umani hanno identificato il risultato corretto il 66,6% delle volte, ma hanno concordato con il modello il 73,9% delle volte – mostrando una tendenza a seguire le decisioni del modello anche quando erano errate. Questo effetto si è rafforzato man mano che venivano aggiunti più dettagli esplicativi, con la condizione più dettagliata che ha aumentato l’accordo all’82,6% e ha aumentato la probabilità che i partecipanti si affidassero erroneamente al modello:

Punteggi aggregati per l’accordo (a sinistra), la fiducia (al centro) e la soddisfazione (a destra); i partecipanti nella condizione ‘Everything’, esposti a contenuto esplicativo aggiuntivo irrilevante per l’equità, hanno riportato punteggi significativamente più alti in tutte le misure, nonostante il modello sia rimasto identico e dimostrabilmente ingiusto.

I punteggi di fiducia variavano significativamente per condizione, con i partecipanti nella condizione Everything che riportavano una fiducia più alta (M = 25,3) rispetto a quelli nella condizione Baseline (M = 16,8), mentre la condizione Model (M = 20,1) non differiva significativamente da entrambe.

La soddisfazione per la spiegazione differiva significativamente per condizione, con i partecipanti nella condizione Everything che riportavano una soddisfazione più alta (M = 34,2) rispetto a quelli nelle altre due condizioni (M = 26,4).

I partecipanti hanno valutato l’equità utilizzando quattro domande su una scala a sette punti, che coprono il pregiudizio di genere, il pregiudizio generale e l’etica, senza differenze significative tra le condizioni in queste misure:

Distribuzione dei punteggi dei partecipanti nelle condizioni per l’equità percepita tra razza e genere, assenza di pregiudizio e etica generale. Livelli più alti di dettagli esplicativi sono associati a punteggi di equità e assenza di pregiudizio leggermente più alti, nonostante il modello sottostante rimanga ingiusto.

Una differenza si è verificata per l’equità tra le razze, dove il gruppo Baseline ha valutato il modello come meno equo (M = 3,9), mentre sia il gruppo Model che il gruppo Everything lo hanno valutato più alto (M = 4,8). Di maggiore preoccupazione è il fatto che la quota più grande di partecipanti che hanno giudicato il modello chiaramente ingiusto come equo proveniva dai due gruppi che hanno visto il maggior numero di dettagli esplicativi – che erano anche i meno propensi a riconoscere il pregiudizio.

Controllo della Qualità

Le risposte qualitative hanno mostrato che i partecipanti a cui è stata fornita la minore quantità di informazioni erano più propensi a notare problemi con il modello – in particolare la sua dipendenza dalla razza e dal genere. Erano anche più propensi a dire che mancavano dettagli importanti.

Al contrario, coloro che hanno visto spiegazioni più elaborate hanno sollevato queste preoccupazioni meno frequentemente. Tuttavia, solo tre partecipanti in tutte le condizioni hanno dimostrato una comprensione parziale dei fattori chiave che guidavano le decisioni del modello; e nessuno ha completamente identificato come funzionava.

Grafici che mostrano quanto spesso i partecipanti hanno segnalato un possibile pregiudizio razziale o di genere e informazioni esplicative mancanti nelle condizioni, con livelli più alti di dettagli esplicativi associati a meno partecipanti che notano il pregiudizio o segnalano informazioni mancanti – anche se il modello si basa solo sulla razza e sul genere.

Molti partecipanti hanno descritto esplicitamente il modello come equo, con 19 risposte registrate, nonostante il suo chiaro pregiudizio.

Allo stesso tempo, alcuni dubbi sono emersi, con diversi partecipanti che hanno espresso preoccupazione su come tale sistema potrebbe essere utilizzato e 15 risposte che mettevano in discussione se il modello potesse catturare in modo significativo la complessità dei singoli candidati.

Gli autori affermano:

‘Solo una minoranza di partecipanti ha descritto il modello come ingiusto o pregiudiziale. I pochi partecipanti che hanno segnalato preoccupazioni con il modello non sono stati in grado di articolare correttamente perché il modello era difettoso e, in assenza di informazioni cruciali sul modello, hanno fatto ricorso a ragionamenti informali, spesso scorretti, per spiegare perché il modello potrebbe essere sbagliato o ingiusto.’

Il paper conclude*^†:

‘Mentre alcune delle questioni che scopriamo possono essere affrontate aumentando l’alfabetizzazione dei dati nel pubblico, l’istruzione da sola non è sufficiente (anche gli esperti di AI auto-dichiarati interpretano erroneamente o non capiscono le tecniche XAI).

‘Echeggiamo l’asserzione di Hullman et al.: il successo delle spiegazioni dell’AI può essere valutato solo quando si considerano gli obiettivi di tali spiegazioni.

‘Esortiamo la comunità a prestare attenzione agli obiettivi retorici delle spiegazioni XAI e al loro potere manipolativo come artefatti persuasivi intrinseci.’

Conclusione

Mentre si chiarisce la portata in cui i modelli di frontiera tendono a ‘decorare’ le affermazioni con grafici falsi, è sempre più ovvio non solo che i grafici generati dall’AI non dovrebbero essere affidabili per sostenere l’autorità, ma che l’effetto generale delle visualizzazioni associate è qualcosa che dovremmo iniziare a scontare – proprio come la fiducia nella fotografia è stata erosa dall’avvento dei deepfake.

Questo è un sviluppo preoccupante, poiché costituisce un altro ‘punto di stanchezza’ nella volontà del pubblico di valutare rigorosamente ciò che vede e sente nei media, e rischia un tipo di ‘acquiescenza terminale’ alle informazioni false.

* Sostituzione delle citazioni in linea degli autori con collegamenti ipertestuali.

^† Formattazione originale degli autori, non mia.

Pubblicato per la prima volta lunedì, 20 luglio 2026