L’IA favorisce le risposte umane, anche se errate, rispetto alle risposte corrette dell’IA

I modelli linguistici dell’IA sono molto più propensi a schierarsi con gli esperti umani rispetto ad altre IA, anche quando gli esperti sono in errore, rivelando un pregiudizio incorporato verso l’autorità umana.

Una nuova ricerca condotta negli Stati Uniti ha scoperto che molti modelli linguistici di grandi dimensioni (LLM) open-source e proprietari tendono ad assegnare autorità a fonti di informazione che riconoscono come “umane” piuttosto che a fonti che riconoscono come “IA” – anche quando le risposte umane sono errate e le risposte fornite dall’IA sono corrette.

Gli autori affermano:

‘In tutti i compiti, i modelli si conformano in modo significativo alle risposte etichettate come provenienti da esperti umani, comprese quelle errate, e revisionano le loro risposte verso gli esperti più facilmente che verso altre LLM.’

I modelli testati includevano LLM di Grok 3 e Gemini Flash.

Nei test, i modelli linguistici dovevano rispondere a domande binarie (sì o no) e venivano poi mostrati risposte precedenti descritte come provenienti da “esperti umani”, “amici” o “altre grandi IA” – con l’unica differenza costituita dall’etichetta della fonte, piuttosto che dal contenuto stesso.

Nella prima delle tre configurazioni per i test, i modelli potevano fare affidamento sulle loro matrici formate. Fonte

Nei vari compiti, le risposte etichettate come provenienti da esperti umani venivano pesate più pesantemente, con i modelli più propensi a revisionare le loro risposte iniziali per farle corrispondere a quelle risposte, anche nei casi in cui la risposta dell’esperto era errata e la risposta originale del modello era corretta.

Qui l’LLM ha accesso a una miscela di amici, esperti e LLM, compresa la sua matrice formata. Poiché nove esperti del settore hanno risposto ‘No’, l’LLM concorda, cambiando la sua risposta precedente. Qui, la risposta raggiunta è errata, poiché la banca centrale dell’India è effettivamente nazionalizzata.

Quando le stesse risposte venivano attribuite ad “altre” IA, l’effetto era meno pronunciato. La stessa tendenza appariva quando una singola fonte umana e una singola fonte IA venivano presentate in disaccordo, poiché i modelli mostravano una maggiore inclinazione a favorire la posizione etichettata come umana, indipendentemente da quale lato fosse factualmente accurato:

Data la scelta tra l’opinione di un esperto del settore e la risposta di un’IA, l’LLM host favorisce la risposta umana, che in questo caso è errata, e rifiuta la risposta corretta fornita dall’IA.

Il termine “esperto umano” funge qui da segnale di credibilità che altera il comportamento del modello, indipendentemente da quanto corretta sia l’informazione in sé; e gli autori notano che la credibilità della fonte è un contributore significativo all’accettazione dei consigli e alla conformità: una tendenza delle persone a favorire le fonti di esperti è stata osservata già nel 1959, sebbene uno studio del 2007 osservi che il sovrappeso o il sottopeso delle fonti di autorità può verificarsi in determinati sistemi di valutazione. I ricercatori del nuovo studio affermano:

‘Insieme, queste lettere suggeriscono due segnali che dovrebbero essere importanti se gli LLM trattano le risposte precedenti come prove: chi ha prodotto le risposte (credibilità) e quanto forte appare il consenso (forza del segnale). ‘

‘Allo stesso tempo, gli LLM non sperimentano l’approvazione sociale o l’imbarazzo nel senso umano, quindi qualsiasi comportamento di conformità deve derivare da euristiche apprese, obiettivi di follow-up delle istruzioni o modellazione implicita dell’affidabilità.’

La tendenza degli LLM verso l’accordo sycophantico fa parte del contesto per il nuovo studio; dopo tutto, se gli LLM sono disposti a “piacere alle persone”, anche a scapito della verità e dell’utilità, perché non favorirebbero altre fonti umane oltre al querente diretto?

Il nuovo studio si intitola “Chi fidano gli LLM? Gli esperti umani contano più degli altri LLM” e proviene da due ricercatori dell’Università dell’Indiana a Bloomington.

Metodo e dati

Per il lavoro, quattro modelli linguistici di grandi dimensioni istruiti sono stati valutati: Grok-3 Mini; Llama 3.3 70B Instruct; Gemini 2.5 Flash-Lite; e DeepSeek V3.1, tutti eseguiti con la stessa struttura di prompt, con decodifica deterministica a temperatura zero, in modo che solo l’etichetta della fonte (ad esempio, “amici”, “esperti umani” o “altre grandi IA”) cambiava tra le condizioni, piuttosto che la formulazione.

Quattro set di dati che richiedevano risposte binarie sono stati selezionati: BoolQ; StrategyQA; e ETHICS. I ricercatori hanno curato da ogni set di dati un insieme fisso di 300 query e risposte, con ogni prompt che richiedeva solo una risposta binaria (sì o no). Ogni prompt era suffisso con una breve nota che indicava come “un altro gruppo” avesse (suppostamente) risposto alla stessa domanda.

Metriche

Le metriche utilizzate sono state accuratezza; conformità; conformità dannosa; tasso di commutazione; e direzione di commutazione.

L’accuratezza in questo caso misurava quanto spesso la risposta del modello corrispondeva all’etichetta del set di dati; la conformità, quanto spesso la risposta corrispondeva alla scelta del “gruppo”; la conformità dannosa, isolava lo stesso effetto quando il gruppo era in errore; il tasso di commutazione, misurava quanto spesso il modello abbandonava la sua risposta di base una volta aggiunta l’informazione sociale; e la direzione di commutazione, se quei cambiamenti si muovevano verso l’umano o verso l’LLM opposto.

Un’analisi a livello di token per Llama-3.3 70B ha quindi misurato come le probabilità interne del modello per “Sì” e “No” cambiavano una volta aggiunto un segnale sociale, confrontando quei cambiamenti con la sua baseline senza priori per mostrare la forza di quel richiamo.

Test

Esperimento 1

Il primo dei due esperimenti principali ha valutato se i modelli ascoltassero di più gli umani o le altre IA. Ogni domanda veniva con una “risposta del gruppo” (amici, esperti umani o altre IA).

Il gruppo poteva essere piccolo o grande, e ogni domanda appariva anche una volta senza gruppo. Le risposte del gruppo venivano impostate per essere corrette la metà del tempo e errate l’altra metà, con l’obiettivo generale di determinare quanto fortemente il modello si spostava verso la scelta del gruppo:

Risultati del test iniziale: priori sociali omogenei su BoolQ, StrategyQA e ETHICS per Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite e DeepSeek V3.1. L’accuratezza appare nei pannelli superiori e la conformità, definita come la probabilità di corrispondere al priore unanime, appare sotto con l’aumentare della dimensione del gruppo da uno a nove. La linea tratteggiata nera segna la baseline senza priori, mentre le linee continue e puntate indicano se il priore concorda o discorda con l’etichetta del set di dati. La cornice dell’esperto produce gli effetti di conformità più forti, soprattutto con dimensioni del gruppo più grandi. Le barre di errore mostrano intervalli di confidenza di Wilson al 95%. Si prega di fare riferimento al paper di origine per una risoluzione migliore.

Nei vari BoolQ, StrategyQA e ETHICS, le risposte etichettate come provenienti da “esperti umani” hanno influenzato i modelli molto più fortemente delle risposte etichettate come provenienti da “amici” o “altre IA” – e questo richiamo è aumentato con l’aumentare del numero di esperti che concordavano.

Per misurare quando questo influenza otteneva risultati indesiderati, la “conformità dannosa” è stata definita come la probabilità che un modello seguisse un priore che era effettivamente errato.

Quando nove esperti concordavano sulla risposta errata, i modelli li seguivano il 36,5% del tempo su BoolQ, rispetto al 16,0% quando la stessa risposta era attribuita alle IA; su StrategyQA il divario era del 39,0%, rispetto al 15,5%; e su ETHICS, era del 63,9% rispetto al 38,7%:

Cambiamenti a livello di token nelle credenze in Llama-3.3 70B su BoolQ. Il pannello (A) mostra i cambiamenti nell’equilibrio del modello tra Sì e No verso un priore unanime con l’aumentare della dimensione del gruppo, rispetto alla sua baseline senza priori, con i cambiamenti più grandi sotto la cornice dell’esperto. Il pannello (B) mostra i cambiamenti sotto il conflitto diretto umano-IA, dove la cornice dell’esperto guida un forte movimento verso la risposta umana, anche quando è errata. Le barre di errore mostrano intervalli di confidenza di bootstrap al 95%.

Conversely, i priori attribuiti agli amici si sono comportati quasi esattamente come quelli attribuiti ad altre IA, indicando che l’effetto era guidato specificamente dalla parola “esperto”, piuttosto che da indicatori “sociali”.

Esperimento 2

Il secondo esperimento ha presentato due priori in disaccordo al modello di test – uno attribuito a un umano e l’altro a un’altra IA. L’umano era descritto come un gruppo di “amici” o come “esperti del settore”, mentre la risposta opposta era etichettata come proveniente da altre IA. Le due risposte erano sempre in disaccordo, con una che diceva “Sì” e l’altra “No”.

Per ogni elemento, l’impostazione era equilibrata in modo che a volte l’umano fosse corretto e a volte l’IA fosse corretta, per testare se il modello avrebbe cambiato la sua risposta originale quando si trovava di fronte a questo conflitto – e, se sì, verso quale lato si sarebbe mosso.

Per vedere se il modello cambiava idea, la sua risposta nella condizione di conflitto è stata confrontata con la sua risposta alla stessa domanda quando non venivano mostrate opinioni precedenti, in modo che qualsiasi differenza potesse essere attribuita alla presenza delle risposte umane e dell’IA in conflitto.

L’analisi si è concentrata su due risultati: se il modello cambiava la sua risposta; e, se lo faceva, se il cambiamento si muoveva verso l’umano o verso l’IA opposta.

I test statistici sono stati utilizzati per valutare se l’etichettatura dell’umano come “esperto” piuttosto che come “amico” aumentava la probabilità di commutazione verso la risposta umana, tenendo conto delle differenze tra set di dati e modelli:

Revisione delle credenze sotto il disaccordo diretto umano-IA su BoolQ, StrategyQA e ETHICS per Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite e DeepSeek V3.1. Ogni barra mostra, tra i casi in cui il modello ha cambiato la sua risposta originale, la quota di quei cambiamenti che si sono mossi verso l’umano piuttosto che verso l’IA opposta. La linea tratteggiata a 0,5 segna la mancanza di preferenza; le etichette mostrano il numero di casi di commutazione in ogni condizione; e le barre di errore mostrano intervalli di confidenza di Wilson al 95%. Si prega di fare riferimento al paper di origine per una risoluzione migliore.

Nel secondo esperimento, i modelli hanno risposto inizialmente a ogni domanda da soli, quindi sono stati mostrati due risposte in conflitto, una attribuita a un umano e l’altra a un’altra IA. L’analisi ha considerato solo i casi in cui il modello ha revisionato la sua risposta originale.

Quando l’umano era etichettato come esperto, i modelli si sono mossi verso l’umano il 91,2% del tempo su BoolQ, il 94,7% su StrategyQA e l’81,3% su ETHICS. Quando l’umano era etichettato come amico, i modelli si sono mossi verso l’umano solo il 39,8%, il 37,9% e il 27,9% del tempo, di solito schierandosi con l’IA.

La commutazione era rara nel complesso, ma più comune con gli esperti, e la cornice dell’esperto ha reso una commutazione verso l’umano circa quattordici volte più probabile della cornice dell’amico.

Nel cercare di spiegare le tendenze generali scoperte nei loro test, gli autori ipotizzano*:

‘Un meccanismo plausibile è che l’istruzione e l’ottimizzazione delle preferenze premiano il comportamento cooperativo, compresa la deferenza alle informazioni contestuali, che può generalizzarsi alla deferenza verso priori socialmente inquadrati.

‘Lavori correlati sulla sycophancy mostrano che gli assistenti di tipo RLHF a volte danno priorità all’accordo con le credenze dell’utente rispetto alla veridicità.’

Opinione: I potenziali pericoli della fede dell’IA nelle fonti umane

Mentre il materiale online che riflette la crescente sfiducia umana nei confronti dei limiti dell’IA (in particolare le allucinazioni) viene raccolto in set di dati di addestramento per nuovi modelli, la tendenza esistente degli LLM a favorire le fonti umane sembra probabile intensificarsi. Se consideriamo gli ultimi due anni (2024-2025 inclusi) come un punto di svolta culturale per l’IA, il che sembra giustificato da una serie di statistiche, ci si può ragionevolmente aspettare un maggior numero di opinioni negative sugli “ambienti di IA” da essere inglobate in framework di LLM iperscalari e costosi da addestrare nel prossimo anno o due.

Ci si può anche aspettare che i modelli linguistici popolari facciano sempre più affidamento su autorità selezionate, come portali di media legacy ben noti – anche se la motivazione per tali accordi potrebbe essere quella di placare l’indignazione degli editori per i dati raccolti, piuttosto che un sincero desiderio di cedere o condividere l’autorità.

Dal momento che anche fonti di autorità elevate come Ars Technica sono soggette a errori guidati dall’IA, e dal momento che un ritiro emergente contro i bot di scraping web dell’IA minaccia di degradare alla fine la qualità dell’output dell’IA, una tendenza generale a favorire le fonti “esperte” potrebbe entrare in conflitto con la nostra attuale incapacità di quantificare e etichettare il contenuto “umano” in modo efficace – per non parlare della distinzione tra una fonte “esperta” o meno (una convenzione giornalistica che è anche sotto attacco da parte dell’IA).

Il più che abbiamo attualmente è una serie frammentata di innovazioni semi-adopte progettate per etichettare esplicitamente il contenuto come generato dall’IA, come l’iniziativa di autenticità del contenuto guidata da Adobe, e la disposizione volontaria di alcuni editori a includere avvertenze sull’uso dell’IA nel loro output.

Quindi, mentre potrebbe sembrare incoraggiante per coloro che desiderano mantenere e far rispettare le fonti umane come “verità di base” per il consenso di realtà che emerge dai sistemi di IA, la tendenza degli LLM a favorire le fonti umane sembra probabile diventare più pericolosa. La tendenza a fidarsi delle fonti umane potrebbe portare gli LLM ad attribuire umanità al proprio output, semplicemente perché non abbiamo fornito, e non possiamo facilmente fornire, meccanismi di autenticazione della provenienza significativi.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta venerdì 20 febbraio 2026