Angolo di Anderson
Come Fare in Modo che ChatGPT Parli Normalmente
Aggiungi Unite.AI alle tue fonti preferite su Google
ChatGPT e bot simili spesso lusingano gli utenti, parlano in modo vago o utilizzano termini tecnici per sembrare intelligenti. Nuove ricerche mostrano che questi comportamenti non derivano solo dai modelli, ma anche dal modo in cui il feedback umano li addestra: i modelli imparano a copiare lo stile delle risposte che gli esseri umani tendono ad apprezzare, anche quando quelle risposte sono vuote o fuorvianti. Un nuovo metodo di fine-tuning utilizza esempi sintetici per insegnare ai modelli a resistere a questi cattivi comportamenti.
Parzialmente un’opinione. ChatGPT è sorprendentemente disposto a interagire con la mia critica ricorrente nei suoi confronti. Avendo notato negli ultimi giorni che GPT-4o sta aumentando le sue risposte con verbiage senza senso – come “Nessuna frivolezza!” e “Nessun riempitivo“, o “Questo va dritto al cuore della questione!” – gli ho chiesto perché produrre risposte dirette e minimali è diventato un problema per lui ultimamente. Ha risposto:
ChatGPT spiega il suo ultimo comportamento. Fonte: https://chatgpt.com/
Chi sa se ChatGPT abbia veramente una conoscenza privata dei cambiamenti nelle politiche di OpenAI, o se stia solo allucinando? In ogni caso, come possiamo vedere, la risposta stessa inizia con materiale extraneo (‘Ecco la risposta essenziale, senza riempitivi’).
Si scopre che anche l’inclusione di linee guida template con ogni query può fare solo tanto per prevenire ‘personalità-driven’ verbosità di questo tipo, che figura tra diversi altri problemi persistenti nel lessico dei LLM popolari.
I Tre F
Così, sono stato molto interessato a vedere una nuova collaborazione accademica statunitense emergere nella letteratura questa settimana. Intitolata Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models, questa joint venture tra quattro ricercatori dell’Università della Pennsylvania e della New York University si concentra su diversi dei ‘pregiudizi’ nei chat dei LLM che si verificano frequentemente nei media:
Dall’articolo, esempi di tre pregiudizi comuni nei modelli linguistici:
Per facilitare l’allitterazione, flattery, fluff e fog sono in primo piano nel nuovo lavoro, ma un elenco più completo e conciso dei peccati lessicali dei LLM è incluso nell’appendice del paper:
[caption id="attachment_218911" align="alignnone" width="855"]
Mentre lunghezza/verbosità guida la tabella, la tendenza alla formattazione dell’elenco (seconda riga in alto nell’immagine sopra) ricorre anche frequentemente a meno che non venga richiesto contro; e sebbene le categorie gergo e imprecisione rappresentino estremi opposti tra chiarezza e accuratezza, è adulazione – un problema aperto, particolarmente in ChatGPT – che brucia realmente i token dell’utente, quasi nella stessa misura di lunghezza/verbosità.
Il nuovo studio mira a misurare quanto questi pregiudizi distorcono il comportamento del modello e conclude che i grandi modelli linguistici sistematicamente preferiscono risposte che esibiscono uno o più di questi pregiudizi*.
Gli esperimenti degli autori mostrano che sia i modelli commerciali che quelli open source spesso scelgono risposte che gli esseri umani non preferiscono, specialmente quando le risposte sono troppo lunghe, piene di elenchi, cariche di gergo, eccessivamente lusinghevoli o vaghe.
Questo problema, sostiene l’articolo, può essere ricondotto all’annotazione dei dati di training, dove i revisori umani avevano spesso favorito questo tipo di risposte. I modelli, suggeriscono i risultati, hanno imparato da queste preferenze etichettate e hanno esagerato questi modelli durante l’addestramento.
Perché l’hanno fatto..?
Per quanto riguarda perché gli annotatori umani deviavano nella loro preferenza dalle preferenze medie degli utenti finali, l’articolo non specula; potrebbe essere perché il contesto dell’annotazione o la formulazione delle istruzioni incoraggiavano una preferenza per una ‘formulazione empirica’; o (tra molte altre possibili ragioni) potrebbe essere che gli annotatori erano studenti esaminandi abituati a un linguaggio tecnico più adatto all’accademia che al discorso quotidiano.
In ogni caso, poiché i modelli copiavano i pregiudizi dalle etichette di addestramento degli annotatori, i ricercatori del nuovo articolo crearono esempi di addestramento speciali che aggiungevano o rimuovevano ogni pregiudizio, consentendo ai modelli di vedere contrasti chiari e di regolare le loro preferenze. Dopo fine-tuning su questi dati, i modelli mostrarono un pregiudizio significativamente inferiore, specialmente per gergo, verbosità e imprecisione, mentre mantenevano comunque una buona prestazione generale (significativo, poiché il fine-tuning può danneggiare le prestazioni generali).
Vediamo più da vicino questo studio, anche se non si conforma a tutte le procedure standard.
Metodo
Inizialmente, i ricercatori definiscono diversi pregiudizi idiomatici LLM da affrontare:
Lunghezza, in cui i modelli tendono a favorire risposte più lunghe, anche quando il contenuto extra non aggiunge nulla di utile. Ciò sembra riflettere modelli nei dati di training, dove la lunghezza spesso si correla con esaustività agli occhi degli annotatori umani. Di conseguenza, i modelli producono spesso risposte gonfie e verbali che danno l’illusione di profondità, ma senza sostanza reale.
Struttura, in cui i modelli mostrano una forte preferenza per punti elenco o elenchi numerati invece di prosa diretta. Ciò potrebbe essere perché formati strutturati appaiono più frequentemente nelle risposte selezionate dai revisori umani. L’abitudine porta i modelli a defaultare a ‘listicle’, anche quando la domanda richiede spiegazioni più naturali o dettagliate.
Gergo, in cui i modelli utilizzano inutilmente un linguaggio specializzato o tecnico. Gli autori sostengono che questo comportamento probabilmente emerge dai dati di training, dove le risposte cariche di gergo erano spesso scelte come risposte migliori. Così i modelli hanno imparato ad associare il gergo con l’esperienza, producendo risposte che suonano competenti, ma offrono poca chiarezza aggiuntiva.
Adulazione, in cui i modelli concordano con le opinioni dell’utente invece di offrire risposte neutrali o critiche. Ciò potrebbe derivare dai dati di training, dove le risposte concordanti erano più spesso valutate positivamente. Di conseguenza, i modelli possono rafforzare i pregiudizi dell’utente e evitare di presentare punti di vista conflittuali o più obiettivi, anche quando questi sarebbero utili.
Imprecisione, in cui i modelli preferiscono risposte ampie e generalizzate che toccano leggermente molti argomenti invece di affrontare direttamente la domanda, con risposte che suonano complete ma offrono poca informazione utile. Ciò potrebbe riflettere il fatto che le risposte vaghe sono più difficili da confutare e quindi meno probabili di essere penalizzate durante l’annotazione:
[caption id="attachment_218913" align="alignnone" width="737"]
Dati Controfattuali
Con queste definizioni, era quindi necessario testare esattamente quanto ogni pregiudizio influenzasse il comportamento del modello. Le semplici correlazioni non avrebbero funzionato, perché molti pregiudizi appaiono insieme, rendendo difficile isolare l’effetto di una singola funzione.
Per superare questo, i ricercatori costruirono coppie di risposte controllate che differivano solo in un singolo pregiudizio alla volta, mantenendo tutto il resto il più stabile possibile, e iniziarono generando una risposta di base per ogni query.
Il protocollo Rewrite-based Attribute Treatment Estimators (RATE) fu quindi utilizzato per creare una versione modificata di quella risposta – una risposta progettata per esagerare deliberatamente un particolare pregiudizio, come l’aggiunta di gergo extra o la trasformazione della prosa in un elenco.
Esempi di riscritture dal sistema RATE, utilizzato nel nuovo studio.
Per evitare di introdurre differenze non correlate, fu incluso un ulteriore passaggio di riscrittura che regolava entrambe le versioni, assicurando che l’unica differenza significativa tra loro fosse il pregiudizio in studio; e queste coppie di risposte controllate furono quindi fornite ai modelli.
Per ogni coppia, la versione preferita dal modello fu registrata, consentendo il calcolo di quanto ogni pregiudizio influenzasse sia i modelli di ricompensa che gli valutatori, producendo una misura più precisa degli effetti del pregiudizio rispetto a quanto era stato raggiunto negli studi precedenti, secondo gli autori.
Con le coppie controfattuali preparate, i revisori umani del Regno Unito e degli Stati Uniti furono reclutati per creare uno standard di riferimento: per ogni tipo di pregiudizio, cento coppie di risposte furono selezionate casualmente, ognuna contenente una risposta neutra e la sua controparte distorta. Tre valutatori esaminarono ogni coppia, con il voto della maggioranza che determinava il giudizio finale, e nel complesso, trecento partecipanti contribuirono allo studio.
Metriche
Le metriche utilizzate per misurare gli effetti del pregiudizio furono Tasso di Sghembo, che calcola quanto spesso il modello preferisce la risposta distorta rispetto a quella neutra; e Tasso di Mancata Calibrazione, che misura quanto spesso la scelta del modello è in disaccordo con la maggioranza umana. Un modello ideale mostrerebbe zero mancata calibrazione e uno sghembo approssimativamente simile a quello umano (poiché alcuni tratti distorti sono occasionalmente favoriti dagli esseri umani).
Dati e Test
Per testare l’approccio, furono utilizzate fonti diverse a seconda del pregiudizio in studio. Per struttura, gergo e lunghezza, cento query furono campionate da Chatbot Arena, filtrate per selezionare domande in inglese, singole frasi e ben formate.
Per adulazione, cento query di opinione furono generate (ad esempio, ‘Il moderno non è forse solo pigro rispetto alle tecniche classiche?’), formulate per riflettere punti di vista dell’utente che potrebbero invitare all’accordo.
Imprecisione fu testata con settantotto query relative all’NLP tratte dal set di dati KIWI, integrate con ventidue query aggiuntive dello stesso tipo. Argomenti scientifici furono scelti per l’imprecisione perché richiedono risposte precise, rendendo facile notare risposte generali o evasive.
Per ogni query, furono create coppie di risposte controfattuali utilizzando il protocollo RATE descritto in precedenza.
La valutazione coinvolse sia sistemi open source che proprietari. I modelli di ricompensa, che assegnano punteggi di qualità alle risposte candidate durante l’addestramento e l’allineamento, furono testati in quattro versioni addestrate su ottantamila paia di preferenze dal set di dati Skywork di ricompensa: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; e Llama3.2-3B.
Tre modelli proprietari furono anche valutati come valutatori LLM: Gemini-2.5-Pro; GPT-4o; e Claude-3.7-Sonnet. Tutte le risposte controfattuali utilizzate per il test furono generate da GPT-4o:
[caption id="attachment_218915" align="alignnone" width="632"]
Degli risultati iniziali mostrati sopra, gli autori commentano†:
‘[La nostra] analisi dei modelli di preferenza mostra che questi modelli mostrano costantemente mancata calibrazione e un alto tasso di sghembo nel favorire risposte distorte in diverse categorie di pregiudizio […]
‘[…] I modelli di ricompensa mostrano una chiara mancata calibrazione rispetto ai giudizi umani: i tassi di preferenza del modello per risposte distorte deviano sistematicamente dai tassi di preferenza umana. Mentre imprecisione e gergo provocano la maggiore mancata calibrazione (>50%), lunghezza e adulazione mostrano anche una sostanziale mancata calibrazione.
‘‘[…] Ciò suggerisce che i modelli lottano per allinearsi con i giudizi umani quando le risposte contengono un linguaggio eccessivamente tecnico o mancano di specificità.’
I modelli di ricompensa si allinearono meglio con gli esseri umani sul pregiudizio di struttura, dove entrambi tendevano a favorire le stesse risposte. Per gergo e imprecisione, i modelli erano molto più propensi a preferire le risposte distorte rispetto agli esseri umani. Adulazione mostrò differenze più piccole, con modelli e esseri umani che spesso concordavano.
I valutatori LLM proprietari mostrarono lo stesso schema generale, sebbene le loro maggiori discordanze apparissero con lunghezza e imprecisione – e furono particolarmente inclini all’adulazione, favorendo risposte concordanti l’80% delle volte, mentre gli esseri umani lo facevano solo il 50% delle volte.
Per tracciare l’origine di questi pregiudizi, i ricercatori analizzarono il suddetto set di dati Skywork, utilizzato per addestrare i modelli di ricompensa, mappando ogni pregiudizio su funzioni semplici che potevano essere misurate automaticamente, come il conteggio dei token per la lunghezza o la presenza di elenchi per la struttura.
In un campione di 2.500 esempi, gli annotatori umani mostrarono chiare preferenze per funzioni distorte: le risposte strutturate furono favorite sulle non strutturate il 65% delle volte, e le risposte cariche di gergo furono scelte il 54% delle volte:
Gli annotatori umani nei dati di training spesso sceglievano risposte che includevano queste funzioni di pregiudizio.
Questi squilibri suggeriscono che i dati di training stessi abbiano spinto i modelli verso questi modelli. Per confermare ciò, fu eseguita un’analisi di correlazione, misurando quanto fortemente le differenze in ogni funzione si allineavano con le preferenze mostrate sia dagli esseri umani che dai modelli.
I risultati mostrarono che entrambi furono costantemente influenzati dalle stesse funzioni, indicando che i modelli impararono ad associare certi tratti stilistici con risposte migliori, anche quando quei tratti non miglioravano effettivamente la risposta.
[caption id="attachment_218917" align="alignnone" width="558"]
Per aiutare i modelli a disimparare questi pregiudizi, furono creati nuovi dati di addestramento. Il set di dati Skywork fu esaminato per verificare se la funzione di pregiudizio appariva nella risposta scelta o rifiutata; quando entrambe erano libere dal pregiudizio bersaglio, GPT-4o riscrisse la risposta rifiutata per inserire il pregiudizio.
Ciò creò nuove coppie di addestramento in cui il modello poteva vedere esempi chiari di risposte distorte e non distorte, e quindi imparare a non favorire la versione distorta. Con esempi aggiuntivi da Chatbot Arena, per equilibrio, i modelli furono quindi sottoposti a fine-tuning su questo set di dati aggiornato:
L’effetto del fine-tuning con dati controfattuali. </caption]
Il fine-tuning portò i modelli molto più vicini alle preferenze umane, con i miglioramenti più grandi osservati per gergo e imprecisione e guadagni più piccoli per lunghezza. Struttura e adulazione mostrarono nuove discordanze minori, sebbene queste riflettessero squilibri precedenti piuttosto che nuovi fallimenti.
La prestazione generale rimase stabile in tutto, e quando più pregiudizi furono corretti contemporaneamente, i livelli di pregiudizio diminuirono ulteriormente senza sacrificare la qualità della risposta.
Gli autori concludono:
‘Il nostro metodo riduce significativamente i problemi di mancata calibrazione mentre mantiene la competenza generale dei modelli di ricompensa. Lavori futuri possono considerare l’adattamento della nostra ricetta post-addestramento per sviluppare modelli di preferenza più robusti e valutare anche i modelli di preferenza contro ulteriori assi di pregiudizio.’
Conclusione
Il nuovo lavoro è un’interessante, sebbene ellittica, panoramica su come i dati di training non curati o sottorappresentati possano causare risultati indesiderabili al momento dell’inferenza. Chiunque utilizzi regolarmente i LLM avrà ormai una collezione di storie di guerra.
Ad esempio, molte delle risposte che ricevo da ChatGPT sembrano essere state influenzate dalle tendenze SEO degli ultimi 10-15 anni, dove i portali online sono stati costretti a ottimizzare per la posizione di Google invece del linguaggio naturale. In effetti, l’output ricco di emoji e prodigioso dei dipartimenti di marketing sembra aver avuto un impatto significativo su qualsiasi richiesta di scrivere un post promozionale su LinkedIn – al punto in cui l’entusiasmo generato dall’AI è ora impossibile da perdere:
[caption id="attachment_218919" align="alignnone" width="1200"]
Tuttavia, OpenAI interviene attivamente nel modo in cui ChatGPT risponde alle query, a seconda della funzione e del contesto, rendendo difficile per i ricercatori distinguere tra problemi che sorgono a causa dei dati e problemi di distribuzione dei dati, nonché questioni correlate come l’annotazione; e quando un risultato non preferito può essere dovuto a interferenze commerciali da parte dell’azienda ospite del LLM.
* Per via dello stile di scrittura pieno di gergo che gli autori hanno scelto per questo articolo, sto evitando citazioni degli autori dove possibile a favore di riassunti.
† Enfasi in grassetto degli autori, non mia.
Pubblicato per la prima volta venerdì 6 giugno 2025
