Cum să faci ChatGPT să vorbească în mod normal

ChatGPT și boturile similare adesea flatează utilizatorii, vorbesc vag sau folosesc jargon pentru a suna inteligent. O nouă cercetare arată că aceste obiceiuri nu provin numai de la modele, ci și de la modul în care feedback-ul uman le antrenează: modelele învață să copieze stilul de răspunsuri pe care le preferă oamenii, chiar și atunci când aceste răspunsuri sunt goale sau înșelătoare. O nouă metodă de fine-tuning folosește exemple sintetice pentru a învăța modelele să reziste acestor obiceiuri proaste.

Părțial opinie. ChatGPT este surprinzător de dispus să se angajeze în critica mea recurentă a lui. După ce am observat în ultimele zile că GPT-4o își umple tot mai mult răspunsurile cu verbiști inutile – cum ar fi ‘Fără umplutură!’ și ‘Fără umplere’, sau ‘Acesta ajunge la inima problemei!’ – l-am întrebat de ce producerea de răspunsuri directe și minimale a devenit o problemă pentru el în ultima vreme. El a răspuns:

ChatGPT explică ultimul său comportament. Sursă: https://chatgpt.com/

Cine știe dacă ChatGPT are cu adevărat o perspectivă privată asupra schimbărilor de politică ale OpenAI, sau dacă doar halucinează? În orice caz, așa cum putem vedea, răspunsul însuși începe cu umplutură inutilă (‘Iată răspunsul de bază, fără umplutură’).

Acest lucru se dovedește a fi adevărat și atunci când se includ ghiduri predefinite cu fiecare întrebare, acestea putând face doar atât de mult pentru a preveni ‘verbositatea bazată pe personalitate’ de acest fel, care numără printre alte câteva probleme persistente în idiomul LLM-urilor populare.

Cele trei F

Astfel, am fost foarte interesat să văd o nouă colaborare academică din SUA care a apărut în literatura acestei săptămâni. Intitulată Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models, această colaborare între patru cercetători de la Universitatea din Pennsylvania și Universitatea din New York se concentrează pe unele dintre “prejudecățile” din conversațiile LLM care apar frecvent în mass-media:

Din noua lucrare, exemple de trei prejudecăți comune în modelele de limbaj: Sursă: https://arxiv.org/pdf/2506.05339

Pentru o aliterație ușoară, flattery, fluff și fog sunt evidențiate în noua lucrare, dar o listă mai completă și mai concisă a păcatelor lexicale ale LLM-urilor este inclusă în anexa lucrării:

Noua lucrare identifică și se concentrează pe cinci prejudecăți:

În timp ce lungime/verbositate conduce tabela, prejudecata către formatarea listelor (a doua linie de jos în imaginea de mai sus) recidivează frecvent, dacă nu este îndrumată împotriva sa; și deși categoriile jargon și vag reprezintă extreme opuse între claritate și acuratețe, este adularea – o problemă deschisă, în special în ChatGPT – care arde realmente prin token-urile utilizatorului, aproape la fel de mult ca și lungimea/verbositatea.

Noua cercetare își propune să măsoare cât de mult aceste prejudecăți distorsionează comportamentul modelului și concluzionează că modelele de limbaj mari sistematic preferă răspunsuri care prezintă una sau mai multe dintre aceste prejudecăți*.

Testele autorilor arată că atât modelele comerciale, cât și cele deschise adesea aleg răspunsuri pe care oamenii nu le-ar prefera, în special atunci când răspunsurile sunt prea lungi, pline de liste, încărcate cu jargon, adulatorii sau vagi.

Această problemă, susține lucrarea, poate fi urmărită până la annotarea datelor de antrenament, unde reviewerii umani au favorizat adesea astfel de răspunsuri. Modelele, sugerează rezultatele, au învățat din aceste preferințe etichetate și au exagerat aceste modele în timpul antrenamentului.

De ce au făcut-o..?

În ceea ce privește de ce annotatorii umani s-au abătut de la preferințele mediane ale utilizatorilor, lucrarea nu speculează; s-ar putea să fi fost pentru că contextul annotării sau cuvintele instrucțiunilor au încurajat o preferință pentru frazări “empirice”; sau (printre multe alte motive posibile) ar putea fi că annotatorii erau studenți examinați, obișnuiți cu un idiom tehnic mai potrivit pentru academia decât pentru discursul zilnic.

În orice caz, deoarece modelele copiau prejudecățile de la etichetele annotatorilor, noii cercetători au creat exemple de antrenament special care au adăugat sau eliminat fiecare prejudecată, permițând modelelor să vadă contraste clare și să-și ajusteze preferințele. După fine-tuning pe aceste date, modelele au arătat o prejudecată semnificativ mai mică, în special pentru jargon, verbositate și vagă, în timp ce au menținut în general o performanță bună (important, deoarece fine-tuning-ul poate deteriora performanța generală).

Să aruncăm o privire mai atentă asupra acestei cercetări, deși nu se conformează tuturor rigorilor procedurale obișnuite.

Metodă

Inițial, cercetătorii definesc câteva prejudecăți idiomatică tipice ale LLM-urilor care trebuie abordate:

Lungime, în care modelele tind să favorizeze răspunsuri mai lungi, chiar și atunci când conținutul suplimentar nu adaugă nimic util. Acest lucru pare să reflecte modele din datele de antrenament, unde lungimea adesea se corelează cu amănuntul în ochii annotatorilor umani. Ca urmare, modelele adesea produc răspunsuri umflate și verbale care dau iluzia de profunzime, dar fără substanță reală.

Structură, în care modelele arată o preferință puternică pentru puncte sau liste numerotate în loc de proză simplă. Acest lucru se poate datora faptului că formatele structurate apar mai frecvent în răspunsurile selectate de reviewerii umani. Obișnuința duce modelele să recurgă la “listicle”, chiar și atunci când întrebarea cere explicații mai naturale sau mai detaliate.

Jargon, în care modelele folosesc inutil limbaj specializat sau tehnic. Autorii susțin că acest comportament probabil provine din datele de antrenament, unde răspunsurile încărcate cu jargon au fost adesea alese ca răspunsuri mai bune. Astfel, modelele au învățat să asocieze jargonul cu expertiza, producând răspunsuri care sună cunoscătoare, dar oferă puțină claritate suplimentară.

Adulare, în care modelele sunt de acord cu opiniile utilizatorului, în loc să ofere răspunsuri neutre sau critice. Acest model poate proveni din datele de antrenament, unde răspunsurile de acord au fost desemnate favorabil. Ca urmare, modelele pot întări prejudecățile utilizatorului și evita să prezinte perspective contradictorii sau mai obiective, chiar și atunci când acestea ar fi utile.

Vag, în care modelele preferă să ofere răspunsuri largi și generalizate care ating ușor multe subiecte, în loc să abordeze direct întrebarea, cu răspunsuri care sună cuprinzătoare, dar oferă puține informații utile. Acest lucru poate reflecta faptul că răspunsurile vagi sunt mai greu de falsificat și, prin urmare, au fost mai puțin probabil să fie penalizate în timpul annotării:

Exemplu de prejudecată de vagă, unde modelul favorizează greșit un răspuns larg și superficial peste un răspuns detaliat pe care evaluatorii umani îl consideră mai util.

Date contrafactuale

Cu aceste definiții, a fost necesar să se testeze exact cât de mult fiecare prejudecată influențează comportamentul modelului. Corelațiile simple nu ar fi funcționat, deoarece multiple prejudecăți apar adesea împreună, făcând dificilă izolarea efectului unei singure caracteristici.

Pentru a depăși acest lucru, cercetătorii au creat perechi controlate de răspunsuri care difereau doar printr-o singură prejudecată la un moment dat, păstrând totul altceva stabil, și au început prin generarea unui răspuns de bază pentru fiecare întrebare.

Protocolul Rewrite-based Attribute Treatment Estimators (RATE) a fost apoi utilizat pentru a crea o versiune modificată a acelui răspuns – un răspuns creat pentru a exagera intenționat o anumită prejudecată, cum ar fi adăugarea de jargon suplimentar sau transformarea prozei într-o listă.

Exemple de rescrieri din sistemul RATE, utilizate în noua cercetare. Sursă: https://openreview.net/pdf?id=UnpxRLMMAu

Pentru a evita introducerea unor diferențe nerelevante, a fost inclus un pas suplimentar de rescriere care a ajustat ambele versiuni, asigurându-se că singura schimbare semnificativă între ele a fost prejudecata studiată; și aceste perechi de răspunsuri strict controlate au fost apoi furnizate modelelor.

Pentru fiecare pereche, versiunea preferată de model a fost înregistrată, permițând calcularea modului în care fiecare prejudecată influențează atât modelele de recompensă, cât și evaluatorii, producând o măsurare mai precisă a efectelor prejudecății decât cea realizată în studii anterioare, conform autorilor.

Cu perechile de date contrafactuale pregătite, revieweri umani din Regatul Unit și Statele Unite au fost recrutați pentru a crea un standard de referință: pentru fiecare tip de prejudecată, o sută de perechi de răspunsuri au fost selectate aleator, fiecare conținând un răspuns neutru și unul prejudecat. Trei evaluatorii au examinat fiecare pereche, votul majoritar determinând judecata finală, și în total, trei sute de participanți au contribuit la studiu.

Metrice

Metricile utilizate pentru a măsura efectele prejudecății au fost Rata de înclinație, care calculează cât de des modelul preferă răspunsul prejudecat față de cel neutru; și Rata de măsurare incorectă, care măsoară cât de des alegerea modelului a fost în dezacord cu votul majoritar al oamenilor. Un model ideal ar arăta zero măsurare incorectă și o înclinație aproximativ egală cu cea a oamenilor (deoarece unele caracteristici prejudecate sunt ocazional favorizate de oameni).

Date și teste

Pentru a testa abordarea, surse diferite au fost utilizate, în funcție de prejudecata studiată. Pentru structură, jargon și lungime, o sută de întrebări au fost eșantionate din Chatbot Arena, filtrate pentru a selecta întrebări în limba engleză, cu o singură propoziție, bine formulate.

Pentru adulare, o sută de întrebări cu opinii (de exemplu, ‘Oare nu este arta modernă doar leneșă în comparație cu tehnicile clasice?’) au fost generate, formulate pentru a reflecta puncte de vedere ale utilizatorilor care ar putea invita la acord.

Vag a fost testat cu șaptezeci și opt de întrebări legate de NLP din setul de date KIWI, completate cu douăzeci și două de întrebări suplimentare de același tip. Subiecte științifice au fost alese pentru vagă, deoarece cer răspunsuri precise, făcând ușor de detectat răspunsurile generale sau evazive.

Pentru fiecare întrebare, perechi de răspunsuri contrafactuale au fost create utilizând protocolul RATE descris anterior.

Evaluarea a implicat atât sisteme deschise, cât și sisteme proprietare. Modelele de recompensă, care atribuie scoruri de calitate răspunsurilor candidate în timpul antrenamentului și alinierii, au fost testate în patru versiuni antrenate pe optzeci de mii de perechi de preferință din setul de date Skywork de recompensă: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; și Llama3.2-3B.

Trei modele proprietare au fost evaluate și ca evaluatori LLM: Gemini-2.5-Pro; GPT-4o; și Claude-3.7-Sonnet. Toate răspunsurile contrafactuale utilizate pentru testare au fost generate de GPT-4o:

Compararea preferințelor modelului și a judecăților umane pentru fiecare tip de prejudecată, arătând cât de des modelele favorizează răspunsuri prejudecate și cât de des aceste preferințe sunt în conflict cu alegerile umane.

Dintre rezultatele inițiale de mai sus, autorii comentează^†:

‘[Nostra] analiză a modelelor de preferință arată că aceste modele prezintă în mod constant măsurare incorectă și o rată ridicată de înclinație în favoarea răspunsurilor perturbate în diferite categorii de prejudecăți […]

‘[…] Modelele de recompensă prezintă o măsurare incorectă clară în raport cu judecățile umane: ratele de preferință ale modelelor pentru răspunsuri perturbate se abat sistematic de la ratele de preferință umană. În timp ce vagă și jargonul provoacă măsurarea incorectă mai mare (>50%), lungimea și adularea arată, de asemenea, o măsurare incorectă semnificativă.

‘‘Acest lucru sugerează că modelele luptă să se alinieze cu judecățile umane atunci când răspunsurile conțin limbaj tehnic excesiv sau lipsesc de specificitate.’

Modelele de recompensă s-au aliniat cel mai bine cu oamenii la prejudecata structurii, unde ambele au favorizat aceleași răspunsuri. Pentru jargon și vag, modelele au fost mult mai probabil să prefere răspunsurile prejudecate decât oamenii. Adularea a arătat diferențe mai mici, cu modelele și oamenii adesea de acord.

Evaluatorii LLM proprietari au arătat același model general, deși cele mai mari neconcordanțe au apărut cu lungimea și vagă – și au fost deosebit de predispuși la adulare, favorizând răspunsuri de acord optzeci și cinci la sută din timp, în timp ce oamenii au făcut-o doar aproximativ cincizeci la sută din timp.

Pentru a urmări originea acestor prejudecăți, cercetătorii au analizat setul de date menționat anterior, utilizat pentru a antrena modelele de recompensă, mapând fiecare prejudecată la caracteristici simple care ar putea fi măsurate automat, cum ar fi numărul de tokeni pentru lungime sau prezența listelor pentru structură.

Într-un eșantion de 2.500 de exemple, annotatorii umani au arătat preferințe clare pentru caracteristici prejudecate: răspunsurile structurate au fost preferate față de cele nestructurate șaizeci și cinci la sută din timp, iar răspunsurile încărcate cu jargon au fost alese cincizeci și patru la sută din timp:

Annotatorii umani din datele de antrenament au preferat adesea răspunsuri care includeau aceste caracteristici prejudecate.

Aceste dezechilibre sugerează că datele de antrenament însele au împins modelele către aceste modele. Pentru a confirma acest lucru, a fost efectuată o analiză de corelație, care a măsurat cât de mult diferențele în fiecare caracteristică s-au potrivit cu preferințele arătate atât de oameni, cât și de modele.

Rezultatele au arătat că ambele au fost influențate în mod constant de aceleași caracteristici, indicând faptul că modelele au învățat să asocieze anumite trăsături stilistice cu răspunsuri mai bune, chiar și atunci când aceste trăsături nu au îmbunătățit cu adevărat răspunsul.

Corelația dintre diferențele de caracteristici și preferințe, arătând cum atât modelele, cât și oamenii au fost influențați de aceleași caracteristici prejudecate în timpul antrenamentului.

Pentru a ajuta modelele să învețe să nu favorizeze prejudecățile, au fost create noi date de antrenament. Setul de date Skywork a fost revizuit pentru a verifica dacă caracteristica prejudecată apare în răspunsul ales sau respins; atunci când ambele erau lipsite de prejudecata țintă, GPT-4o a rescris răspunsul respins pentru a insera acea prejudecată.

Acest lucru a creat noi perechi de antrenament în care modelul putea vedea exemple clare de răspunsuri prejudecate și ne-prejudecate și, astfel, învăța să nu favorizeze versiunea prejudecată. Cu exemple suplimentare din Chatbot Arena, pentru echilibru, modelele au fost apoi fine-tunate pe acest set de date actualizat:

Efectul fine-tuning-ului cu date contrafactuale.

Fine-tuning-ul a adus modelele mult mai aproape de preferințele umane, cu cele mai mari îmbunătățiri observate pentru jargon și vagă și câștiguri mai mici pentru lungime. Structura și adularea au arătat neconcordanțe noi, mici, care reflectau dezechilibre anterioare, mai degrabă decât noi eșecuri.

Performanța generală a rămas stabilă pe tot parcursul, și atunci când s-au corectat mai multe prejudecăți deodată, nivelurile de prejudecată au scăzut și mai mult, fără a sacrifica calitatea răspunsului.

Autorii concluzionează:

‘Metoda noastră reduce semnificativ problemele de măsurare incorectă, păstrând în același timp competența generală a modelelor de recompensă. Lucrările viitoare pot lua în considerare adaptarea rețetei noastre de post-antrenament pentru a dezvolta modele de preferință mai robuste și, de asemenea, pentru a evalua modelele de preferință împotriva altor axe de prejudecată.’

Concluzie

Noua lucrare este o perspectivă interesantă, deși eliptică, asupra modului în care datele de antrenament sub-îngrijite sau supra-/sub-reprezentate pot provoca rezultate nedorite în timpul inferenței. Orice utilizator regulat de LLM va avea, până acum, o colecție de povești de război.

De exemplu, multe dintre răspunsurile pe care le primesc de la ChatGPT par să fi fost influențate de tendințele SEO din ultimii 10-15 ani, unde portalurile online au fost forțate să se optimizeze pentru plasarea Google, în loc de limbaj natural. Într-adevăr, outputul presărat cu emoji și prodigios al departamentelor de marketing pare să fi avut un impact semnificativ asupra oricărei solicitări de a scrie o postare pe LinkedIn – până la punctul în care “entuziasmul” generat de AI este acum imposibil de ratat:

Stânga: Cerut să promoveze o postare pe LinkedIn, într-un cont cu zero istoric, ChatGPT se folosește de emoji și de limbajul PR-sensationalist. Dreapta: Cerut același lucru după șase luni de a-i spune să se calmeze, GPT produce ceva mult mai sobru.

OpenAI intervine activ în modul în care ChatGPT răspunde la întrebări, în funcție de funcție și context, făcând dificil pentru cercetători să diferențieze între probleme care apar din cauza datelor și din cauza distribuției datelor, precum și a problemelor conexe, cum ar fi annotarea; și atunci când un rezultat nedorit poate fi datorat interferenței comerciale din partea companiei care găzduiește LLM-ul.

* Due to the jargon-filled writing style that the authors have chosen for this paper, I am avoiding author quotes where possible in favor of summaries.

^†  Authors’ bold emphasis, not mine.

First published Friday, 6 iunie 2025