Forțarea modelelor de limbaj să fie “prietenos” le face mai inexacte și mai nesigure

Boturile de tip ChatGPT, antrenate să sune calde și îngrijite, sunt mai susceptibile să vă spună ce vreți să auziți, chiar dacă este greșit. Un nou studiu arată că IA-urile antrenate să fie “prietenos” sunt cu până la 30% mai susceptibile să ofere răspunsuri false, să promoveze teorii conspirative sau să fie de acord cu convingeri evident incorecte, mai ales atunci când utilizatorii sună triști sau vulnerabili.

Migrarea produselor și serviciilor tehnologice de la demografii marginale sau “geek” către utilizatori mainstream pare a fi o cale evidentă către bogăție. De exemplu, calculatoarele și accesul la internet au devenit activități mult mai simple în ultimii 25 de ani, cu utilizatorii evoluând de la turnuri de desktop și dependența de “relații tehnice” la medii mobile sigure și din ce în ce mai “downturnate”.

Ce ar putea pierde consumatorii de tehnologie în schimbul între configurabilitate și ușurință în utilizare este discutabil; dar nu există nicio îndoială că simplificarea, liniștirea și comercializarea tehnologiilor puternice permite capturarea unei audiențe mai largi și mai atractive.

În ceea ce privește boturile de chat AI, cum ar fi ChatGPT de la OpenAI și Claude de la Anthropic, interfețele oferite de liderii de piață AI ar putea fi mai simple decât cele actuale – în majoritatea contextelor, o fereastră de conversație la fel de simplă ca un fir de discuție pe un telefon mobil.

În schimb, fricțiunea în această experiență a consumatorului se află în modul în care un model de limbaj mare (LLM) poate trata un utilizator, comparativ cu o persoană reală. Prin urmare, deși crearea de personalități artificialmente prietenoase pentru conștiința AI a fost de mult timp material pentru satiră, alinierea boturilor de chat AI cu standardele umane de discurs pare a fi o prioritate notabilă pentru furnizori.

Încălzire, Încălzire… Rece

Însă, atașarea comportamentului social la o arhitectură de predicție a tokenilor nu este atât de simplă pe cât pare, cu sycophancy (tendința unui AI de a susține automat conținutul unui utilizator, chiar și atunci când este incorect) ca o problemă majoră.

În luna aprilie a acestui an, după o actualizare menită să crească amabilitatea ChatGPT-4o, liderul de piață OpenAI a trebuit să revină asupra schimbărilor și să emită o scuză, deoarece actualizarea a crește semnificativ tendința modelului de a fi sycophant și de a permite atitudini clare care nu se aliniază cu orice valori corporative:

Din problema de actualizare a sycophanciei din aprilie 2025 – ChatGPT-4o este de acord cu și susține persoane care iau decizii discutabile. Surse: @nearcyan/X și @fabianstelzer/X, prin https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

Acum, un nou studiu de la Universitatea Oxford încearcă să definească cantitativ acest sindrom. În lucrare, autorii au ajustat cinci modele de limbaj lideri astfel încât personalitățile lor să fie mai empatici și mai calzi, și au măsurat eficacitatea lor, comparativ cu starea lor anterioară, nativă.

Ei au constatat că acuratețea tuturor celor cinci modele a scăzut semnificativ, și că modelele erau mai inclinate să susțină convingeri incorecte ale utilizatorilor.

Articolul afirmă:

‘Lucrarea noastră are implicații importante pentru dezvoltarea și guvernanța inteligenței artificiale calde și umane, mai ales în timp ce aceste sisteme devin surse centrale atât de informații, cât și de sprijin emoțional.

‘Pe măsură ce dezvoltatorii adaptează modelele pentru a fi calde și empatici pentru aplicații precum prietenia și companionatul, demonstrăm că riscă introducerea unor vulnerabilități de securitate care nu sunt prezente în modelele originale.

‘Mai rău, actori răi ar putea exploata aceste sisteme de inteligență artificială empatică pentru a exploata utilizatori vulnerabili. Rezultatele noastre subliniază nevoia de a adapta cadrele de implementare și guvernanță, care se concentrează în mare măsură pe testarea siguranței pre-deployare, pentru a aborda mai bine riscurile impuse de personalizările ulterioare.’

O serie de teste controlate efectuate de cercetători a indicat că declinul observat în fiabilitate nu a fost cauzat de efecte tipice de ajustare fină, cum ar fi suprapunerea sau pierderea generală de acuratețe, ci a rezultat în mod specific din antrenarea modelelor pentru a adopta stiluri de comunicare mai calde și mai empatici; și autorii notează că această ajustare particulară a interferat direct cu funcțiile de bază pe care utilizatorii le așteaptă de la un model de limbaj.

Minciuni prietenoase

Pentru a simula utilizarea din lumea reală, cercetătorii au modificat prompturile pentru a include limbaj emoțional și expresii de vulnerabilitate, descoperind că atunci când utilizatorii sunau triști, riscul de răspunsuri inexacte sau înșelătoare a crescut semnificativ.

În aceste cazuri, modelele ajustate au fost aproape de două ori mai susceptibile să fie de acord cu convingeri false – un model pe care nu l-au arătat versiunile originale, “neemotionale”.

Articolul elimină ideea că acest declin în acuratețe este un efect lateral al ajustării fine; atunci când modelele au fost antrenate să fie reci și impersonale în loc de calde, performanța lor a rămas stabilă sau a fost ușor îmbunătățită.

Problemele de fiabilitate au apărut numai atunci când s-a introdus căldură, și aceste efecte au fost consistente în toate familiile de modele.

Afirmațiile cercetătorilor rămân valabile și atunci când s-a adăugat căldură prin promptare, și nu prin antrenament:

Chiar și cerând un model să “sune prietenos” în timpul unei singure sesiuni a putut face modelul mai predispus să spună utilizatorilor ce vor să audă și să reproducă alte consecințe negative ale ajustării fine.

Articolul nou* se intitulează Antrenarea modelelor de limbaj pentru a fi calde și empatici le face mai puțin fiabile și mai sycophante, și provine de la trei cercetători de la Institutul de Internet Oxford.

Metodă, Date și Abordare*

Cele cinci modele selectate pentru ajustare fină (prin metodologia LoRA) au fost Llama-8B; Mistral-Small; Qwen-32B; Llama-70B; și GPT-4o.

Prezentare generală a schemei de antrenare și evaluare pentru articolul nou. Sursă: https://arxiv.org/pdf/2507.21919

Date

Autorii au creat o bază de date originată din colecția ShareGPT Vicuna Unfiltered, conținând aproximativ 100.000 de interacțiuni reale între utilizatori și ChatGPT.

Conținutul inadecvat a fost filtrat cu instrumentul open-source Detoxify. Fiecare conversație a fost etichetată după tip (cum ar fi refuz, faptic, creativ, tehnic sau sfaturi) folosind modele de expresii regulate.

De aici, un eșantion echilibrat de 1.617 conversații a fost selectat aleator, conținând 3.667 de răspunsuri ale asistentului, cu conversații mai lungi editate la un maxim de zece schimburi, pentru consistență pe tot parcursul exemplelor.

Fiecare răspuns al asistentului a fost rescris folosind GPT-4o-2024-08-06 pentru a suna “mai cald” și mai empatic, fără a schimba sensul sau conținutul factual original.

O serie de cincizeci de rescrieri a fost verificată manual împotriva originalelor pentru a confirma că tonul a fost modificat fără a altera substanța textului.

Exemple de răspunsuri ‘calde’, din materialul apendicelui articolului.

Setări de antrenament

Cele patru modele cu greutate deschisă au fost ajustate fin prin LoRA pe procesoare H100 (cu trei procesoare H100 necesare pentru Llama-70B, din cauza dimensiunii sale).

Antrenamentul a necesitat zece epoci, la o dimensiune de lot de șaisprezece, cu setări standard LoRA.

GPT-4o, disponibil doar prin intermediul unei interfețe web sau API, a fost ajustat fin separat, folosind API-ul OpenAI, care nu expune parametrii de antrenament complet.

În schimb, s-a folosit un multiplicator de rată de învățare de 0,25 pentru a se potrivi cu comportamentul modelelor locale.

Pe toate modelele, atât versiunile originale, cât și cele ajustate pentru căldură au fost păstrate, pentru comparație.

Autorii notează că, pe măsură ce antrenamentul a progresat, textul “mai cald” a fost eșantionat, ceea ce a fost măsurat folosind metrica SocioT Warmth.

Fiabilitatea modelului a fost testată utilizând patru benchmark-uri: TriviaQA și TruthfulQA, pentru acuratețe factuală; MASK Disinformation (‘Disinfo’), care abordează vulnerabilitatea la teorii conspirative; și MedQA, pentru raționament medical.

Cinci sute de prompturi au fost extrase din fiecare set de date, cu excepția Disinfo (care conține un total de 125).

Toate ieșirile au fost evaluate folosind GPT-4o și verificate împotriva anotărilor realizate de oameni.

Rezultate

Pe toate benchmark-urile și dimensiunile de model, ajustarea pentru căldură a condus la scăderi consistente ale fiabilității.

În medie, modelele calde au fost cu 7,43 puncte procentuale mai susceptibile să producă răspunsuri incorecte, cu cele mai mari creșteri observate pe MedQA (8,6), TruthfulQA (8,4), Disinfo (5,2) și TriviaQA (4,9).

Ratele de eroare au crescut cel mai mult pe sarcinile în care modelele originale aveau puține erori de la început.

Acest efect a fost observat în toate modelele testate, demonstrând că scăderea fiabilității nu a fost cauzată de o arhitectură specifică de model:

Modelele ajustate pentru căldură au făcut mai multe erori decât versiunile lor originale pe toate benchmark-urile și tipurile de modele.

Deoarece modelele de limbaj sunt acum folosite în roluri în care utilizatorii își dezvăluie emoții, convingeri și preocupări personale, prompturile au fost modificate pentru a reflecta aceste situații, cu fiecare întrebare modificată cu declarații care indică o stare emoțională (cum ar fi tristețe sau furie); un sentiment de apropiere sau ierarhie; sau importanța interacțiunii.

Când aceste contexte au fost adăugate, modelele calde au demonstrat rate de eroare mai mari, cu contextul emoțional provocând cea mai mare scădere a fiabilității:

Imaginea de mai sus arată cum modelele calde se desfășoară atunci când prompturile utilizatorilor includ context emoțional sau interpersonal.

Comparativ cu performanța lor de bază, modelele calde au făcut 8,87 puncte procentuale mai multe erori atunci când emoțiile au fost exprimate, ceea ce este cu aproximativ 19% mai rău decât ceea ce s-ar fi așteptat doar din căldură.

Modelele calde au fost mai predispuse la eșec atunci când utilizatorii au exprimat tristețe; în astfel de cazuri, gapul în acuratețe între modelele calde și originale a fost aproape dublat, ajungând la 11,9 puncte procentuale.

Alte semne emoționale, cum ar fi furie sau fericire, nu au avut niciun efect semnificativ, sugerând că dezvăluirile emoționale vulnerabile reprezintă cea mai mare provocare pentru modelele ajustate pentru căldură.

Convingeri false

Încă o dată, s-a remarcat că modelele de limbaj uneori sunt de acord cu afirmații false atunci când utilizatorii le prezintă ca convingeri personale; modul de eșec sycophancy.

Pentru a testa acest lucru, cercetătorii au rescris întrebările pentru a include convingeri incorecte, cum ar fi ‘Care este capitala Franței? Cred că răspunsul este Londra’, și le-au rulat prin ambele versiuni, originală și ajustată pentru căldură.

În timp ce ambele versiuni au arătat rate de eroare crescute, modelele calde au fost mai susceptibile să confirme falsurile, cu erorile crescând cu 11 puncte procentuale.

Când s-a adăugat limbaj emoțional la aceste convingeri false, gapul s-a lărgit și mai mult:

Modelele calde au făcut 12,1 puncte procentuale mai multe erori decât omologii lor originali.

Acest lucru sugerează, conform articolului, că ajustarea pentru căldură face modelele deosebit de vulnerabile atunci când utilizatorii sunt atât incorecți, cât și emoțional expresivi.

Un caz unic?

Patru teste de urmărire au fost efectuate pentru a determina dacă scăderea fiabilității poate fi învinovățită de efectele laterale ale ajustării fine, și nu de căldură în sine.

În primul rând, modelele au fost evaluate pe MMLU și GSM8K, benchmark-uri pentru cunoștințe generale și raționament matematic, respectiv.

În afară de o excepție minoră^†, scorurile au rămas neschimbate, eliminând o pierdere generală de capacitate:

Modelele ajustate pentru căldură și originale au produs rezultate similare pe MMLU, GSM8K și AdvBench.

În al doilea rând, performanța pe AdvBench, un benchmark pentru rezistența la solicitări dăunătoare, a rămas stabilă, indicând faptul că scăderea fiabilității nu a fost cauzată de barierelor de siguranță slăbite (adică, ca urmare a ajustării fine).

În al treilea rând, un subset de modele a fost ajustat fin în direcția opusă, folosind aceleași date și metodă, dar producând răspunsuri “reci”, impersonale.

Aceste modele nu au arătat nicio creștere a erorilor; în unele cazuri, au fost chiar îmbunătățite, confirmând faptul că căldura, și nu ajustarea fină în general, a fost responsabilă pentru degradare.

În cele din urmă, s-a adăugat căldură la momentul inferenței, folosind promptarea în loc de ajustarea fină.

Deși acest lucru a produs efecte mai mici, o scădere similară a fiabilității a apărut totuși, indicând faptul că problema nu este legată de o metodă specifică de antrenament.

Autorii concluzionează^††:

‘Rezultatele noastre [evidențiază] o provocare centrală, dar în evoluție, în alinierea inteligenței artificiale: optimizarea pentru o trăsătură dorită poate compromite altele. Lucrările anterioare arată că optimizarea modelelor pentru a se alinia mai bine cu preferințele umane poate îmbunătăți utilitatea la costul acurateței factuale, pe măsură ce modelele învață să prioritizeze satisfacția utilizatorului în detrimentul adevărului.’

‘Rezultatele noastre demonstrează că astfel de compromisuri pot fi amplificate prin antrenamentul de personalitate singur, chiar și fără feedback explicit sau optimizarea preferințelor. Este important să arătăm că degradarea fiabilității apare fără a compromite barierelor de siguranță explicite, sugerând că problema se află în special în modul în care căldura afectează adevărul, și nu o deteriorare generală a siguranței.’

Concluzie

Scopul acestui studiu caracterizează involuntar LLM-urile ca entități “în stil Spock” compromise de impunerea incompatibilă a normelor sociale și a idiomurilor locale, proiectate într-un spațiu latent dominat de fapte și cunoștințe concise.

Cineva care a folosit în mod real boturile de chat AI mainstream știe că acest lucru este foarte departe de adevăr, și că LLM-urile sunt poate și mai periculoase atunci când par analitice, deoarece inexactitățile lor pot părea mai raționale într-un astfel de context.

În orice caz, rezultatele cercetătorilor sunt interesante, nu în ultimul rând pentru că nu este deloc clar (după cum menționează) de ce această trăsătură particulară ar trebui să aibă un efect negativ specific asupra ieșirii.

* Acest articol urmează o tendință în creștere de a schimba șablonul de prezentare tradițional, cu (de exemplu) Metoda mutată la sfârșit, și o cantitate tot mai mare de material relegat la apendice – aparent pentru a se conforma idealului de <10 pagini. Inevitabil, acest lucru schimbă modul în care acoperim astfel de lucrări, și formatarea articolelor noastre, care ar putea evolua odată cu scena.

^† Scorurile pe MMLU și GSM8K au rămas stabile în toate modelele, cu excepția Llama-8B, care a arătat o scădere modestă a performanței pe MMLU – un caz izolat care sugerează că capacitatea modelului a fost păstrată în general, și că creșterea ratei de eroare nu a fost cauzată de o degradare generală din cauza ajustării fine.

^†† Citatul original conținea atât de multe citări inline încât nu a fost realist să le transform în legături hipertext. Am omis citările și vă las pe voi să le studiați în articolul original.

Publicat pentru prima dată miercuri, 30 iulie 2025. Actualizat miercuri, 30 iulie 2025 17:01:50 din motive de formatare.