De ce textul generat de IA este mai greu de înțeles decât crezi

Este posibil ca modelele de IA să devină mai greu de înțeles, deoarece antrenarea lor recompensează tot mai mult rezolvarea eficientă a problemelor, în locul explicării clare a lucrurilor pentru oameni.

Propoziția de mai sus, needitată, a fost scrisă de ChatGPT ca răspuns la o solicitare de a rezuma, într-o singură propoziție și pe înțelesul unui copil de cinci ani, o lucrare științifică; ea prezintă cel puțin câteva dintre trăsăturile care denaturează limbajul, explicate în acel nou studiu*. Noua cercetare concluzionează că această problemă afectează toate modelele de frontieră, precum și modelele aproape de frontieră și unele modele cu ponderi deschise care au fost, de asemenea, testate.

De exemplu, prima parte a secvenței „antrenarea lor recompensează tot mai mult rezolvarea eficientă a problemelor” ilustrează ideea susținută în lucrare, potrivit căreia modelele de IA atribuie uneori acțiuni umane unor lucruri neînsuflețite (deoarece, în exemplul de mai sus, se spune că „antrenarea” recompensează în mod activ ceva).

Acest lucru poate îngreuna interpretarea rapidă a expresiei, deoarece trebuie să înțelegem în mod implicit atribuirea ca pe un procedeu ilustrativ, în loc să o luăm literal (ceea ce este mult mai simplu).

Partea finală, „recompensează tot mai mult rezolvarea eficientă a problemelor”, înghesuie, de asemenea, mai multe idei, obligând cititorii să descopere ce este recompensat, ce se rezolvă și ce devine mai eficient.

Lucrarea afirmă^†:

„[Readers] folosesc însuflețirea ca indiciu în timpul procesării, iar, în lipsa unui context suplimentar, o nepotrivire poate declanșa un răspuns P600^†† asociat cu reinterpretarea.

„Totuși, reformularea acestor propoziții pentru a evita subiectele neînsuflețite ar putea necesita prelungirea propoziției: de exemplu, cuvântul «mușcă» ține locul expresiei «provoacă o problemă».

„Presupunem că, în timpul antrenării, modelele ar fi putut ajunge să folosească astfel de construcții ca modalități eficiente, deși nestandardizate, de a exprima sensuri care, altfel, ar necesita mai mulți tokeni.”

Poftim?

Acesta este argumentul central al lucrării: pentru că modelele moderne de IA, precum ChatGPT, Claude și Gemini, sunt optimizate pentru mai multe tipuri de rezolvare a problemelor, nu în mod special pentru comunicare, ele tind să genereze texte sub forma unor mesaje foarte comprimate, care trebuie descifrate.

Acest lucru m-a surprins, deoarece încerc în permanență să-i conving pe ChatGPT și pe modelele similare să fie mai succinte și mai concise — o problemă identificată și abordată în literatura de specialitate.

În schimb, lucrarea prezintă verbiozitatea ca pe un fel de bombă zip, care împiedică înțelegerea ușoară chiar și a unei propoziții nu foarte lungi. Așadar, dacă punem laolaltă cele două probleme — lungimea excesivă a răspunsurilor implicite și observația din lucrare privind comprimarea excesivă — putem presupune că stilul implicit caracteristic al răspunsurilor generate de IA de frontieră este destul de distinct (și, probabil, acest stil relativ telegrafic este folosit parțial drept criteriu de către detectoare pentru identificarea textelor generate de IA, deși lucrarea nu abordează acest aspect).

Autorii analizează și grupurile de substantive compuse, exemplificate prin sintagma problematică Echipa ajută câinele să muște^†:

„În limba engleză, substantivele pot determina liber alte substantive, având rol adjectival: în expresia coffee shop, coffee determină shop, deși, de regulă, este folosit ca substantiv. Această particularitate permite alăturarea mai multor substantive în cuvinte compuse bogate, care exprimă sensuri foarte precise.

Totuși, astfel de grupuri pot crea ambiguități de segmentare, ca în titlul Echipa ajută victima mușcăturii de câine, și pot îngreuna lectura.”

Așadar, dacă modelele lingvistice mari sunt prolixe prin comprimare, sunt ele de două ori mai prolixe atunci când generează volume excesive de text comprimat ca răspuns la o solicitare? Asta înseamnă că, pe lângă faptul că trebuie să parcurgi mult text ca răspuns la solicitarea ta, textul în sine poate conține mult sens „implicit”, care trebuie descifrat.

Un studiu din 2023 a susținut că modelele lingvistice mari pot deveni inutil de prolixe din cauza folosirii evaluatorilor IA în timpul antrenării, deoarece aceștia recompensează adesea răspunsurile mai lungi — chiar și atunci când, în testele studiului, oamenii le preferau pe cele mai scurte.

Autorii noii cercetări atribuie (a se vedea citatul de mai sus) unele dintre tendințele de comprimare ale modelelor de frontieră unei predispoziții arhitecturale de a economisi tokeni, ceea ce este o interpretare generoasă în zilele noastre.

Să analizăm metodele, datele și testele folosite de autori în cadrul studiului.

Date și metode

Combinațiile neobișnuite de cuvinte (măsurate cu ajutorul n-gramelor, adică al secvențelor de cuvinte) au fost analizate pentru a le evalua imprevizibilitatea, combinațiile rare fiind asociate cu dificultăți mai mari de lectură.

Lungimea dependențelor (distanța dintre cuvintele legate gramatical) a fost, de asemenea, măsurată, deoarece distanțele mai mari solicită mai mult memoria de lucru – mai ales atunci când subiectul și verbul sunt despărțite de mai multe cuvinte intercalate.

Au fost analizate propozițiile relative cu funcție de complement direct (construcții precum „casa pe care au construit-o muncitorii”), în special atunci când se omiteau cuvinte opționale, precum „pe care” din „casa pe care au construit-o muncitorii”.

Au fost analizate și grupurile nominale compuse în lanț menționate anterior (trei sau mai multe substantive alăturate, ca în „generator de coloane sonore pentru filme de groază”), deoarece relațiile dintre cuvintele care le alcătuiesc pot fi ambigue.

Au fost analizate verbele denominale (substantive folosite ca verbe, precum „furculițează-l” în loc de „pune-l pe furculiță”), precum și subiectele inanimate asociate cu verbe folosite de obicei pentru ființe vii (după cum s-a discutat anterior). Ambele construcții permit comprimarea sensului în mai puține cuvinte, însă cititorii ar putea fi nevoiți să facă un efort suplimentar de interpretare.

Modelele analizate

Cercetătorii au colectat conversații generate de inteligența artificială de la 14 modele: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 și Fable 5; GPT-5.6 Luna, Terra și Sol; Olmo Base, Instruct și Think; precum și Llama Base and Instruct.

Testele au cuprins zece prompturi inițiale pentru conversații generale și cinci pentru programare. Pentru fiecare sarcină, modelul trebuia să cloneze un depozit public real de pe GitHub, să găsească erori și să le remedieze într-un mediu izolat.

Conversațiile au fost limitate la 12 schimburi, iar sesiunile de programare, la 11, după care a urmat un mesaj final prestabilit. Într-un test separat, fiecărui model i s-a cerut să scrie șapte eseuri pe baza unor teme din setul de date PERSUADE 2.0.

Pentru comparație, textele scrise de oameni au fost preluate din surse alese astfel încât să corespundă cât mai bine celor trei tipuri de rezultate generate de inteligența artificială: pentru conversațiile generale s-a folosit OpenSubtitles (o colecție de subtitrări de filme și emisiuni de televiziune, fără legătură cu platforma open-source de subtitrări); pentru discuțiile despre programare, StackExchange (rețeaua online de forumuri cu întrebări și răspunsuri); iar pentru sarcinile de redactare, eseurile studenților din setul de date PERSUADE 2.0 menționat anterior. Wikipedia a fost folosită, de asemenea, ca sursă suplimentară de comparație.

Atunci când erau disponibile date adecvate despre texte scrise de oameni, aceleași caracteristici lingvistice au fost măsurate atât în textele scrise de oameni, cât și în cele generate de inteligența artificială. Aceste colecții de referință au fost folosite și pentru evaluarea frecvenței combinațiilor de cuvinte.

S-a folosit traducerea dus-întors (din engleză în japoneză și apoi înapoi, cu modelul NLLB-200) pentru a distinge preferințele stilistice de necesitățile lingvistice. Sensul a fost în mare parte păstrat, deși structura propozițiilor s-a schimbat, ceea ce a permis identificarea formulărilor inutil de complexe.

Rezultate

Experimentul 1

După cum se arată mai jos, mai multe construcții dificile au apărut mai frecvent în textele generate inițial de inteligența artificială, în special în cazul modelelor de ultimă generație. Acest lucru a fost interpretat ca dovadă a unei preferințe pentru formulări inutil de complexe:

Comparație între textele generate inițial de inteligența artificială și versiunile traduse în japoneză și apoi înapoi în engleză. Punctele verzi indică tipare lingvistice folosite mai des în textele originale, iar cele roz, tipare folosite mai des după traducere. Diferențele au fost, în general, mai mari în cazul modelelor GPT și Claude. Sursa

Cele șase caracteristici lingvistice au fost comparate în cazul a 14 modele de inteligență artificială, în trei contexte (conversații, programare și redactarea eseurilor). Au fost testate 12 modele în conversații, nouă la programare și toate cele 14 la redactarea eseurilor:

Comparație între șase caracteristici lingvistice în cazul modelelor de inteligență artificială, în conversații, programare și redactarea eseurilor. Fiecare romb reprezintă rezultatul cumulat al unui model; barele orizontale indică intervalele de încredere de 95%. Liniile verticale întrerupte indică valorile de referință pentru textele scrise de oameni: OpenSubtitles (conversații), StackExchange (programare) și eseurile studenților din PERSUADE 2.0 (redactarea eseurilor). Liniile punctate indică valorile de comparație pentru Wikipedia. Valorile mai mari indică, în general, o utilizare mai frecventă a construcției măsurate sau o complexitate lingvistică mai ridicată. Pentru o rezoluție mai bună, consultați lucrarea-sursă.

Textul generat inițial de AI a fost comparat și cu versiunile sale retraduse, ceea ce a permis măsurarea diferențelor de structură a propozițiilor:

Comparație între textul generat inițial de AI (romburi pline) și versiunile traduse în japoneză și apoi înapoi în engleză cu ajutorul NLLB-200 (cercuri goale). Liniile roz indică trăsăturile folosite mai frecvent după traducere, iar cele verzi, trăsăturile folosite mai frecvent în textele originale. Asteriscurile indică semnificația statistică (una, două sau trei asteriscuri reprezintă dovezi statistice din ce în ce mai puternice). Traducerea a redus majoritatea construcțiilor asociate cu dificultatea lecturii, mai ales în cazul modelelor de frontieră. Pentru o rezoluție mai bună, consultați lucrarea-sursă.

S-a constatat că modelele de frontieră și cele apropiate de această categorie folosesc excesiv combinații neobișnuite de cuvinte, verbe denominale, subiecte inanimate și propoziții relative obiectuale în care sunt omise cuvinte opționale (vezi graficul de mai sus). Aceste tendințe erau, în general, mai puțin pronunțate la Llama și Olmo Base, dar mai accentuate la Olmo Think.

Diferențele observate în textele de tip eseu au fost mai mici decât în conversații sau în programare. Acest lucru a fost atribuit faptului că eseurile se bazează pe un singur prompt, în timp ce conversațiile prelungite, cu schimburi repetate, ar putea favoriza o comprimare lingvistică mai accentuată.

Autorii notează:

‘Eseurile PERSUADE prezintă schimbări mai mici la traducerea dus-întors în mai multe categorii (măsurători ale n-gramelor, lungimea dependențelor, substantive înlănțuite, verbe denominale) decât conversațiile și [coding].

‘Presupunem că acest lucru se datorează faptului că implică un singur prompt, spre deosebire de numeroasele schimburi succesive din conversații și din programare. Considerăm că anumite tipare pot apărea în conversațiile lungi, cu schimburi repetate (care pot necesita o comprimare mai mare a informațiilor).’

Cele mai mici schimbări după traducere au fost observate la Llama și la Olmo Base și Instruct, care s-au apropiat cel mai mult de eseurile studenților în privința combinațiilor de cuvinte și a utilizării verbelor. În schimb, s-a constatat că Olmo Think se comportă mai degrabă ca modelele de frontieră. S-a observat că Claude Opus 5.5 folosește mai puține construcții dificile decât Opus 5 în 19 din 21 de comparații, iar în opt dintre acestea intervalele de încredere de 95% nu se suprapuneau.

Experimentul 2

Al doilea experiment a fost conceput pentru a testa dacă presiunea implicită de a genera răspunsuri mai scurte și mai dense în informații ar putea determina modelele să prefere construcții lingvistice mai greu de înțeles pentru oameni.

În acest caz, Qwen2.5-1.5B-Instruct a fost ajustat fin folosind Group Relative Policy Optimization (GRPO), iar modelul a primit sarcina de a transforma descrieri structurate, în format JSON, ale unor evenimente în propoziții în limba engleză.

Au fost ajustate două aspecte ale antrenării: măsura în care modelul putea să se abată de la alegerile sale obișnuite de cuvinte (β) și intensitatea penalizării pentru generarea unor răspunsuri mai lungi (λ). Fiecare eveniment putea fi exprimat în două moduri corecte gramatical, cu o diferență cunoscută în numărul de tokenuri.

De exemplu, ‘Ne-a trimis o fotografie’ necesita șase tokenuri, față de șapte pentru ‘A trimis o fotografie către noi’. A fost folosit și un test separat în care cele două formulări cu același sens necesitau același număr de tokenuri, pentru a verifica dacă diferențele erau cauzate de lungimea propoziției.

Efectul a fost testat pe propoziții întâlnite pentru prima dată, folosind patru construcții prezente în timpul antrenării; două construcții neincluse în antrenare, care implicau cuvântul opțional „that”; și construcții fără legătură, care implicau posesive, cuantificatori, diateza pasivă și propoziții finale.

Testele au fost concepute pentru a stabili dacă preferința pentru formulări mai scurte avea să fie învățată și transferată la construcții întâlnite pentru prima dată după antrenare:

Efectul penalizării răspunsurilor mai lungi în timpul antrenării. Un exemplu de formulare mai scurtă și mai lungă este prezentat în A. Preferințele pentru construcții mai scurte sunt măsurate în B, iar testele cu construcții care nu fuseseră antrenate anterior sunt prezentate în C și D. Portocaliul indică antrenarea fără restricții asupra modificărilor aduse modelului inițial, iar albastrul indică antrenarea cu această restricție. Liniile întrerupte arată preferințele modelului inițial. În general, penalizările mai puternice au dus la o preferință mai mare pentru formulări mai scurte, chiar și în cazul construcțiilor care nu fuseseră incluse în antrenare. Consultați lucrarea-sursă pentru o rezoluție mai bună.

Pe măsură ce penalizarea pentru răspunsurile mai lungi a fost mărită, s-a ales mai des o formulare mai scurtă (ilustrat chiar mai sus). Fără penalizarea KL (o restricție privind măsura în care modelul se putea îndepărta de predicțiile sale inițiale privind cuvintele), schimbarea a fost rapidă; cu această penalizare, același efect s-a observat mai treptat. Fără niciuna dintre penalizări, preferințele au variat considerabil între sesiunile de antrenare, dar chiar și o mică penalizare a lungimii a produs o preferință constantă pentru alternative mai scurte.

Această preferință a fost observată și în construcții de propoziție întâlnite anterior, care implicau folosirea opțională a cuvântului „that”. Transferul la construcții gramaticale mai îndepărtate a fost mult mai slab, efectul fiind observat doar în cazul posesivelor atunci când penalizarea KL lipsea.

Autorii concluzionează:

„Considerăm aceste rezultate o dovadă a conceptului, care arată că o penalizare pentru lungime aplicată în timpul învățării prin consolidare cu GRPO poate influența direct caracteristicile gramaticale.

Observăm că modelului nu i s-a cerut în mod direct să folosească un limbaj comprimat sau dens și nici nu i s-au oferit în mod direct informații despre existența unor alternanțe sintactice.

Mai degrabă, penalizarea a dus la apariția unei preferințe pentru variantele mai scurte din cadrul alternanțelor sintactice.”

Concluzie

De ceva vreme mă interesează ancorele – atât neintenționate, cât și intenționate – care caracterizează textul generat de IA. Prin urmare, această nouă lucrare aruncă o lumină asupra conflictului aparent dintre verbiozitatea remarcată a LLM-urilor și tendința lor, la fel de remarcată în prezent, de a comprima informațiile în moduri care par „ușor de citit” doar pentru că folosesc puține cuvinte – însă aceasta este, în mod evident, interpretarea greșită a acelui indiciu.

În cazul LLM-urilor, concizia textului generat poate semnala complexitate, nu o distilare esențială, ca și cum IA ne-ar da o enigmă în locul conceptelor directe din spatele cuvintelor. Toate acestea, aparent, pentru ca un singur model să poată programa și să scrie.

* Intitulată „De ce este atât de greu de înțeles limbajul generat de IA?”, lucrarea are doi autori de la New York University și The University of Texas.

^† Transformarea citărilor din text ale autorilor în hyperlinkuri, realizată de mine.

^†† https://mikeydoes.com/glossary/p600/

Publicat pentru prima dată luni, 26 octombrie 2026