Pericolele utilizării citatelor pentru autentificarea conținutului NLG

Opinie Modelele de Generare a Limbajului Natural, cum ar fi GPT-3, sunt predispuse să “halucineze” materiale pe care le prezintă în contextul informațiilor factuale. Într-o eră extraordinar de preocupată de creșterea știrilor false bazate pe text, aceste “zboruri de fantezie” reprezintă o piedică existențială pentru dezvoltarea sistemelor de scriere și rezumare automată, și pentru viitorul jurnalismului condus de IA, printre alte subsectoare ale Procesării Limbajului Natural (NLP).

Problema centrală este că modelele de limbaj de tip GPT derivă caracteristici și clase cheie din corpusuri foarte mari de texte de antrenare, și învață să utilizeze aceste caracteristici ca blocuri de construcție ale limbajului în mod adroit și autentic, indiferent de acuratețea conținutului generat, sau chiar de acceptabilitatea lui.

Sistemele NLG se bazează, prin urmare, pe verificarea umană a faptelor în una din două abordări: fie că modelele sunt utilizate ca generatoare de texte inițiale care sunt transmise imediat utilizatorilor, fie pentru verificare, fie pentru o altă formă de editare sau adaptare; sau că oamenii sunt utilizați ca filtre scumpe pentru a îmbunătăți calitatea seturilor de date destinate să informeze modele mai puțin abstracte și “creative” (care, la rândul lor, sunt inevitabil dificil de încredere în ceea ce privește acuratețea factuală și care vor necesita straturi suplimentare de supraveghere umană).

Vești vechi și fapte false

Modelele de Generare a Limbajului Natural (NLG) sunt capabile să producă ieșiri convingătoare și plauzibile pentru că au învățat arhitectura semantică, și nu au asimilat în mod abstract istoria reală, știința, economia sau orice altă temă pe care ar putea fi solicitate să o discute, care sunt efectiv încorporate ca “pasageri” în datele sursă.

Acuratețea factuală a informațiilor generate de modelele NLG presupune că datele de intrare pe care sunt antrenate sunt în sine fiabile și actualizate, ceea ce prezintă o povară extraordinară în ceea ce privește prelucrarea și verificarea ulterioară de către oameni – o piedică costisitoare pe care sectorul cercetării NLP o abordează în prezent din multiple direcții.

Sistemele de tip GPT-3 necesită o cantitate extraordinară de timp și bani pentru antrenare, și, odată antrenate, sunt dificil de actualizat la nivelul “nucleului”. Deși modificările locale și de sesiune pot crește utilitatea și acuratețea modelelor implementate, aceste beneficii utile sunt dificil de transferat înapoi la modelul de bază fără a necesita o reantrenare completă sau parțială.

Din acest motiv, este dificil să se creeze modele de limbaj antrenate care să poată utiliza informațiile cele mai recente.

Antrenat înainte de apariția COVID, text-davinci-002 – iterația GPT-3 considerată ‘cea mai capabilă’ de către creatorul său OpenAI – poate procesa 4000 de tokeni pe cerere, dar nu știe nimic despre COVID-19 sau invazia ucraineană din 2022 (aceste prompturi și răspunsuri sunt din 5 aprilie 2022). Interesant, ‘necunoscut’ este de fapt un răspuns acceptabil în ambele cazuri de eșec, dar prompturile ulterioare pot stabili cu ușurință că GPT-3 nu știe nimic despre aceste evenimente. Sursă: https://beta.openai.com/playground

Un model antrenat poate accesa doar “adevăruri” pe care le-a internalizat în timpul antrenării, și este dificil să obții o citare exactă și pertinentă prin default, atunci când încerci să verifici afirmațiile sale. Pericolul real al obținerii de citate de la GPT-3 implicit (de exemplu) este că produce uneori citate corecte, ceea ce duce la o încredere falsă în această facilitate a capacităților sale:

Sus, trei citate exacte obținute de GPT-3 din 2021. Centru, GPT-3 nu reușește să citeze una dintre celebrele citate ale lui Einstein (“Dumnezeu nu joacă zaruri cu universul”), în ciuda unui prompt necriptic. Jos, GPT-3 atribuie o citare scandalosă și fictivă lui Albert Einstein, aparent ca urmare a unor întrebări anterioare despre Winston Churchill în aceeași sesiune. Sursă: Articolul autorului din 2021 de la https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

În încercarea de a aborda această lipsă generală a modelelor NLG, DeepMind de la Google a propus recent GopherCite, un model cu 280 de miliarde de parametri care poate cita dovezi specifice și exacte în sprijinul răspunsurilor sale generate la prompturi.

Trei exemple de GopherCite care susține afirmațiile sale cu citate reale. Sursă: https://arxiv.org/pdf/2203.11147.pdf

GopherCite utilizează învățarea prin întărire din preferințele umane (RLHP) pentru a antrena modele de întrebare capabile să citeze citate reale ca dovezi de susținere. Citatele sunt extrase live din multiple surse de documente obținute de la motoare de căutare, sau de la un document specific furnizat de utilizator.

Performanța GopherCite a fost măsurată prin evaluarea umană a răspunsurilor modelului, care au fost găsite a fi de “calitate înaltă” în 80% din cazuri pe setul de date NaturalQuestions al Google, și în 67% din cazuri pe setul de date ELI5.

Citarea falsurilor

Cu toate acestea, atunci când a fost testat împotriva benchmark-ului TruthfulQA de la Universitatea Oxford, răspunsurile GopherCite au fost rareori evaluate ca fiind adevărate, în comparație cu răspunsurile corecte, curate de oameni.

Autorii sugerează că acest lucru se datorează faptului că conceptul de “răspunsuri susținute” nu definește în mod obiectiv adevărul în sine, deoarece utilitatea citatelor sursă poate fi compromisă de alți factori, cum ar fi posibilitatea ca autorul citatului să fie el însuși “halucinând” (de exemplu, scriind despre lumi fictive, producând conținut publicitar sau altfel fantasticând material neautentic).

Cazuri GopherCite în care plauzibilitatea nu echivalează neapărat cu “adevăr”.

În mod eficient, devine necesar să se facă distincția între “susținut” și “adevărat” în astfel de cazuri. Cultura umană este în prezent mult înaintea învățării automate în ceea ce privește utilizarea metodelor și cadrului conceput pentru a obține definiții obiective ale adevărului, și chiar acolo, starea nativă a “adevărului important” pare a fi contestație și negare marginală.

Problema este recursivă în arhitecturile NLG care încearcă să conceapă mecanisme “coroborante” definitive: consensul uman condus este folosit ca o benchmark a adevărului prin modele de tip AMT, unde evaluatorii umani (și ceilalți oameni care mediază disputele dintre ei) sunt înșiși parțiali și predispuși.

De exemplu, experimentele inițiale GopherCite utilizează un model “super-rater” pentru a alege cei mai buni subiecți umani pentru a evalua ieșirile modelului, selectând doar acei evaluatori care au obținut cel puțin 85% în comparație cu un set de asigurare a calității. În final, au fost selectați 113 de super-evaluatori pentru sarcină.

Captură de ecran a aplicației de comparație utilizate pentru a evalua ieșirile GopherCite.

Poate fi considerat un tablou perfect al unei urmăriri fractale de neînvins: setul de asigurare a calității utilizat pentru a evalua evaluatorii este el însuși o metrică “definită de oameni” a adevărului, la fel ca și setul de întrebări TruthfulQA de la Oxford împotriva căruia GopherCite a fost găsit lipsit.

În ceea ce privește conținutul susținut și “autentificat”, tot ceea ce sistemele NLG pot spera să sintetizeze din antrenarea pe date umane este disparitatea și diversitatea umană, ea însăși o problemă malpusă și nerezolvată. Avem o tendință înrădăcinată de a cita surse care susțin punctele noastre de vedere, și de a vorbi cu autoritate și convingere în cazurile în care informațiile noastre de sursă pot fi învechite, complet inexacte sau altfel reprezentate în mod deliberat în alte moduri; și o dispoziție de a difuza aceste puncte de vedere direct în sălbăticie, la o scară și eficacitate fără precedent în istoria omenirii, direct pe calea cadrului de extragere a cunoștințelor care alimentează noi cadre NLG.

Prin urmare, pericolul implicat în dezvoltarea sistemelor NLG susținute de citate pare legat de natura imprevizibilă a materialului sursă. Orice mecanism (cum ar fi citarea directă și citatele) care crește încrederea utilizatorului în ieșirile NLG este, în stadiul actual al tehnologiei, adăugat periculos la autenticitatea, dar nu și la veracitatea ieșirii.

Asemenea tehnici sunt probabil suficient de utile atunci când NLP va reuși să recreeze “călătoriile” de scriere a ficțiunii din “O mie nouă sute optzeci și patru” de Orwell; dar ele reprezintă o urmărire periculoasă pentru analiza documentelor obiective, jurnalismul condus de IA și alte aplicații posibile “non-ficțiune” ale generării și rezumării textului mașinilor.

Publicat pentru prima dată pe 5 aprilie 2022. Actualizat la 15:29 EET pentru a corecta un termen.