Prevenirea “halucinației” în GPT-3 și în alte modele complexe de limbaj

O caracteristică definitorie a “știrilor false” este că acestea prezintă adesea informații false într-un context de informații corecte, cu datele false câștigând o autoritate percepută prin osmoză literară – o demonstrație îngrijorătoare a puterii jumătăților de adevăr.

Modelele sofisticate de procesare a limbajului natural generativ (NLP) precum GPT-3 au, de asemenea, tendința de a “halucina” acest tip de date înșelătoare. În parte, acest lucru se datorează faptului că modelele de limbaj necesită capacitatea de a reformula și rezuma texte lungi și adesea labirintice, fără nicio constrângere arhitecturală care să poată defini, încapsula și “sigila” evenimente și fapte astfel încât să fie protejate de procesul de reconstrucție semantică.

Prin urmare, faptele nu sunt sacre pentru un model NLP; acestea pot fi ușor tratate în contextul “cărămizilor semantice Lego”, în special acolo unde gramatica complexă sau materialul sursă arcan face dificilă separarea entităților discrete de structura limbajului.

O observație a modului în care materialul sursă tortuos formulat poate confunda modelele complexe de limbaj, cum ar fi GPT-3. Sursă: Paraphrase Generation Using Deep Reinforcement Learning

Acest problemă se extinde din învățarea automată bazată pe text în cercetarea viziunii computaționale, în special în sectoarele care utilizează discriminarea semantică pentru a identifica sau descrie obiecte.

Halucinația și reinterpretarea inexactă “cosmetică” afectează cercetarea viziunii computaționale, de asemenea.

În cazul GPT-3, modelul poate deveni frustrat de întrebări repetate pe un subiect pe care l-a abordat deja cât mai bine. În cel mai bun caz, va admite înfrângerea:

Un experiment recent al meu cu motorul Davinci de bază în GPT-3. Modelul obține răspunsul corect la prima încercare, dar este vexat de a fi întrebat a doua oară. Deoarece păstrează o memorie pe termen scurt a răspunsului anterior și tratează întrebarea repetată ca o respingere a acelui răspuns, el concedes defeată. Sursă: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci și DaVinci Instruct (Beta) fac mai bine în acest sens decât alte modele GPT-3 disponibile prin API. Aici, modelul Curie dă un răspuns greșit, în timp ce modelul Babbage extinde cu încredere un răspuns la fel de greșit:

Lucruri pe care Einstein nu le-a spus

Când se solicită motorul GPT-3 DaVinci Instruct (care pare a fi cel mai capabil în prezent) pentru citatul celebru al lui Einstein “Dumnezeu nu joacă zaruri cu universul”, DaVinci Instruct nu găsește citatul și inventează un citat non-existent, mergând mai departe și halucinând alte trei citate relativ plauzibile și complet non-existente (de la Einstein sau oricine) în răspuns la întrebări similare:

GPT-3 produce patru citate plauzibile de la Einstein, niciunul dintre care nu produce niciun rezultat într-o căutare pe internet de texte complete, deși unele declanșează alte citate (reale) de la Einstein pe tema “imaginației”.

Dacă GPT-3 ar fi constant greșit în citarea, ar fi mai ușor să se descarteze aceste halucinații programatic. Cu toate acestea, cu cât un citat este mai difuz și mai celebru, cu atât este mai probabil ca GPT-3 să obțină citatul corect:

GPT-3 pare să găsească citate corecte atunci când acestea sunt bine reprezentate în datele contributive.

O a doua problemă poate apărea atunci când datele istoricului de sesiune GPT-3 se scurg într-o nouă întrebare:

Einstein ar fi probabil scandalizat să aibă această zicere atribuită lui. Citatul pare a fi o halucinație nesensibilă a unui aforism real al lui Winston Churchill. Întrebarea anterioară din sesiunea GPT-3 se referea la Churchill (nu la Einstein), iar GPT-3 pare să fi folosit greșit acest token de sesiune pentru a informa răspunsul.

Abordarea halucinației din punct de vedere economic

Halucinația este o piedică notabilă pentru adoptarea modelelor NLP sofisticate ca unelte de cercetare – cu atât mai mult cu cât ieșirile din astfel de motoare sunt foarte abstractizate de la materialul sursă care le-a format, astfel încât stabilirea veridicității citatelor și faptelor devine problematică.

Prin urmare, o provocare de cercetare generală actuală în NLP este de a stabili un mijloc de identificare a textelor halucinate fără a imagina complet noi modele NLP care să incorporeze, să definească și să autentifice fapte ca entități discrete (un obiectiv pe termen lung, separat, într-un număr de sectoare de cercetare mai largi).

Identificarea și generarea conținutului halucinat

O nouă colaborare între Universitatea Carnegie Mellon și Facebook AI Research oferă o abordare nouă a problemei halucinației, prin formularea unei metode de identificare a ieșirilor halucinate și utilizarea textelor halucinate sintetice pentru a crea un set de date care poate fi utilizat ca o linie de bază pentru filtre și mecanisme care ar putea deveni în cele din urmă o parte centrală a arhitecturilor NLP.

Sursă: https://arxiv.org/pdf/2011.02593.pdf

În imaginea de mai sus, materialul sursă a fost segmentat pe baza cuvintelor, cu eticheta “0” atribuită cuvintelor corecte și eticheta “1” atribuită cuvintelor halucinate. Mai jos, vedem un exemplu de ieșire halucinată care este legată de informațiile de intrare, dar este completată cu date neautentice.

Sistemul utilizează un autoencoder de zgomot preantrenat care poate mapa o șir halucinat înapoi la textul original din care a fost produsă versiunea coruptă (similar cu exemplele mele de mai sus, în care căutările pe internet au revelat proveniența citatelor false, dar cu o metodologie semantică programatică). În special, se utilizează modelul autoencoder BART al Facebook.

Atribuirea etichetelor.

Procesul de mapare a halucinației înapoi la sursă, care nu este posibil în modul obișnuit al modelelor NLP de nivel superior, permite o abordare algoritmică pentru identificarea conținutului halucinat.

Cercetătorii au descoperit că sistemul poate generaliza bine chiar și atunci când nu are acces la materialul de referință care a fost disponibil în timpul antrenamentului, ceea ce sugerează că modelul conceptual este solid și larg reproductibil.

Abordarea suprainfectării

Pentru a evita suprainfectarea și a ajunge la o arhitectură larg utilizabilă, cercetătorii au abandonat aleatoriu token-urile din proces și au utilizat, de asemenea, funcții de parafrazare și zgomot.

Traducerea automată (MT) face parte și din acest proces de ofuscare, deoarece traducerea textului între limbi este probabil să păstreze în mod robust sensul și să prevină și mai mult suprainfectarea. Prin urmare, halucinațiile au fost traduse și identificate pentru proiect de către vorbitori bilingvi într-un strat de anotare manuală.

Inițiativa a obținut noi rezultate record într-un număr de teste standard din sector și este prima care a obținut rezultate acceptabile utilizând date care depășesc 10 milioane de tokeni.

Codul proiectului, intitulat Detectarea conținutului halucinat în generarea secvențială neuronală condițională, a fost lansat pe GitHub, și permite utilizatorilor să genereze propriile date sintetice cu BART din orice corpus de text. Se face, de asemenea, provizie pentru generarea ulterioară a modelelor de detectare a halucinației.