Lupta pentru a preveni ca inteligența artificială să înșele la teste

Noi descoperiri științifice de la o universitate chineză oferă o perspectivă asupra motivului pentru care modelele de procesare naturală a limbajului generative, cum ar fi GPT-3, tind să “înșele” atunci când li se pune o întrebare dificilă, producând răspunsuri care pot fi corecte din punct de vedere tehnic, dar fără a avea o înțelegere reală a de ce răspunsul este corect; și de ce demonstrează o capacitate redusă sau inexistentă de a explica logica din spatele răspunsurilor lor “ușoare”. Cercetătorii propun, de asemenea, noi metode pentru a face sistemele “să studieze mai mult” în timpul fazei de antrenare.

Problema este dublă: în primul rând, proiectăm sisteme care încearcă să obțină rezultate rapide și cu o utilizare optimă a resurselor. Chiar și atunci când, ca în cazul GPT-3, resursele pot fi considerabil mai mari decât cele pe care un proiect de cercetare obișnuit în domeniul NLP le-ar putea pune la dispoziție, această cultură a optimizării rezultatelor domină încă metodologia, deoarece a devenit o convenție academică.

În consecință, arhitecturile noastre de antrenare recompensează modelele care converg rapid și produc răspunsuri aparent potrivite la întrebări, chiar dacă modelul NLP nu este ulterior capabil să justifice răspunsul său sau să demonstreze cum a ajuns la concluziile sale.

O predispoziție timpurie de a înșela

Acest lucru se întâmplă pentru că modelul învață “răspunsuri scurte” mult mai devreme în timpul antrenării decât învață tipuri mai complicate de achiziție a cunoștințelor. Deoarece o precizie crescută este adesea răsplătită în mod nediscriminatoriu pe tot parcursul antrenării, modelul prioritizează orice abordare care îi va permite să răspundă la o întrebare “cu ușurință” și fără o perspectivă reală.

Deoarece învățarea scurtăturilor va reprezenta inevitabil primele succese în timpul antrenării, sesiunea se va îndepărta în mod natural de la sarcina mai dificilă de a obține o perspectivă utilă și mai completă epistemologică, care ar putea conține straturi mai profunde și mai intuitive de atribuire și logică.

Alimentarea inteligenței artificiale cu “răspunsuri ușoare”

A doua problemă este că, deși inițiativele de cercetare recente au studiat tendința inteligenței artificiale de a “înșela” în acest fel și au identificat fenomenul “scurtăturilor”, nu a existat până acum niciun efort de a clasifica materialul care permite “scurtături” într-un set de date contributive, care ar fi pasul logic pentru abordarea ceea ce poate dovedi a fi o eroare arhitecturală fundamentală în sistemele de înțelegere a limbajului natural (MRC).

Noul articol, o colaborare între Institutul de Tehnologie Informatică Wangxuan și Laboratorul Cheie MOE de Lingvistică Computațională de la Universitatea Peking, testează diverse modele de limbaj împotriva unui set de date nou annotat care include clasificări pentru “soluții ușoare” și “soluții grele” pentru o întrebare posibilă.

Sursă: https://arxiv.org/pdf/2106.01024.pdf

Setul de date utilizează parafrazarea ca criteriu pentru răspunsurile mai complicate și mai profunde, deoarece o înțelegere semantică este necesară pentru a reformula cunoștințele obținute. În contrast, “răspunsurile scurte” pot utiliza tokeni precum date și alte cuvinte cheie încapsulate pentru a produce un răspuns care este factual corect, dar fără context sau raționament.

Componenta de scurtătură a annotărilor prezintă potrivirea cuvântului întrebării (QWM) și potrivirea simplă (SpM). Pentru QWM, modelul utilizează entități extrase din textul furnizat și elimină contextul; pentru SpM, modelul identifică suprapunerea dintre propozițiile răspunsului și întrebări, ambele fiind furnizate în datele de antrenare.

Datele scurte sunt aproape “virale” în influență într-un set de date

Cercetătorii susțin că seturile de date tind să conțină o proporție ridicată de întrebări cu scurtături, care fac ca modelele antrenate să se bazeze pe trucuri cu scurtături.

Cele două modele utilizate în experimente au fost BiDAF și BERT-base. Cercetătorii observă că, chiar și atunci când sunt antrenate pe variații ale setului de date cu o proporție mai mare de “întrebări grele”, ambele modele încă performează mai bine la întrebări cu scurtături decât la întrebări parafrazate mai grele, în ciuda numărului mic de exemple din seturile de date.

Acest lucru prezintă “datele scurte” aproape în contextul unui virus – că trebuie să existe foarte puțin din ele într-un set de date pentru ca ele să fie adoptate și prioritate în antrenare, sub standarde și practici convenționale în NLP.

Dovada înșelăciunii

O metodă pe care o utilizează cercetarea pentru a demonstra fragilitatea unui răspuns cu scurtătură este de a înlocui un cuvânt “ușor” cu un cuvânt anormal. Atunci când o metodă cu scurtătură a fost utilizată, logica răspunsului “înșelat” nu poate fi furnizată; dar atunci când răspunsul a fost furnizat dintr-un context mai profund și o evaluare semantică a unui spectru mai larg de text contributiv, este posibil pentru sistem să deconstruiască eroarea și să reconstruiască un răspuns corect.

Înlocuirea ‘Beyoncé’ (o persoană) cu ‘America’ (o locație) arată dacă modelul are o logică de fundal pentru răspunsul său.

Scurtăturile datorate unui imperativ economic

Referitor la unele dintre motivele arhitecturale pentru care scurtăturile sunt atât de prioritizate în fluxurile de lucru de antrenare NLP, autorii comentă ‘Modelele MRC pot învăța trucurile scurte, cum ar fi QWM, cu mai puține resurse computaționale decât provocările de înțelegere, cum ar fi identificarea parafrazelor’.

Acesta ar putea fi un rezultat neintenționat al filosofiilor standard de optimizare și de conservare a resurselor în abordările de înțelegere a citirii mașinilor, și presiunea de a obține rezultate cu resurse limitate în termene strânse.

Cercetătorii notează, de asemenea:

‘[Deoarece] trucul scurtei poate fi utilizat pentru a răspunde corect la majoritatea întrebărilor de antrenare, întrebările nerăspuns rămase nu pot motiva modelele să exploreze soluții sofisticate care necesită abilități provocatoare.’

Dacă rezultatele cercetării sunt ulterior confirmate, pare că vastul și mereu crescând domeniu al prelucrării datelor ar trebui să ia în considerare “criblele ascunse” în date ca o problemă de abordat pe termen lung, sau să revizuiască arhitecturile NLP pentru a prioriza rutine mai provocatoare pentru ingestia de date.