DeepMind: IA poate moșteni limitările cognitive umane, dar ar putea beneficia de “educație formală”

O nouă colaborare între DeepMind și Universitatea Stanford sugerează că IA poate fi la fel de bună la raționamentul abstract ca și oamenii, deoarece modelele de învățare automată obțin arhitecturile de raționament din exemple din lumea reală, care sunt ancorate în context practic (pe care IA nu îl poate experimenta), dar sunt și împiedicate de propriile noastre limitări cognitive.

Dacă se dovedește a fi adevărat, acest lucru ar putea reprezenta o barieră pentru gândirea “albastră” superioară și calitatea originării intelectuale pe care mulți o așteaptă de la sistemele de învățare automată, și ilustrează măsura în care IA reflectă experiența umană și este predispusă să gândească (și să raționeze) în limitele umane care au informat-o.

Cercetătorii sugerează că modelele de IA ar putea beneficia de pregătire prealabilă în raționament abstract, asemănător cu o “educație formală”, înainte de a fi puse să lucreze la sarcini din lumea reală.

Articolul afirmă:

Oamenii sunt raționatori imperfecti. Noi raționăm cel mai eficient despre entități și situații care sunt consistente cu înțelegerea noastră asupra lumii.

Experimentele noastre arată că modelele de limbaj reflectă aceste modele de comportament. Modelele de limbaj funcționează imperfect pe sarcinile de raționament logic, dar această funcționare depinde de conținut și context. Cel mai remarcabil, astfel de modele adesea eşuează în situații în care oamenii eşuează — atunci când stimuli devin prea abstracte sau conflictează cu înțelegerea noastră anterioară a lumii.

Pentru a testa măsura în care modelele de NLP de scară largă pot fi afectate de astfel de limitări, cercetătorii au efectuat o serie de trei teste pe un model adecvat, concluzionând*:

Am constatat că modelele de limbaj de ultimă generație (cu 7 sau 70 de miliarde de parametri) reflectă multe dintre aceleași modele observate la oameni în aceste sarcini — la fel ca oamenii, modelele raționează mai eficient despre situații credibile decât despre cele nerealiste sau abstracte.

Rezultatele noastre au implicații pentru înțelegerea atât a acestor efecte cognitive, cât și a factorilor care contribuie la performanța modelului de limbaj.

Articolul sugerează că crearea de abilități de raționament într-o IA fără a-i oferi beneficiul experienței din lumea reală, care pune astfel de abilități în context, ar putea limita potențialul unor astfel de sisteme, observând că experiența “înrădăcinată”… presupune că unele credințe și raționamente umane.

Autorii susțin că IA experimentează limba în mod pasiv, în timp ce oamenii o experimentează ca o componentă activă și centrală pentru comunicarea socială, și că acest tip de participare activă (care implică sisteme convenționale de pedeapsă și recompensă) ar putea fi “cheia” pentru înțelegerea înțelesului în același mod în care oamenii o fac.

Cercetătorii observă:

Unele diferențe dintre modelele de limbaj și oameni pot decurge, prin urmare, din diferențele dintre experiența bogată, interactivă și “înrădăcinată” a oamenilor și experiența săracă a modelelor.

Ei sugerează că o soluție ar putea fi o perioadă de “pregătire prealabilă”, asemănătoare cu sistemul școlar și universitar, înainte de a fi instruiți pe datele care vor construi în cele din urmă un model de limbaj util și versatil.

Această perioadă de “educație formală” (așa cum o analogizează cercetătorii) ar diferi de pregătirea prealabilă convențională a învățării automate (care este o metodă de reducere a timpului de instruire prin reutilizarea modelelor semi-instruite sau importarea greutăților din modelele complet instruite, ca un “împingător” pentru a începe procesul de instruire).

În schimb, ar reprezenta o perioadă de învățare susținută, destinată să dezvolte abilitățile de raționament logic ale IA într-un mod pur abstract și să dezvolte facultăți critice în același mod în care un student universitar va fi încurajat să o facă pe parcursul educației sale.

‘Mai multe rezultate’, afirmă autorii, ‘indică faptul că acest lucru nu este atât de îndepărtat pe cât pare’.

Articolul, intitulat Modelele de limbaj prezintă efecte de conținut umanoid asupra raționamentului, provine de la șase cercetători de la DeepMind și unul afiliat atât la DeepMind, cât și la Universitatea Stanford.

Teste

Oamenii învață concepte abstracte prin exemple practice, prin același metodă de “importanță implicată” care ajută adesea învățătorii de limbă să memoreze vocabular și reguli lingvistice, prin mnemotehnică. Cel mai simplu exemplu al acestui lucru este predarea principiilor abstracte din fizică prin evocarea “scenariilor de călătorie” pentru trenuri și mașini.

Pentru a testa capacitățile de raționament abstract ale unui model de limbaj de scară largă, cercetătorii au conceput o serie de trei teste lingvistice și semantice care pot fi provocatoare și pentru oameni. Testele au fost aplicate “fără exemple” (fără exemple rezolvate) și “cinci exemple” (cu cinci exemple precedente rezolvate).

Prima sarcină se referă la inferența lingvistică naturală (NLI), în care subiectul (o persoană sau, în acest caz, un model de limbaj) primește două propoziții, o “premisă” și o “ipoteză” care pare a fi dedusă din premisă. De exemplu X este mai mic decât Y, Ipoteză: Y este mai mare decât X (înțeleasă).

Pentru sarcina de inferență lingvistică naturală, cercetătorii au evaluat modelele de limbaj Chinchilla (un model cu 70 de miliarde de parametri) și 7B (o versiune de 7 miliarde de parametri a aceluiași model), constatând că, pentru exemplele consistente (adică cele care nu erau nonsens), doar modelul Chinchilla mai mare a obținut rezultate mai mari decât șansa pură; și ei notează:

Acest lucru indică o puternică părtinire a conținutului: modelele preferă să completeze propoziția într-un mod consistent cu așteptările anterioare, mai degrabă decât într-un mod consistent cu regulile logicii.

Performanța modelului Chinchilla cu 70 de miliarde de parametri în sarcina NLI. Atât acest model, cât și versiunea sa mai slabă 7B au prezentat o “substanțială părtinire a credinței”, conform cercetătorilor. Sursă: https://arxiv.org/pdf/2207.07051.pdf

Silogisme

A doua sarcină prezintă o provocare și mai complexă, silogismele – argumente în care două afirmații adevărate par să implice o a treia afirmație (care poate sau nu să fie o concluzie logică dedusă din primele două afirmații):

Din materialul de test al articolului, diverse silogisme “realiste” și paradoxale sau nonsens.

Aici, oamenii sunt imens de imperfectibili, și o construcție destinată să exemplifice un principiu logic devine aproape imediat (și poate permanent) încurcată și învinsă de “credința” umană cu privire la ce ar trebui să fie răspunsul corect.

Autorii notează că un studiu din 1983 a demonstrat că participanții erau influențați de credințele lor cu privire la concluzia unui silogism, observând:

Participanții erau mult mai predispuși (90% din timp) să considere un silogism invalid ca fiind valid, dacă concluzia era credibilă, și astfel s-au bazat în mare măsură pe credință, mai degrabă decât pe raționament abstract.

La testarea modelului Chinchilla împotriva unei serii de silogisme diverse, multe dintre care au concluzii cu consecințe false, cercetătorii au constatat că părtinirea credinței conduce aproape toate deciziile “fără exemple”. Dacă modelul de limbaj găsește o concluzie incompatibilă cu realitatea, modelul, afirmă autorii, este “puternic influențat” să declare argumentul final ca fiind invalid, chiar și atunci când argumentul final este o consecință logică a afirmațiilor precedente.

<img class="wp-image-182565 size-full" src="https://www.unite.ai/wp-content/uploads/2022/07/chinchilla-syllogisms.jpg" alt="Rezultatele "fără exemple" pentru Chinchilla (modul în care majoritatea subiecților primesc aceste provocări, după o explicație a regulii de ghidare), ilustrând prăpastia uriașă dintre capacitatea computațională a unui computer și capacitatea modelului de limbaj de a naviga acest tip de provocare logică "în curs de dezvoltare"."

Sarcina de selecție a lui Wason

Pentru a treia sarcină, s-a reformulat problema logică de selecție a lui Wason într-un număr de variante diferite pentru modelul de limbaj să le rezolve.

Sarcina lui Wason, concepută în 1968, este aparent foarte simplă: subiecților li se arată patru cărți și li se spune o regulă arbitrară, cum ar fi “Dacă o carte are un ‘D’ pe o parte, atunci are un ‘3’ pe cealaltă parte.” Fețele cărților vizibile arată ‘D’, ‘F’, ‘3’ și ‘7’.

Subiecților li se cere apoi să spună care cărți trebuie să le întoarcă pentru a verifica dacă regula este adevărată sau falsă.

Soluția corectă în acest exemplu este să întoarcă cărțile ‘D’ și ‘7’. În testele inițiale, s-a constatat că, deși majoritatea subiecților (oameni) alegeau corect ‘D’, erau mai predispuși să aleagă ‘3’ în loc de ‘7’, confundând contrapozitivul regulii (‘nu 3 implică nu D’) cu conversa (‘3’ implică ‘D’, care nu este implicată logic).

Autorii notează că potențialul ca credințele anterioare să intervină în procesul logic la subiecții umani și notează, în plus, că chiar și matematicienii și studenții universitari la matematică au obținut în general sub 50% la această sarcină.

Cu toate acestea, atunci când schema unei sarcini a lui Wason reflectă într-o oarecare măsură experiența practică umană, performanța obișnuit crește în consecință.

Autorii observă, referindu-se la experimente anterioare:

Dacă cărțile arată vârste și băuturi, și regula este “Dacă beau alcool, atunci trebuie să aibă 21 de ani sau mai mult” și li se arată cărți cu “bere”, “sifon”, “25” și “16”, majoritatea subiecților aleg corect să verifice cărțile care arată “bere” și “16”.’

Pentru a testa performanța modelului de limbaj la sarcinile lui Wason, cercetătorii au creat reguli diverse, realiste și arbitrare, unele cu cuvinte “fără sens”, pentru a vedea dacă IA poate pătrunde în contextul conținutului și poate determina care “cărți virtuale” să le întoarcă.

Unele dintre multele puzzle-uri ale sarcinii de selecție a lui Wason prezentate în testele efectuate.

Pentru testele lui Wason, modelul a obținut rezultate comparabile cu cele ale oamenilor la sarcinile “realiste” (nu “fără sens”).

<img class="wp-image-182567 size-full" src="https://www.unite.ai/wp-content/uploads/2022/07/wason-tasks.jpg" alt="Rezultatele "fără exemple" ale sarcinii de selecție a lui Wason pentru Chinchilla, cu modelul care funcționează mult mai bine decât șansa, cel puțin pentru regulile "realiste"."

Articolul comentează:

Acest lucru reflectă constatările din literatura umană: oamenii sunt mult mai preciși la răspunsurile la sarcina lui Wason atunci când este prezentată în termeni de situații realiste, mai degrabă decât reguli arbitrare despre atribute abstracte.’

Educație formală

Constatările articolului plasează potențialul de raționament al sistemelor de NLP de scară largă în contextul limitărilor noastre, pe care pare că le transmitem modelelor prin seturile de date din lumea reală care le alimentează. Deoarece majoritatea dintre noi nu suntem genii, nici modelele ale căror parametri sunt informați de limitările noastre nu sunt.

În plus, noua lucrare concluzionează că noi, cel puțin, avem avantajul unei perioade susținute de educație formativă și motivațiilor suplimentare sociale, financiare și chiar sexuale care formează imperativul uman. Tot ceea ce modelele de NLP pot obține sunt acțiunile rezultate ale acestor factori de mediu, și ele par să se conformeze generalului, mai degrabă decât excepției umane.

Autorii afirmă:

Rezultatele noastre arată că efectele conținutului pot apărea pur și simplu prin antrenarea unui transformator mare pentru a imita limba produsă de cultura umană, fără a incorpora mecanismele interne umane specifice.

În alte cuvinte, atât modelele de limbaj, cât și oamenii ajung la aceste părtiniri ale conținutului – dar din arhitecturi, experiențe și obiective de antrenare aparent foarte diferite.’

Astfel, ei sugerează un fel de “antrenament inductiv” în raționament pur, care a fost demonstrat a îmbunătăți performanța modelului pentru matematică și raționament general. Ei notează, în plus, că modelele de limbaj au fost, de asemenea, antrenate sau ajustate pentru a urma instrucțiuni mai bine la un nivel abstract sau generalizat, și pentru a a-și verifica, corecta sau debiasa propriul output.

* Conversia mea a citatelor inline în legături.

Publicat pentru prima dată pe 15 iulie 2022.