DeepMind: AI kan ärva mänskliga kognitiva begränsningar, kan dra nytta av “formell utbildning”

En ny samarbetsinsats från DeepMind och Stanford University tyder på att AI ofta inte är bättre på abstrakt resonemang än människor, eftersom maskinlärningsmodeller får sina resonemangsarkitekturer från verkliga, mänskliga exempel som är förankrade i praktisk kontext (som AI inte kan uppleva), men också hämmade av våra egna kognitiva brister.

Denna bevisning kan representera en barriär för det överlägsna “blå himmel”-tänkandet och kvaliteten på intellektuell ursprung som många hoppas på från maskinlärningssystem, och illustrerar den utsträckning till vilken AI speglar mänsklig erfarenhet och är benägen att resonera inom de mänskliga gränser som har informerat den.

Forskarna föreslår att AI-modeller kan dra nytta av förträning i abstrakt resonemang, liknande en “formell utbildning”, innan de sätts att arbeta med verkliga uppgifter.

Rapporten säger:

‘Människor är ofullkomliga resonatörer. Vi resonrar mest effektivt om entiteter och situationer som är förenliga med vår förståelse av världen.

‘Våra experiment visar att språkmodeller speglar dessa beteendemönster. Språkmodeller presterar ofullständigt på logiska resonemangsuppgifter, men denna prestation beror på innehåll och kontext. Framför allt presterar sådana modeller ofta dåligt i situationer där människor presterar dåligt — när stimuli blir för abstrakta eller strider mot tidigare förståelse av världen.’

För att testa den utsträckning till vilken hyperskala, GPT-nivå Natural Language Processing (NLP)-modeller kan påverkas av sådana begränsningar, genomförde forskarna en serie om tre tester på en lämplig modell, och drog följande slutsats*:

‘Vi finner att de mest avancerade stora språkmodellerna (med 7 eller 70 miljarder parametrar) speglar många av de mönster som observerats hos människor över dessa uppgifter — liksom människor, modeller resonrar mer effektivt om trovärdiga situationer än overkliga eller abstrakta.’

‘Våra resultat har implikationer för att förstå både dessa kognitiva effekter och de faktorer som bidrar till språkmodellens prestation.’

Rapporten föreslår att skapandet av resonemangs förmågor i en AI utan att ge den fördelen av den verkliga, kroppsliga upplevelsen som sätter sådana färdigheter i kontext, kan begränsa potentialen för sådana system, och observerar att ‘förankrad erfarenhet… förmodligen underbygger vissa mänskliga övertygelser och resonemang’.

Författarna hävdar att AI upplever språk passivt, medan människor upplever det som en aktiv och central komponent för social kommunikation, och att denna typ av aktivt deltagande (som innefattar konventionella sociala system av bestraffning och belöning) kan vara “nyckeln” till att förstå mening på samma sätt som människor gör.

Forskarna observerar:

‘Vissa skillnader mellan språkmodeller och människor kan därmed härröra från skillnader mellan den rika, förankrade, interaktiva upplevelsen hos människor och den fattiga upplevelsen hos modellerna.’

De föreslår att en lösning kan vara en period av “förträning”, liknande den som människor upplever i skola och universitetssystem, innan utbildning på kärndata som slutligen bygger en användbar och mångsidig språkmodell.

Denna period av “formell utbildning” (som forskarna analogiserar) skulle skilja sig från konventionell maskinlärningsförträning (som är en metod för att minska utbildningstiden genom att återanvända semi-tränade modeller eller importera vikter från fullt tränade modeller, som en “booster” för att starta utbildningsprocessen).

I stället skulle det representera en period av långvarig inlärning som är utformad för att utveckla AI:s logiska resonemangs förmågor på ett rent abstrakt sätt, och för att utveckla kritiska färdigheter på samma sätt som en universitetsstudent kommer att uppmuntras att göra under sin utbildning.

‘Flera resultat’, konstaterar författarna, ‘tyder på att detta inte är så långsökt som det låter’.

Rapporten är titlad Language models show human-like content effects on reasoning och kommer från sex forskare vid DeepMind och en som är knuten till både DeepMind och Stanford University.

Tester

Människor lär sig abstrakta begrepp genom praktiska exempel, på samma sätt som “implikerad vikt” ofta hjälper språkinlärare att memorera ord och språkregler via mnemonik. Det enklaste exemplet på detta är att undervisa abstrakta principer i fysik genom att skapa “rese scenarier” för tåg och bilar.

För att testa den abstrakta resonemangs förmågan hos en hyperskala språkmodell, utformade forskarna en serie om tre lingvistiska/semantiska tester som kan vara utmanande även för människor. Testerna genomfördes “zero shot” (utan några lösta exempel) och “five shot” (med fem föregående lösta exempel).

Den första uppgiften relaterar till naturlig språkinferens (NLI), där ämnet (en person eller, i detta fall, en språkmodell) får två meningar, en “premiss” och en “hypotes” som verkar vara deducerad från premissen. Till exempel X är mindre än Y, Hypotes: Y är större än X (implikation).

För den naturliga språkinferensuppgiften utvärderade forskarna språkmodellerna Chinchilla (en 70-miljardersparametrig modell) och 7B (en 7-miljardersversion av samma modell), och fann att för de konsekventa exemplen (dvs. de som inte var nonsens), endast den större Chinchilla-modellen uppnådde resultat som var högre än ren chans; och de noterar:

‘Detta indikerar en stark innehålls bias: modellerna föredrar att slutföra meningen på ett sätt som är förenligt med tidigare förväntningar snarare än på ett sätt som är förenligt med logikens regler’.

Chinchillas 70-miljardersparametrars prestation i NLI-uppgiften. Både denna modell och dess smalare version 7B visade “substantial belief bias”, enligt forskarna. Källa: https://arxiv.org/pdf/2207.07051.pdf

Syllogismer

Den andra uppgiften presenterar en mer komplex utmaning, syllogismer – argument där två sanna påståenden tycks implicera ett tredje påstående (som kan vara eller inte vara en logisk slutsats som följer av de två föregående påståendena):

Från rapportens testmaterial, olika “realistiska” och paradoxala eller nonsensiska syllogismer.

Här är människor oerhört ofullkomliga, och en konstruktion som är utformad för att exemplifiera en logisk princip blir nästan omedelbart (och kanske permanent) invecklad och förvirrad av mänsklig “tro” på vad rätt svaret bör vara.

Författarna noterar att en studie från 1983 visade att deltagare var fördomade av om en syllogisms slutsats stämde överens med deras egna övertygelser, och observerar:

‘Deltagare var mycket mer benägna (90% av tiden) att felaktigt säga att en ogiltig syllogism var giltig om slutsatsen var trovärdig, och förlitade sig därför främst på tro snarare än abstrakt resonemang.’

Vid testning av Chinchilla mot en serie om diverse syllogismer, många av vilka slutade med falska implikationer, fann forskarna att ‘tro bias driver nästan alla zero-shot-beslut’. Om språkmodellen finner en slutsats som är oförenlig med verkligheten, är modellen, enligt författarna, “starkt fördomad” mot att förklara det slutliga argumentet som ogiltigt, även när det slutliga argumentet är en logisk implikation av de föregående påståendena.

Zero-shot-resultat för Chinchilla (zero shot är det sätt som de flesta testdeltagare skulle få dessa utmaningar, efter en förklaring av den ledande regeln), som visar den enorma klyftan mellan en dators beräkningsförmåga och en NLP-modells förmåga att navigera i denna typ av “nascent logik”-utmaning.

Wason Selection Task

För den tredje testen reformulerades den ännu mer utmanande Wason Selection Task-logikproblemet till ett antal varierande iterationer för språkmodellen att lösa.

Wason-uppgiften, som utvecklades 1968, är tydligen mycket enkel: deltagare visas fyra kort och berättas en godtycklig regel, till exempel “Om ett kort har en ‘D’ på ena sidan, då har det en ‘3’ på den andra sidan.” De fyra synliga kortytorna visar ‘D’, ‘F’, ‘3’ och ‘7’.

Deltagarna ombeds sedan vilka kort de behöver vända för att verifiera om regeln är sann eller falsk.

Den korrekta lösningen i detta exempel är att vända på korten ‘D’ och ‘7’. I tidiga tester fann man att medan de flesta deltagare (människor) korrekt valde ‘D’, var de mer benägna att välja ‘3’ snarare än ‘7’, och förväxlade kontrapositiven av regeln (‘inte 3 implicerar inte D’) med konversen (‘3 implicerar D’, som inte är logiskt implicerat).

Författarna noterar att potentialen för tidigare tro att ingripa i den logiska processen hos mänskliga deltagare, och noterar vidare att även akademiska matematiker och matematikstudenter i allmänhet presterade under 50% på denna uppgift.

Men när schemat för en Wason-uppgift på något sätt återspeglar mänsklig praktisk erfarenhet, ökar prestationen traditionellt.

Författarna observerar, med hänvisning till tidigare experiment:

‘[Om] korten visar åldrar och drycker, och regeln är “om de dricker alkohol, måste de vara 21 eller äldre” och visas kort med ‘öl’, ‘läsk’, ’25’, ’16’, väljer de flesta deltagare korrekt att kontrollera korten som visar ‘öl’ och ’16’.’

För att testa språkmodellens prestation på Wason-uppgifter, skapade forskarna diverse realistiska och godtyckliga regler, vissa med “nonsens”-ord, för att se om AI kunde tränga in i innehållets kontext och avgöra vilka “virtuella kort” som skulle vändas.

Några av de många Wason Selection Task-pussel som presenterades i testerna.

För Wason-testerna presterade modellen jämförbart med människor på “realistiska” (icke-nonsens) uppgifter.

Zero-shot Wason Selection Task-resultat för Chinchilla, med modellen som presterar betydligt bättre än chans, åtminstone för de “realistiska” reglerna.

Rapporten kommenterar:

‘Detta återspeglar resultat i den mänskliga litteraturen: människor är betydligt mer precisa när de svarar på Wason-uppgiften när den är formulerad i termer av realistiska situationer snarare än godtyckliga regler om abstrakta attribut.’

Formell utbildning

Rapportens resultat rammar in resonemangs potentialen hos hyperskala NLP-system i kontexten av våra egna begränsningar, som vi tycks förmedla till modeller via de ackumulerade verkliga datamängder som driver dem. Eftersom de flesta av oss inte är genier, är inte heller modellerna vars parametrar informeras av våra egna.

Dessutom slutsatsar det nya arbetet att vi åtminstone har fördelen av en långvarig period av formativ utbildning, och de ytterligare sociala, ekonomiska och till och med sexuella motivationer som utgör den mänskliga imperativet. Allt som NLP-modeller kan erhålla är de resulterande handlingarna av dessa miljöfaktorer, och de verkar följa det allmänna snarare än det exceptionella människan.

Författarna konstaterar:

‘Våra resultat visar att innehållseffekter kan uppstå från att enbart träna en stor transformer för att imitera språk producerat av mänsklig kultur, utan att inkorporera dessa mänskliga specifika interna mekanismer.

‘Med andra ord, språkmodeller och människor båda når dessa innehålls biaser – men från tydligen mycket olika arkitekturer, upplevelser och träningsmål.’

Således föreslår de en typ av “induktiv tränings”-träning i ren resonemang, som har visats förbättra modellprestation för matematik och allmän resonemang. De noterar vidare att språkmodeller också har tränats eller justerats för att följa instruktioner bättre på ett abstrakt eller generaliserat sätt, och för att verifiera, korrigera eller avbiasa sin egen utdata.

* Min omvandling av inline-citat till hyperlänkar.

Publicerad första gången den 15 juli 2022.