Andersons vinkel

DeepMind: AI kan ärva mänskliga kognitiva begränsningar, kan dra nytta av “formell utbildning”

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterDeepMind och Stanford visar att AI speglar mänsklig trosbias i logiska…
Visa mer
  • DeepMind och Stanford visar att AI speglar mänsklig trosbias i logiska resonemangsuppgifter.
  • Språkmodeller har svårt med abstrakt logik men presterar väl på realistiska Wason-selektionsuppgifter.
  • Forskare föreslår förträning i formell utbildningsstil för att förbättra AI:s abstrakta resonemangsförmåga.

En ny samarbetsinsats från DeepMind och Stanford University tyder på att AI ofta inte är bättre på abstrakt resonemang än människor, eftersom maskinlärningsmodeller får sina resonemangsarkitekturer från verkliga, mänskliga exempel som är förankrade i praktisk kontext (som AI inte kan uppleva), men också hämmade av våra egna kognitiva brister.

Om detta bekräftas kan det utgöra ett hinder för det friare nytänkande och den intellektuella originalitet som många hoppas på från maskinlärningssystem, och illustrerar den utsträckning till vilken AI speglar mänsklig erfarenhet och är benägen att resonera inom de mänskliga gränser som har informerat den.

Forskarna föreslår att AI-modeller kan dra nytta av förträning i abstrakt resonemang, liknande en “formell utbildning”, innan de sätts att arbeta med verkliga uppgifter.

Rapporten säger:

‘Människor är ofullkomliga logiska tänkare. Vi resonerar mest effektivt om entiteter och situationer som är förenliga med vår förståelse av världen.

‘Våra experiment visar att språkmodeller speglar dessa beteendemönster. Språkmodeller presterar ofullständigt på logiska resonemangsuppgifter, men denna prestation beror på innehåll och kontext. Framför allt presterar sådana modeller ofta dåligt i situationer där människor presterar dåligt — när stimuli blir för abstrakta eller strider mot tidigare förståelse av världen.’

För att testa den utsträckning till vilken hyperskala, GPT-nivå Natural Language Processing (NLP)-modeller kan påverkas av sådana begränsningar, genomförde forskarna en serie om tre tester på en lämplig modell, och drog följande slutsats*:

‘Vi finner att de mest avancerade stora språkmodellerna (med 7 eller 70 miljarder parametrar) speglar många av de mönster som observerats hos människor över dessa uppgifter — liksom människor, modeller resonerar mer effektivt om trovärdiga situationer än overkliga eller abstrakta.’

‘Våra resultat har implikationer för att förstå både dessa kognitiva effekter och de faktorer som bidrar till språkmodellens prestation.’

Rapporten föreslår att skapandet av resonemangsförmågor i en AI utan att ge den fördelen av den verkliga, kroppsliga upplevelsen som sätter sådana färdigheter i kontext, kan begränsa potentialen för sådana system, och observerar att ‘förankrad erfarenhet… förmodligen underbygger vissa mänskliga övertygelser och resonemang’.

Författarna hävdar att AI upplever språk passivt, medan människor upplever det som en aktiv och central komponent för social kommunikation, och att denna typ av aktivt deltagande (som innefattar konventionella sociala system av bestraffning och belöning) kan vara “nyckeln” till att förstå mening på samma sätt som människor gör.

Forskarna observerar:

‘Vissa skillnader mellan språkmodeller och människor kan därmed härröra från skillnader mellan den rika, förankrade, interaktiva upplevelsen hos människor och den fattiga upplevelsen hos modellerna.’

De föreslår att en lösning kan vara en period av “förträning”, liknande den som människor upplever i skola och universitetssystem, innan utbildning på kärndata som slutligen bygger en användbar och mångsidig språkmodell.

Denna period av “formell utbildning” (som forskarna analogiserar) skulle skilja sig från konventionell maskinlärningsförträning (som är en metod för att minska utbildningstiden genom att återanvända semi-tränade modeller eller importera vikter från fullt tränade modeller, som en “booster” för att starta utbildningsprocessen).

I stället skulle det representera en period av långvarig inlärning som är utformad för att utveckla AI:s logiska resonemangsförmågor på ett rent abstrakt sätt, och för att utveckla kritiska färdigheter på samma sätt som en universitetsstudent kommer att uppmuntras att göra under sin utbildning.

‘Flera resultat’, konstaterar författarna, ‘tyder på att detta inte är så långsökt som det låter’.

Rapporten har titeln Language models show human-like content effects on reasoning och kommer från sex forskare vid DeepMind och en som är knuten till både DeepMind och Stanford University.

Tester

Människor lär sig abstrakta begrepp genom praktiska exempel, på samma sätt som “implikerad vikt” ofta hjälper språkinlärare att memorera ord och språkregler via mnemonik. Det enklaste exemplet på detta är att undervisa abstrakta principer i fysik genom att skapa “resescenarier” för tåg och bilar.

För att testa den abstrakta resonemangsförmågan hos en hyperskala språkmodell, utformade forskarna en serie om tre lingvistiska/semantiska tester som kan vara utmanande även för människor. Testerna genomfördes “zero shot” (utan några lösta exempel) och “five shot” (med fem föregående lösta exempel).

Den första uppgiften relaterar till naturlig språkinferens (NLI), där försökspersonen (en person eller, i detta fall, en språkmodell) får två meningar, en “premiss” och en “hypotes” som verkar vara deducerad från premissen. Till exempel X är mindre än Y, Hypotes: Y är större än X (implikation).

För den naturliga språkinferensuppgiften utvärderade forskarna språkmodellerna Chinchilla (en 70-miljardersparametrig modell) och 7B (en 7-miljardersversion av samma modell), och fann att för de konsekventa exemplen (dvs. de som inte var nonsens), endast den större Chinchilla-modellen uppnådde resultat som var högre än ren chans; och de noterar:

‘Detta indikerar en stark innehållsbias: modellerna föredrar att slutföra meningen på ett sätt som är förenligt med tidigare förväntningar snarare än på ett sätt som är förenligt med logikens regler’.

Chinchillas prestation med 70 miljarder parametrar i NLI-uppgiften. Både denna modell och den mindre versionen 7B visade betydande övertygelsebias enligt forskarna.

Chinchillas 70-miljardersparametrars prestation i NLI-uppgiften. Både denna modell och dess smalare version 7B visade “betydande övertygelsebias”, enligt forskarna. Källa: https://arxiv.org/pdf/2207.07051.pdf

Syllogismer

Den andra uppgiften presenterar en mer komplex utmaning, syllogismer – argument där två sanna påståenden tycks implicera ett tredje påstående (som kan vara eller inte vara en logisk slutsats som följer av de två föregående påståendena):

Från rapportens testmaterial, olika “realistiska” och paradoxala eller nonsensiska syllogismer.

Här är människor oerhört ofullkomliga, och en konstruktion som är utformad för att exemplifiera en logisk princip blir nästan omedelbart (och kanske permanent) invecklad och förvirrad av mänsklig “tro” på vad det rätta svaret bör vara.

Författarna noterar att en studie från 1983 visade att deltagare påverkades av om en syllogisms slutsats stämde överens med deras egna övertygelser, och observerar:

‘Deltagare var mycket mer benägna (90% av tiden) att felaktigt säga att en ogiltig syllogism var giltig om slutsatsen var trovärdig, och förlitade sig därför främst på tro snarare än abstrakt resonemang.’

Vid testning av Chinchilla mot en serie om diverse syllogismer, många av vilka slutade med falska implikationer, fann forskarna att ‘övertygelsebias driver nästan alla zero-shot-beslut’. Om språkmodellen finner en slutsats som är oförenlig med verkligheten, är modellen, enligt författarna, “starkt benägen” mot att förklara det slutliga argumentet som ogiltigt, även när det slutliga argumentet är en logisk implikation av de föregående påståendena.

Chinchillas resultat utan lösta exempel, efter en förklaring av grundregeln. Resultaten visar klyftan mellan datorns beräkningskapacitet och språkmodellens förmåga att hantera sådana grundläggande logikproblem.

Zero-shot-resultat för Chinchilla (zero shot är det sätt som de flesta testdeltagare skulle få dessa utmaningar, efter en förklaring av den ledande regeln), som visar den enorma klyftan mellan en dators beräkningsförmåga och en NLP-modells förmåga att navigera i denna typ av “begynnande logik”-utmaning.

Wason Selection Task

För den tredje testen reformulerades den ännu mer utmanande Wason Selection Task-logikproblemet till ett antal varierande iterationer för språkmodellen att lösa.

Wason-uppgiften, som utvecklades 1968, är tydligen mycket enkel: deltagarna visas fyra kort och får höra en godtycklig regel, till exempel “Om ett kort har en ‘D’ på ena sidan, då har det en ‘3’ på den andra sidan.” De fyra synliga kortytorna visar ‘D’, ‘F’, ‘3’ och ‘7’.

Deltagarna tillfrågas sedan om vilka kort de behöver vända för att verifiera om regeln är sann eller falsk.

Den korrekta lösningen i detta exempel är att vända på korten ‘D’ och ‘7’. I tidiga tester fann man att medan de flesta deltagare (människor) korrekt valde ‘D’, var de mer benägna att välja ‘3’ snarare än ‘7’, och förväxlade kontrapositiven av regeln (‘inte 3 implicerar inte D’) med konversen (‘3 implicerar D’, som inte är logiskt implicerat).

Författarna noterar att tidigare övertygelser kan påverka den logiska processen hos mänskliga deltagare, och noterar vidare att även akademiska matematiker och matematikstudenter i allmänhet presterade under 50% på denna uppgift.

Men när schemat för en Wason-uppgift på något sätt återspeglar mänsklig praktisk erfarenhet, ökar prestationen traditionellt.

Författarna observerar, med hänvisning till tidigare experiment:

‘[Om] korten visar åldrar och drycker, och regeln är “om de dricker alkohol, måste de vara 21 eller äldre” och visas kort med ‘öl’, ‘läsk’, ’25’, ’16’, väljer de flesta deltagare korrekt att kontrollera korten som visar ‘öl’ och ’16’.’

För att testa språkmodellens prestation på Wason-uppgifter, skapade forskarna diverse realistiska och godtyckliga regler, vissa med “nonsens”-ord, för att se om AI kunde tränga in i innehållets kontext och avgöra vilka “virtuella kort” som skulle vändas.

Några av de många Wason Selection Task-pussel som presenterades i testerna.

Några av de många Wason Selection Task-pussel som presenterades i testerna.

För Wason-testerna presterade modellen jämförbart med människor på “realistiska” (icke-nonsens) uppgifter.

Chinchillas resultat i Wasons urvalsuppgift utan lösta exempel. Modellen presterar klart bättre än slumpen åtminstone för realistiska regler.

Zero-shot Wason Selection Task-resultat för Chinchilla, med modellen som presterar betydligt bättre än chans, åtminstone för de “realistiska” reglerna.

Rapporten kommenterar:

‘Detta återspeglar resultat i den mänskliga litteraturen: människor är betydligt mer precisa när de svarar på Wason-uppgiften när den är formulerad i termer av realistiska situationer snarare än godtyckliga regler om abstrakta attribut.’

Formell utbildning

Rapportens resultat rammar in resonemangspotentialen hos hyperskala NLP-system i kontexten av våra egna begränsningar, som vi tycks förmedla till modeller via de ackumulerade verkliga datamängder som driver dem. Eftersom de flesta av oss inte är genier, är inte heller modellerna vars parametrar informeras av våra egna.

Dessutom drar det nya arbetet slutsatsen att vi åtminstone har fördelen av en långvarig period av formativ utbildning, och de ytterligare sociala, ekonomiska och till och med sexuella motivationer som utgör de mänskliga drivkrafterna. Allt som NLP-modeller kan erhålla är de resulterande handlingarna av dessa miljöfaktorer, och de verkar följa den vanliga snarare än den exceptionella människan.

Författarna konstaterar:

‘Våra resultat visar att innehållseffekter kan uppstå från att enbart träna en stor transformer för att imitera språk producerat av mänsklig kultur, utan att inkorporera dessa mänskliga specifika interna mekanismer.

‘Med andra ord, språkmodeller och människor båda når dessa innehållsbiaser – men från tydligen mycket olika arkitekturer, upplevelser och träningsmål.’

Således föreslår de en form av introduktionsträning i rent resonemang, som har visats förbättra modellprestation för matematik och allmänt resonemang. De noterar vidare att språkmodeller också har tränats eller justerats för att följa instruktioner bättre på ett abstrakt eller generaliserat sätt, och för att verifiera, korrigera eller minska bias i sin egen utdata.

 

* Min omvandling av inline-citat till hyperlänkar.

Publicerad första gången den 15 juli 2022.

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai