DeepMind: AI kan arve menneskelige kognitive begrensninger, og kan bli bedre av “formell utdanning”

En ny samarbeidsprosjekt fra DeepMind og Stanford University antyder at AI ofte ikke er bedre på abstrakt resonnering enn mennesker, fordi maskinlæringsmodellene får sine resonneringsarkitekturer fra eksempler fra den virkelige verden som er grundet i praktisk kontekst (som AI-en ikke kan oppleve), men også hindres av våre egne kognitive svakheter.

Dette kan representere en barriere for det overlegne “blå himmel”-tenkning og kvaliteten på intellektuell opprinnelse som mange håper på fra maskinlæringsystemer, og illustrerer omfanget av hvordan AI reflekterer menneskelig erfaring og er utsatt for å tenke (og resonere) innenfor de menneskelige grensene som har informert det.

Forskerne foreslår at AI-modellene kunne bli bedre av en periode med “formell utdanning” før de settes i gang med virkelige oppgaver.

Papiret sier:

‘Mennesker er imperfekte resonnerere. Vi resonnerer mest effektivt om enheter og situasjoner som er konsistente med vår forståelse av verden.

‘Våre eksperimenter viser at språkmodeller speiler disse mønsterne av atferd. Språkmodeller utfører imperfekt på logisk resonnering, men denne ytelsen avhenger av innhold og kontekst. Mest merkbart, slike modeller ofte feiler i situasjoner hvor mennesker feiler — når stimuli blir for abstrakte eller motsier vår forståelse av verden.’

For å teste omfanget av hvordan hyperskala, GPT-nivå Natural Language Processing (NLP)-modeller kan være påvirket av slike begrensninger, kjørte forskerne en rekke på tre tester på en passende modell, og konkluderte*:

‘Vi finner at state of the art store språkmodeller (med 7 eller 70 milliarder parametere) reflekterer mange av de samme mønsterene som observeres hos mennesker over disse oppgavene — som mennesker, modeller resonnerer mer effektivt om troverdige situasjoner enn urealistiske eller abstrakte.’

‘Våre funn har implikasjoner for å forstå både disse kognitive effektene og faktorene som bidrar til språkmodellens ytelse.’

Papiret foreslår at å skape resonneringsferdigheter i en AI uten å gi den fordelen av den virkelige, fysiske erfaringen som setter slike ferdigheter i kontekst, kunne begrense potensialet for slike systemer, og observerer at ‘grunnlagt erfaring… antageligvis understøtter noen menneskelige overbevisninger og resonnering’.

Forskerne foreslår at AI-opplevelsen av språk er passiv, mens mennesker opplever det som en aktiv og sentral komponent for sosial kommunikasjon, og at denne type aktive deltakelse (som innebærer konvensjonelle sosiale systemer for straff og belønning) kunne være ‘nøkkel’ til å forstå mening på samme måte som mennesker gjør.

Forskerne observerer:

‘Noen forskjeller mellom språkmodeller og mennesker kan derfor stamme fra forskjeller mellom den rike, grunnlagte, interaktive erfaringen til mennesker og den fattige erfaringen til modellene.’

De foreslår at en løsning kunne være en periode med ‘forutdanning’, lik menneskers erfaring i skole- og universitetssystemet, før trening på kjernedata som til slutt vil bygge en nyttig og fleksibel språkmodell.

Dette med ‘formell utdanning’ (som forskerne analogiserer) ville være forskjellig fra konvensjonell maskinlæringsforutdanning (som er en metode for å kutte ned på treningstiden ved å gjenbruke semi-trente modeller eller importere vekter fra fullt trenede modeller, som en ‘booster’ for å starte treningprosessen).

I stedet ville det representere en periode med bærekraftig læring designet for å utvikle AI-ens logiske resonneringsferdigheter på en ren abstrakt måte, og for å utvikle kritiske ferdigheter på samme måte som en universitetsstudent vil bli oppmuntret til å gjøre over hele sin utdannelse.

‘Flere resultater,’ sier forfatterne, ‘indikerer at dette ikke er så langt fra å være realistisk som det høres ut.’

Papiret hefter tittelen Språkmodeller viser menneskelige lignende innholdseffekter på resonnering, og kommer fra seks forskere ved DeepMind og en tilknyttet både DeepMind og Stanford University.

Tester

Mennesker lærer abstrakte konsepter gjennom praktiske eksempler, på samme måte som “implisert viktighet” ofte hjelper språklærere til å memorere ord og lingvistiske regler, via mnemoniske hjelpemidler. Det enkleste eksemplet på dette er å undervise abstruse prinsipper i fysikk ved å konstruere “reisesituasjoner” for tog og biler.

For å teste de abstrakte resonneringsferdighetene til en hyperskala språkmodell, konstruerte forskerne en rekke på tre lingvistiske/semantiske tester som kan være utfordrende også for mennesker. Testene ble gjennomført ‘zero shot’ (uten løste eksempler) og ‘five shot’ (med fem forhånds løste eksempler).

Den første oppgaven handler om naturlig språkinferens (NLI), der subjektet (en person eller, i dette tilfelle, en språkmodell) mottar to setninger, en ‘premis’ og en ‘hypotese’ som synes å være dedusert fra premisen. For eksempel X er mindre enn Y, Hypotese: Y er større enn X (implisert).

For den naturlige språkinferensoppgaven evaluerte forskerne språkmodellene Chinchilla (en 70 milliards parameters modell) og 7B (en 7 milliards parameters versjon av samme modell), og fant at for de konsistente eksemplene (dvs. de som ikke var nonsens), bare den større Chinchilla-modellen oppnådde resultater høyere enn ren tilfeldighet; og de observerer:

‘Dette indikerer en sterk innholdsbias: modellene foretrekker å fullføre setningen på en måte som er konsistent med forhåndsforventninger rather enn på en måte som er konsistent med logikkens regler’.

Chinchilla’s 70-milliards parameters ytelse i NLI-oppgaven. Begge denne modellen og dens slankere versjon 7B viste ‘substantiell trosbias’, ifølge forskerne. Kilde: https://arxiv.org/pdf/2207.07051.pdf

Syllogismer

Den andre oppgaven presenterer en mer kompleks utfordring, syllogismer – argumenter der to sanne utsagn tilsynelatende impliserer et tredje utsagn (som kan være eller ikke være en logisk konklusjon dedusert fra de to forrige utsagnene):

Fra papirets testmateriale, forskjellige ‘realistiske’ og paradoksale eller nonsensuelle syllogismer.

Her er mennesker enormt feilbare, og en konstruksjon designet for å eksemplifisere en logisk prinsipp blir nesten umiddelbart (og kanskje permanent) innviklet og forvirret av menneskelig “tro” på hva svaret bør være.

Forskerne observerer at en studie fra 1983 viste at deltakere var fordomsfulle av hvorvidt en syllogisms konklusjon stemte overens med deres egne overbevisninger, og observerer:

‘Deltakere var mye mer sannsynlig (90% av tiden) til å feilaktig si at en ugyldig syllogisme var gyldig hvis konklusjonen var troverdig, og således hovedsakelig avhengig av tro rather enn abstrakt resonnering.’

I testing av Chinchilla mot en runde med diverse syllogismer, mange av dem med feilaktige konklusjoner, fant forskerne at ‘tro-bias driver nesten alle zero-shot-beslutninger’. Hvis språkmodellen finner en konklusjon som er uforenlig med virkeligheten, er modellen, ifølge forfatterne, ‘sterkt fordomsfulle’ mot å erklære den endelige argumenten ugyldig, selv når den endelige argumenten er en logisk implikasjon av de forrige utsagnene.

Zero-shot resultater for Chinchilla (zero-shot er måten som de fleste testsubjekter ville motta disse utfordringene, etter en forklaring av den ledende regelen), illustrerende den enorme kløften mellom en datamaskins beregningskapasitet og en NLP-modells evne til å navigere denne type ‘nasjonal logikk’-utfordring.

Wason-valgoppgaven

For den tredje testen ble den enda mer utfordrende Wason-valgoppgaven logikk-problem omformet til en rekke varierende iterasjoner for språkmodellen å løse.

Wason-oppgaven, utformet i 1968, er tilsynelatende veldig enkel: deltakerne vises fire kort, og fortalt en tilfeldig regel som ‘Hvis et kort har en “D” på en side, så har det en “3” på den andre siden.’ De fire synlige kortflatene viser ‘D’, ‘F’, ‘3’ og ‘7’.

Deltakerne blir deretter bedt om å velge hvilke kort de må vende for å verifisere om regelen er sann eller falsk.

Løsningen i dette eksemplet er å vende kortene ‘D’ og ‘7’. I tidlige tester ble det funnet at mens de fleste (menneskelige) deltakerne ville korrekt velge ‘D’, var de mer sannsynlig til å velge ‘3’ enn ‘7’, og forvirret kontrapositivet av regelen (‘ikke 3 impliserer ikke D’) med konversen (‘3’ impliserer ‘D’, som ikke er logisk implisert).

Forskerne observerer, med henvisning til tidligere eksperimenter:

‘[Hvis] kortene viser alder og drikke, og regelen er “hvis de drikker alkohol, så må de være 21 eller eldre” og vist kort med ‘øl’, ‘brus’, ‘25’, ‘16’, valgte de fleste deltakerne korrekt å sjekke kortene som viser ‘øl’ og ‘16’.’

For å teste språkmodellens ytelse på Wason-oppgaver, skapte forskerne diverse realistiske og tilfeldige regler, noen med ‘nonsens’-ord, for å se om AI-en kunne penetrere konteksten av innhold for å avgjøre hvilke ‘virtuelle kort’ å flippe.

Noen av de mange Wason-valgoppgavene som ble presentert i testene.

For Wason-testene utførte modellen komparabelt med mennesker på ‘realistiske’ (ikke-nonsens) oppgaver.

Zero-shot Wason-valgoppgave resultater for Chinchilla, med modellen som utfører betydelig bedre enn tilfeldighet, i det minste for ‘realistiske’ regler.

Papiret kommenterer:

‘Dette reflekterer funn i den menneskelige litteraturen: mennesker er mye mer nøyaktige i å svare på Wason-oppgaven når den er rammet inn i realistiske situasjoner enn når den er omgitt av tilfeldige regler om abstrakte attributter.’

Formell utdanning

Papirets funn rammer resonanspotensialet til hyperskala NLP-systemer i konteksten av våre egne begrensninger, som vi synes å være i ferd med å overføre til modellene via de akkumulerte virkelige verdensdatasettene som driver dem. Siden de fleste av oss ikke er genier, er heller ikke modellene hvis parametre er informert av våre egne.

I tillegg konkluderer den nye studien at vi i det minste har fordelen av en varig periode med formativ utdanning, og de tilleggsaktive, finansielle og selv seksuelle motivasjonene som danner den menneskelige imperativ. Alt hva NLP-modellene kan oppnå er de resulterende handlingene av disse miljøfaktorene, og de synes å være i ferd med å konformere til det generelle snarere enn det unntaksmessige mennesket.

Forskerne sier:

‘Våre resultater viser at innholdseffekter kan oppstå fra å bare trene en stor transformer til å imitere språk produsert av menneskelig kultur, uten å inkorporere disse menneskespesifikke interne mekanismer.

‘Med andre ord, språkmodeller og mennesker ankommer begge disse innholdsbiasene – men fra tilsynelatende svært forskjellige arkitekturer, erfaringer og treningmål.’

Derfor foreslår de en type ‘induksjonstrening’ i ren resonnering, som har vist seg å forbedre modellens ytelse for matematikk og generell resonnering. De observerer videre at språkmodeller også har blitt trenet eller justert for å følge instruksjoner bedre på et abstrakt eller generalisert nivå, og for å verifisere, korrigere eller debiasere deres egen utgang.

* Min konvertering av inline-citater til lenker.

Først publisert 15. juli 2022.