Forskere ser til dyr for å gi forsterkingslæringssystemer sunn fornuft

AI-forskere fra institusjoner som Imperial College London, University of Cambridge og Google DeepMind ser til dyr for inspirasjon om hvordan de kan forbedre ytelsen til forsterkingslæringssystemer. I en felles artikkel publisert i CellPress Reviews, med tittelen “Kunstig intelligens og dyrs sunne fornuft”, argumenterer forskerne for at dyrs kognisjon gir nyttige målestokker og metoder for evaluering av forsterkingslæringssystemer, og det kan også informere utforming av oppgaver og miljøer.

AI-forskere og ingeniører har lenge sett til biologiske nervesystemer for inspirasjon når de designer algoritmer, og bruker prinsipper fra atferdsvitenskap og nevrovitenskap for å informere strukturen til algoritmene. Likevel er de fleste hintene AI-forskere tar fra nevrovitenskap/atferdsvitenskap basert på mennesker, med kognisjonen til små barn og spedbarn som fokuspunkt. AI-forskere har ennå ikke tatt mye inspirasjon fra dyremodeller, men dyrs kognisjon er en utnyttet ressurs som har potensial til å føre til viktige gjennombrudd i forsterkingslæringssporet.

Dype forsterkingslæringssystemer trenes gjennom en prosess med prøving og feil, forsterket med belønninger når en forsterkingslæringssagent kommer nærmere å fullføre et ønsket mål. Dette er veldig likt å lære en dyre å utføre en ønsket oppgave ved å bruke mat som belønning. Biologer og dyrekognisjonseksperter har utført mange eksperimenter for å vurdere de kognitive evnene til en rekke forskjellige dyr, inkludert hunder, bjørner, ekorn, griser, kråker, delfiner, katter, mus, elefanter og blekkspruter. Mange dyr viser imponerende eksempler på intelligens, og noen dyr som elefanter og delfiner kan ha en teori om sinn.

Å se på mengden av forskning gjort om dyrekognisjon kan inspirere AI-forskere til å se på problemer fra forskjellige vinkler. Ettersom dyp forsterkingslæring har blitt mer powerful og sofistikert, søker AI-forskere som spesialiserer seg i feltet etter nye måter å teste de kognitive evnene til forsterkingslæringssystemer. I forskningsartikkelen henviser forskningsteamet til typene eksperimenter utført med primater og fugler, og nevner at de har som mål å designe systemer som kan utføre lignende oppgaver, og gi en AI en type “sunn fornuft”. Ifølge artikkelforfatterne “forkjemper de for en tilnærming hvor RL-agenter, kanskje med ennå ikke utviklede arkitekturer, tilegner seg det som trengs gjennom utvidet interaksjon med rike virtuelle miljøer.”

Som rapportert av VentureBeat, argumenterer AI-forskere for at sunn fornuft ikke er en egenskap som er unik for mennesker, og at det avhenger av en forståelse av grunnleggende egenskaper ved den fysiske verden, som hvordan et objekt okkuperer et punkt og rom, hva begrensninger det er på objektets bevegelser, og en verdi for årsak og virkning. Dyr viser disse egenskapene i laboratoriestudier. For eksempel forstår kråker at objekter er permanente ting, ettersom de kan hente frø selv når frøet er skjult for dem, dekket av et annet objekt.

For å utstyre et forsterkingslæringssystem med disse egenskapene, argumenterer forskerne for at de må skape oppgaver som, når de kombineres med riktig arkitektur, vil skape agenter som kan overføre lært prinsipper til andre oppgaver. Forskerne argumenterer for at trening for slike modeller bør inneholde tekniker som krever at en agent tilegner seg en forståelse av et konsept etter å ha blitt eksponert for bare noen få eksempler, kalt few-shot-trening. Dette er i kontrast til de tradisjonelle hundre eller tusen prøvinger som vanligvis går inn i prøving og feil-trening av en RL-agent.

Forskingsteamet går videre og forklarer at selv om noen moderne RL-agenter kan lære å løse flere oppgaver, noen av dem som krever overføring av lært prinsipper, er det ikke klart at RL-agenter kan lære et så abstrakt konsept som “sunn fornuft”. Hvis det var en agent som potensielt kunne lære et slikt konsept, ville de trenge tester som kunne fastslå om en RL-agent forstod konseptet om en beholder.

DeepMind er spesielt ivrig etter å engasjere seg i nye og forskjellige måter å utvikle og teste forsterkingslæringssystemer. Nylig, under Stanford HAI-konferansen som fant sted tidligere i oktober, oppmuntret DeepMinds leder for nevrovitenskapelig forskning, Matthew Botvinick, maskinlæringsforskere og ingeniører til å samarbeide mer i andre vitenskapsfelt. Botvinick fremhevet viktigheten av tverrvitenskapelig arbeid med psykologer og nevrovitenskap for AI-feltet i en tale kalt “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.