Forskere ser på dyr for å gi forsterkingslæringsystemer sunn fornuft

Forskningsmiljøer som Imperial College London, University of Cambridge og Google DeepMind ser på dyr for å finne inspirasjon til å forbedre ytelsen til forsterkingslæringsystemer. I en felles artikkel publisert i CellPress Reviews, med tittelen “Kunstig intelligens og dyrs sunne fornuft”, argumenterer forskerne for at dyrs kognisjon gir nyttige målestokker og metoder for å evaluere forsterkingslæringsagenter, og at det også kan informere om utforming av oppgaver og miljøer.

Forskningsmiljøer og ingeniører har lenge sett på biologiske neurale nettverk for å finne inspirasjon når de designer algoritmer, og har brukt prinsipper fra atferdsvitenskap og nevrovitenskap for å informere om strukturen til algoritmene. Likevel er de fleste hintene forskningsmiljøene tar fra nevrovitenskap og atferdsvitenskap basert på mennesker, med kognisjonen til små barn og spedbarn som fokuspunkt. Forskningsmiljøene har ennå ikke tatt mye inspirasjon fra dyremodeller, men dyrs kognisjon er en urørt ressurs som har potensialet til å føre til viktige gjennombrudd i forsterkingslæringsrommet.

Dype forsterkingslæringsystemer trenes gjennom en prosess med prøving og feil, forsterket med belønninger når en forsterkingslæringsagent kommer nærmere å fullføre et ønsket mål. Dette er veldig likt å lære en dyre å utføre en ønsket oppgave ved å bruke mat som belønning. Biologer og dyrekognisjonseksperter har gjennomført mange eksperimenter for å vurdere de kognitive evnene til en rekke ulike dyr, inkludert hunder, bjørner, ekorn, griser, kråker, delfiner, katter, mus, elefanter og blekkspruter. Mange dyr viser imponerende intelligens, og noen dyr, som elefanter og delfiner kan ha en teori om sinn.

Å se på den samlede forskningen om dyrs kognisjon kan inspirere forskningsmiljøene til å se på problemer fra ulike vinkler. Ettersom dyp forsterkingslæring har blitt mer kraftfull og sofistikert, søker forskningsmiljøene i feltet etter nye måter å teste de kognitive evnene til forsterkingslæringsagenter på. I forskningsartikkelen henviser forskningsteamet til typen eksperimenter som er gjennomført med primater og fugler, og nevner at de har som mål å designe systemer som kan utføre lignende oppgaver, og gi en kunstig intelligens en type “sunn fornuft”. Ifølge artikkelforfatterne “forkjemper de for en tilnærming hvor RL-agenter, kanskje med enda ikke utviklede arkitekturer, tilegner seg det som er nødvendig gjennom utvidet interaksjon med rike virtuelle miljøer”.

Ifølge VentureBeat argumenterer forskningsmiljøene for at sunn fornuft ikke er en egenskap som er unik for mennesker, og at det avhenger av en forståelse av grunnleggende egenskaper ved den fysiske verden, som hvordan et objekt okkuperer et punkt og rom, hva begrensningene er for objektets bevegelser, og en verdi for årsak og virkning. Dyr viser disse egenskapene i laboratoriestudier. For eksempel forstår kråker at objekter er permanente ting, ettersom de kan hente frø selv om frøet er skjult for dem, dekket av et annet objekt.

For å utstyre et forsterkingslæringsystem med disse egenskapene, argumenterer forskerne for at de må skape oppgaver som, når de kombineres med riktig arkitektur, vil skape agenter som kan overføre lært prinsipper til andre oppgaver. Forskningsmiljøene argumenterer for at trening for slike modeller bør involvere teknikker som krever at en agent tilegner seg en forståelse av et konsept etter å ha blitt eksponert for bare noen få eksempler, kalt few-shot-trening. Dette er i motsetning til de tradisjonelle hundre eller tusen prøvinger som vanligvis går inn i prøving og feil-trening av en RL-agent.

Forskingsteamet går videre og forklarer at selv om noen moderne RL-agenter kan lære å løse flere oppgaver, noen av dem som krever overføring av lært prinsipper, er det ikke klart at RL-agenter kan lære et konsept så abstrakt som “sunn fornuft”. Hvis det var en agent som potensielt kunne lære et slikt konsept, ville de trenge tester som kunne fastslå om en RL-agent forstod konseptet om en beholder.

DeepMind er spesielt ivrig etter å engasjere seg i nye og forskjellige måter å utvikle og teste forsterkingslæringsagenter på. Nylig, på Stanford HAI-konferansen som fant sted tidligere i oktober, oppmuntret DeepMinds sjef for nevrovitenskapelig forskning, Matthew Botvinick, maskinlæringsforskere og ingeniører til å samarbeide mer i andre vitenskapsfelt. Botvinick fremhevet viktigheten av tverrvitenskapelig arbeid med psykologer og nevrovitenskap for kunstig intelligens-feltet i en tale kalt “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.