Forskare Ser Till Djur För Att Ge Förstärkt Inlärningssystem Vanligt Folkförnuft

Forskare inom AI från institutioner som Imperial College London, University of Cambridge och Google DeepMind söker inspiration från djur för att förbättra prestandan hos förstärkt inlärningssystem. I en gemensam artikel publicerad i CellPress Reviews, med titeln “Artificiell Intelligens och Djurens Vanliga Förnuft”, hävdar forskarna att djurs kognition ger användbara måttstockar och metoder för utvärdering av förstärkt inlärning och kan också informera om utformningen av uppgifter och miljöer.

AI-forskare och ingenjörer har länge sett till biologiska neurala nätverk för inspiration när de utformar algoritmer, med hjälp av principer från beteendevetenskap och neurovetenskap för att informera om algoritmernas struktur. Men de flesta ledtrådar som AI-forskare tar från neurovetenskap och beteendevetenskap är baserade på människor, med kognitionen hos små barn och spädbarn som fokuspunkt. AI-forskare har ännu inte tagit mycket inspiration från djurmodeller, men djurs kognition är en outnyttjad resurs som har potentialen att leda till viktiga genombrott inom förstärkt inlärning.

Djupa förstärkta inlärningssystem tränas genom en process av trial och error, förstärkt med belöningar när en förstärkt inlärningsagent närmar sig att slutföra ett önskat mål. Detta är mycket likt att lära en djur att utföra en önskad uppgift genom att använda mat som belöning. Biologer och djurspecialister har genomfört många experiment för att utvärdera de kognitiva förmågorna hos en mängd olika djur, inklusive hundar, björnar, ekorrar, grisar, kråkor, delfiner, katter, möss, elefanter och bläckfiskar. Många djur visar imponerande utställningar av intelligens, och vissa djur som elefanter och delfiner kan till och med ha en teori om sinnet.

Att titta på den samling forskning som gjorts om djurs kognition kan inspirera AI-forskare att överväga problem från olika vinklar. När djup förstärkt inlärning har blivit mer kraftfull och sofistikerad, söker AI-forskare som specialiserar sig på området efter nya sätt att testa de kognitiva förmågorna hos förstärkt inlärningsagenter. I forskningsartikeln hänvisar forskargruppen till de typer av experiment som genomförts med primater och fåglar, och nämner att de syftar till att utforma system som kan utföra liknande uppgifter, ge en AI en typ av “vanligt folkförnuft“. Enligt artikelförfattarna förespråkar de “en metod där RL-agenter, kanske med ännu outvecklade arkitekturer, förvärvar vad som behövs genom utökad interaktion med rika virtuella miljöer.”

Som rapporterats av VentureBeat hävdar AI-forskarna att vanligt folkförnuft inte är ett unikt mänskligt drag och att det är beroende av en förståelse av grundläggande egenskaper hos den fysiska världen, såsom hur ett föremål upptar en punkt och utrymme, vilka begränsningar som finns för föremålets rörelser och en uppskattning av orsak och verkan. Djur visar dessa egenskaper i laboratoriestudier. Till exempel förstår kråkor att föremål är bestående ting, eftersom de kan hämta frön även när fröet är dolt för dem, täckt av ett annat föremål.

För att utrusta ett förstärkt inlärningssystem med dessa egenskaper hävdar forskarna att de behöver skapa uppgifter som, när de kombineras med rätt arkitektur, skapar agenter som kan överföra inlärda principer till andra uppgifter. Forskarna hävdar att utbildning för ett sådant modell bör innefatta tekniker som kräver att en agent förvärvar en förståelse av ett koncept efter att ha exponerats för endast ett fåtal exempel, kallat few-shot-träning. Detta är i kontrast till de traditionella hundratals eller tusentals försök som vanligtvis ingår i trial och error-utbildning av en RL-agent.

Forskarteamet förklarar vidare att medan vissa moderna RL-agenter kan lära sig att lösa flera uppgifter, vissa av dem som kräver överföring av inlärda principer, är det inte klart att RL-agenter kan lära sig ett sådant abstrakt koncept som “vanligt folkförnuft”. Om det fanns en agent som potentiellt kunde lära sig ett sådant koncept, skulle de behöva tester som kunde fastställa om en RL-agent förstod konceptet för en behållare.

DeepMind är särskilt angelägen om att engagera sig i nya och olika sätt att utveckla och testa förstärkt inlärning. Nyligen, vid Stanford HAI-konferensen som ägde rum tidigare i oktober, uppmanade DeepMinds chef för neurovetenskapsforskning, Matthew Botvinick, maskinlärningsforskare och ingenjörer att samarbeta mer inom andra vetenskapsområden. Botvinick betonade vikten av tvärvetenskapligt arbete med psykologer och neurovetenskap för AI-området i ett tal som kallades “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.