Forskare Tittar På Djur För Att Ge Förstärkt Lärande System Ett Allmänt Sinne

AI-forskare från institut som Imperial College London, University of Cambridge och Google DeepMind tittar på djur för inspiration om hur man kan förbättra prestandan hos förstärkt lärande system. I en gemensam artikel publicerad i CellPress Reviews, med titeln “Artificiell Intelligens och Djurens Allmänna Sinne”, hävdar forskarna att djurs kognition ger användbara måttstockar och metoder för utvärdering av förstärkt lärande agenter och det kan också informera om utformningen av uppgifter och miljöer.

AI-forskare och ingenjörer har länge tittat på biologiska neurala nätverk för inspiration när de utformar algoritmer, med hjälp av principer från beteendevetenskap och neurovetenskap för att informera om algoritmernas struktur. Men de flesta ledtrådar som AI-forskare tar från neurovetenskap/ beteendevetenskap är baserade på människor, med kognitionen hos små barn och spädbarn som fokuspunkt. AI-forskare har ännu inte tagit mycket inspiration från djurmodeller, men djurs kognition är en outnyttjad resurs som har potentialen att leda till viktiga genombrott i förstärkt lärande området.

Djupa förstärkta lärande system tränas genom en process av trial och error, förstärkt med belöningar när en förstärkt lärande agent kommer närmare att slutföra ett önskat mål. Detta är mycket likt att lära en hund att utföra en önskad uppgift genom att använda mat som belöning. Biologer och djurkognitionsspecialister har genomfört många experiment som utvärderar de kognitiva förmågorna hos olika djur, inklusive hundar, björnar, ekorrar, grisar, kråkor, delfiner, katter, möss, elefanter och bläckfiskar. Många djur visar imponerande utställningar av intelligens, och vissa djur som elefanter och delfiner kan till och med ha en teori om sinne.

Att titta på den samling forskning som gjorts om djurs kognition kan inspirera AI-forskare att överväga problem från olika vinklar. När djupa förstärkta lärande har blivit mer kraftfulla och sofistikerade, söker AI-forskare som specialiserar sig på området efter nya sätt att testa de kognitiva förmågorna hos förstärkt lärande agenter. I forskningsartikeln hänvisar forskarteamet till de typer av experiment som utförts med primater och fåglar, och nämner att de syftar till att utforma system som kan utföra liknande typer av uppgifter, ge en AI en typ av “allmänt sinne“. Enligt artikelförfattarna “förespråkar vi en strategi där RL-agenter, kanske med ännu outvecklade arkitekturer, förvärvar det som behövs genom utökad interaktion med rika virtuella miljöer.”

Som rapporterats av VentureBeat, hävdar AI-forskarna att allmänt sinne inte är ett drag som är unikt för människor och att det är beroende av en förståelse för de grundläggande egenskaperna hos den fysiska världen, såsom hur ett föremål upptar en punkt och utrymme, vilka begränsningar som finns för föremålets rörelser och en uppskattning för orsak och verkan. Djur visar dessa drag i laboratoriestudier. Till exempel förstår kråkor att föremål är permanenta ting, eftersom de kan hämta frön även när fröet är dolt för dem, täckt av ett annat föremål.

För att utrusta ett förstärkt lärande system med dessa egenskaper hävdar forskarna att de kommer att behöva skapa uppgifter som, när de kombineras med rätt arkitektur, kommer att skapa agenter som kan överföra inlärda principer till andra uppgifter. Forskarna hävdar att utbildning för en sådan modell bör innefatta tekniker som kräver att en agent förvärvar förståelse för ett koncept efter att ha exponerats för endast ett fåtal exempel, kallat few-shot träning. Detta är i kontrast till de traditionella hundratals eller tusentals försök som vanligtvis går in i trial och error-träning av en RL-agent.

Forskarteamet förklarar vidare att medan vissa moderna RL-agenter kan lära sig att lösa flera uppgifter, vissa av dem kräver den grundläggande överföringen av inlärda principer, är det inte klart att RL-agenter kan lära sig ett sådant abstrakt koncept som “allmänt sinne”. Om det fanns en agent som potentiellt kunde lära sig ett sådant koncept, skulle de behöva tester som kan fastställa om en RL-agent förstod konceptet för en behållare.

DeepMind är i synnerhet ivriga att engagera sig i nya och olika sätt att utveckla och testa förstärkt lärande agenter. Nyligen, vid Stanford HAI-konferensen som ägde rum tidigare i oktober, uppmanade DeepMinds chef för neurovetenskaplig forskning, Matthew Botvinick, maskinlärningsforskare och ingenjörer att samarbeta mer i andra vetenskapsfält. Botvinick betonade vikten av tvärvetenskapligt arbete med psykologer och neurovetenskap för AI-området i ett tal som kallades “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.