Forskere søger til dyr for at give forstærkning af læringssystemer sund fornuft

AI-forskere fra institutter som Imperial College London, University of Cambridge og Google DeepMind søger til dyr for inspiration om, hvordan de kan forbedre ydeevnen af forstærkning af læringssystemer. I en fælles artikel offentliggjort i CellPress Reviews, med titlen “Kunstig intelligens og dyrs sund fornuft”, argumenterer forskerne for, at dyrs kognition giver nyttige benchmarks og metoder til evaluering af forstærkning af læringssystemer og kan også informere om design af opgaver og miljøer.

AI-forskere og ingeniører har længe søgt til biologiske neurale netværk for inspiration, når de designer algoritmer, og har brugt principper fra adfærdsvidenskab og neurovidenskab til at informere strukturen af algoritmerne. Dog er de fleste hints, som AI-forskere tager fra neurovidenskab og adfærdsvidenskab, baseret på mennesker, med kognitionen hos små børn og spædbørn som fokus. AI-forskere har endnu ikke taget megen inspiration fra dyremodeller, men dyrs kognition er en urørt ressource, der har potentialet til at føre til vigtige gennembrud i forstærkning af læring.

Dybe forstærkning af læringssystemer trænes gennem en proces af prøver og fejl, forstærket med belønninger, når en forstærkning af læringssystem nærmer sig fuldførelse af et ønsket mål. Dette er meget lig det at lære en dyre at udføre en ønsket opgave ved at bruge mad som belønning. Biologer og dyrekognitionsspecialister har gennemført mange eksperimenter for at vurdere de kognitive evner hos en række forskellige dyr, herunder hunde, bjørne, egern, svin, krager, delfiner, katte, mus, elefanter og blæksprutter. Mange dyr viser imponerende udtryk for intelligens, og nogle dyr som elefanter og delfiner kan måske endda have en teori om sind.

At se på den samlede forskning om dyrekognition kan inspirere AI-forskere til at overveje problemer fra forskellige vinkler. Da dybe forstærkning af læring er blevet mere kraftfuld og sofistikeret, søger AI-forskere, der specialiserer sig i feltet, efter nye måder at teste de kognitive evner hos forstærkning af læringssystemer på. I forskningsartiklen henviser forskerholdet til de typer af eksperimenter, der er udført med primater og fugle, og nævner, at de har til hensigt at designe systemer, der kan udføre lignende typer af opgaver, og give en AI en slags ” sund fornuft“. Ifølge artiklens forfattere “forkaster de en tilgang, hvor RL-agenter, måske med endnu ikke udviklede arkitekturer, erhverver, hvad der er nødvendigt gennem udvidet interaktion med rige virtuelle miljøer.”

Som rapporteret af VentureBeat, argumenterer AI-forskere for, at sund fornuft ikke er en egenskab, der er unik for mennesker, og at det afhænger af en forståelse af grundlæggende egenskaber ved den fysiske verden, såsom hvordan et objekt besætter et punkt og rum, hvad begrænsninger der er på dette objekts bevægelser, og en værdsættelse af årsag og virkning. Dyr viser disse egenskaber i laboratoriestudier. For eksempel forstår krager, at objekter er permanente ting, da de kan hente frø, selv når frøet er skjult for dem, dækket af et andet objekt.

For at udstyre et forstærkning af læringssystem med disse egenskaber, argumenterer forskerne for, at de vil benötige til at oprette opgaver, der, når de er parret med den rette arkitektur, vil skabe agenter, der kan overføre læring til andre opgaver. Forskerne argumenterer for, at træning af sådanne modeller skal indebære teknikker, der kræver, at en agent opnår forståelse af et begreb efter blot at have været udsat for få eksempler, kaldet few-shot-træning. Dette er i modsætning til de traditionelle hundredvis eller tusindvis af forsøg, der normalt indgår i træningen af en RL-agent.

Forskerholdet forklarer videre, at selv om nogle moderne RL-agenter kan lære at løse multiple opgaver, nogle af dem, der kræver overføring af læring, er det ikke klart, om RL-agenter kan lære et begreb så abstrakt som “sund fornuft”. Hvis der var en agent, der potentielt kunne lære et sådant begreb, ville de benötige tests, der kan fastslå, om en RL-agent forstod begrebet om en beholder.

DeepMind er i særdeleshed ivrige efter at engagere sig i nye og forskellige måder at udvikle og teste forstærkning af læringssystemer på. For nylig, ved Stanford HAI-konferencen, der fandt sted tidligere i oktober, opfordrede DeepMinds leder af neurovidenskabsforskning, Matthew Botvinick, maskinlæringsforskere og ingeniører til at samarbejde mere med andre videnskabsfelter. Botvinick fremhævede vigtigheden af tværfagligt arbejde med psykologer og neurovidenskab for AI-feltet i en tale kaldet “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.