Onderzoekers kijken naar dieren om versterkingsleersystemen meer gezond verstand te geven

Onderzoekers van instituten als Imperial College London, University of Cambridge en Google DeepMind kijken naar dieren voor inspiratie over hoe ze de prestaties van versterkingsleersystemen kunnen verbeteren. In een gezamenlijk artikel in CellPress Reviews, getiteld “Kunstmatige intelligentie en het gezond verstand van dieren”, betogen de onderzoekers dat de cognitie van dieren nuttige benchmarks en methoden van evaluatie voor versterkingsleeragenten biedt en dat het ook de engineering van taken en omgevingen kan informeren.

Onderzoekers en ingenieurs van kunstmatige intelligentie hebben lange tijd naar biologische neurale netwerken gekeken voor inspiratie bij het ontwerpen van algoritmes, met principes uit gedragswetenschap en neurowetenschap om de structuur van algoritmes te informeren. Toch nemen de meeste aanwijzingen die onderzoekers van kunstmatige intelligentie uit het veld van neurowetenschap en gedragswetenschap krijgen, hun oorsprong in de mens, met de cognitie van jonge kinderen en baby’s als het centrale punt. Onderzoekers van kunstmatige intelligentie hebben nog niet veel inspiratie gehaald uit diermodellen, maar de cognitie van dieren is een ongebruikte bron die belangrijke doorbraken in de versterkingsleerruimte kan opleveren.

Diepe versterkingsleersystemen worden getraind door een proces van trial and error, versterkt met beloningen wanneer een versterkingsleeragent dichter bij het voltooien van een gewenst doel komt. Dit is zeer vergelijkbaar met het leren van een dier om een gewenste taak uit te voeren door middel van voedsel als beloning. Biologen en specialisten in diercognitie hebben veel experimenten uitgevoerd om de cognitieve capaciteiten van verschillende dieren te beoordelen, waaronder honden, beren, eekhoorns, varkens, kraaien, dolfijnen, katten, muizen, olifanten en octopussen. Veel dieren vertonen indrukwekkende demonstraties van intelligentie, en sommige dieren, zoals olifanten en dolfijnen zouden zelfs een theorie van de geest kunnen hebben.

Door naar het onderzoek naar diercognitie te kijken, kunnen onderzoekers van kunstmatige intelligentie worden geïnspireerd om problemen vanuit verschillende hoeken te bekijken. Aangezien diepe versterkingsleer krachtiger en geavanceerder is geworden, zoeken onderzoekers van kunstmatige intelligentie die zich specialiseren in het veld naar nieuwe manieren om de cognitieve capaciteiten van versterkingsleeragenten te testen. In het onderzoeksartikel verwijst het onderzoeksteam naar de soorten experimenten die met primaten en vogels zijn uitgevoerd, en noemen ze dat ze systemen willen ontwerpen die soortgelijke taken kunnen uitvoeren, een soort “gezond verstand” voor een kunstmatige intelligentie. Volgens de auteurs van het artikel “bepleiten wij een aanpak waarbij RL-agenten, misschien met nog niet ontwikkelde architectuur, verwerven wat nodig is door uitgebreide interactie met rijke virtuele omgevingen.”

Volgens VentureBeat betogen de onderzoekers van kunstmatige intelligentie dat gezond verstand geen uniek kenmerk van de mens is en dat het afhankelijk is van een begrip van de basisprincipes van de fysieke wereld, zoals hoe een object een punt en ruimte inneemt, welke beperkingen er zijn op de bewegingen van dat object, en een waardering voor oorzaak en gevolg. Dieren vertonen deze eigenschappen in laboratoriumstudies. Bijvoorbeeld begrijpen kraaien dat objecten permanente dingen zijn, omdat ze in staat zijn om zaden op te halen, zelfs als het zaad verborgen is door een ander object.

Om een versterkingsleersysteem van deze eigenschappen te voorzien, betogen de onderzoekers dat ze taken moeten creëren die, in combinatie met de juiste architectuur, agenten in staat stellen om geleerde principes over te dragen aan andere taken. De onderzoekers betogen dat de training voor een dergelijk model moet bestaan uit technieken die een agent in staat stellen om een concept te begrijpen na blootstelling aan slechts een paar voorbeelden, wat wordt genoemd few-shot training. Dit is in tegenstelling tot de traditionele honderden of duizenden trials die normaal gesproken worden gebruikt bij de trial and error-training van een RL-agent.

Het onderzoeksteam legt verder uit dat, hoewel sommige moderne RL-agenten meerdere taken kunnen leren oplossen, het niet duidelijk is of RL-agenten een concept als “gezond verstand” kunnen leren. Als er een agent zou zijn die potentieel in staat is om een dergelijk concept te leren, zouden ze tests nodig hebben die kunnen bepalen of een RL-agent het concept van een container begrijpt.

DeepMind is in het bijzonder enthousiast om nieuwe en verschillende manieren te onderzoeken voor het ontwikkelen en testen van versterkingsleeragenten. Onlangs, op de Stanford HAI-conferentie die eerder in oktober plaatsvond, spoorde de hoofdonderzoeker van DeepMind, Matthew Botvinick, onderzoekers van machine learning en ingenieurs aan om meer samen te werken in andere wetenschappelijke gebieden. Botvinick benadrukte het belang van interdisciplinaire samenwerking met psychologen en neurowetenschappers voor het veld van kunstmatige intelligentie in een lezing getiteld “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.