Onderzoekers kijken naar dieren om versterkingsleersystemen gezond verstand te geven

AI-onderzoekers van instellingen zoals Imperial College London, University of Cambridge en Google DeepMind kijken naar dieren voor inspiratie over hoe ze de prestaties van versterkingsleersystemen kunnen verbeteren. In een gezamenlijk artikel gepubliceerd in CellPress Reviews, met de titel “Kunstmatige intelligentie en het gezonde verstand van dieren”, betogen de onderzoekers dat de cognitie van dieren nuttige benchmarks en methoden van evaluatie voor versterkingsleeragenten biedt en dat het ook de engineering van taken en omgevingen kan informeren.

AI-onderzoekers en -ingenieurs hebben lange tijd naar biologische neurale netwerken gekeken voor inspiratie bij het ontwerpen van algoritmes, met behulp van principes uit gedragswetenschap en neurowetenschap om de structuur van algoritmes te informeren. Toch zijn de meeste aanwijzingen die AI-onderzoekers uit de neurowetenschap/gedragswetenschap nemen, gebaseerd op mensen, met de cognitie van jonge kinderen en baby’s als focal point. AI-onderzoekers hebben nog niet veel inspiratie gehaald uit diermodellen, maar de cognitie van dieren is een ongebruikte bron die belangrijke doorbraken in de versterkingsleerruimte kan opleveren.

Diepe versterkingsleersystemen worden getraind door een proces van trial and error, versterkt met beloningen wanneer een versterkingsleeragent dichter bij het voltooien van een gewenst doel komt. Dit is erg vergelijkbaar met het leren van een dier om een gewenste taak uit te voeren door middel van voedsel als beloning. Biologen en specialisten in diercognitie hebben veel experimenten uitgevoerd om de cognitieve vaardigheden van verschillende dieren te beoordelen, waaronder honden, beren, eekhoorns, varkens, kraaien, dolfijnen, katten, muizen, olifanten en octopussen. Veel dieren vertonen indrukwekkende displays van intelligentie, en sommige dieren, zoals olifanten en dolfijnen zouden zelfs een theorie van de geest kunnen hebben.

Het bekijken van de hoeveelheid onderzoek gedaan naar diercognitie kan AI-onderzoekers inspireren om problemen vanuit verschillende hoeken te bekijken. Aangezien diepe versterkingsleer krachtiger en geavanceerder is geworden, zoeken AI-onderzoekers die gespecialiseerd zijn in het veld naar nieuwe manieren om de cognitieve capaciteiten van versterkingsleeragenten te testen. In het onderzoeksartikel verwijst het onderzoeksteam naar de soorten experimenten die met primaten en vogels zijn uitgevoerd, waarin ze vermelden dat ze systemen willen ontwerpen die soortgelijke taken kunnen uitvoeren, een soort van “gezond verstand” voor een AI. Volgens de auteurs van het artikel “bepleiten wij een benadering waarin RL-agenten, misschien met nog niet ontwikkelde architectuur, verwerven wat nodig is door uitgebreide interactie met rijke virtuele omgevingen.”

Volgens VentureBeat betogen de AI-onderzoekers dat gezond verstand geen eigenschap is die uniek is voor mensen en dat het afhankelijk is van een begrip van basiseigenschappen van de fysieke wereld, zoals hoe een object een punt en ruimte inneemt, wat de beperkingen zijn van de bewegingen van dat object, en een waardering voor oorzaak en gevolg. Dieren vertonen deze eigenschappen in laboratoriumstudies. Zo begrijpen kraaien dat objecten permanente dingen zijn, aangezien ze in staat zijn om zaden op te halen, zelfs als het zaad voor hen verborgen is, bedekt door een ander object.

Om een versterkingsleersysteem van deze eigenschappen te voorzien, betogen de onderzoekers dat ze taken moeten creëren die, in combinatie met de juiste architectuur, agenten kunnen creëren die in staat zijn om geleerde principes over te dragen naar andere taken. De onderzoekers betogen dat de training voor een dergelijk model moet bestaan uit technieken die een agent in staat stellen om een concept te begrijpen na blootstelling aan slechts een paar voorbeelden, genaamd few-shot training. Dit is in tegenstelling tot de traditionele honderden of duizenden trials die typisch worden gebruikt voor de trial and error-training van een RL-agent.

Het onderzoeksteam legt verder uit dat, hoewel sommige moderne RL-agenten meerdere taken kunnen leren oplossen, sommige waarvan het overdragen van geleerde principes vereisen, het niet duidelijk is of RL-agenten een concept als abstract als “gezond verstand” kunnen leren. Als er een agent zou zijn die potentieel in staat is om een dergelijk concept te leren, zouden ze tests nodig hebben die kunnen bepalen of een RL-agent het concept van een container begrijpt.

DeepMind is in het bijzonder enthousiast om nieuwe en verschillende manieren te onderzoeken om versterkingsleeragenten te ontwikkelen en te testen. Onlangs, op de Stanford HAI-conferentie die eerder in oktober plaatsvond, spoorde de hoofdonderzoeker van DeepMind, Matthew Botvinick, machine learning-onderzoekers en -ingenieurs aan om meer samen te werken met andere wetenschapsgebieden. Botvinick benadrukte het belang van interdisciplinair werk met psychologen en neurowetenschappers voor het AI-veld in een lezing getiteld “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.