Experts overwinnen grote hindernis in AI-technologie met behulp van hersenmechanisme

Een groep artificiële intelligentie (AI)-experts van verschillende instellingen heeft een “grote, langdurige hindernis voor het vergroten van AI-mogelijkheden” overwonnen. Het team keek naar de menselijke hersenen, wat het geval is voor veel AI-ontwikkelingen. Specifiek richtte het team zich op het menselijke hersengeheugenmechanisme dat bekend staat als “replay”.

Gido van de Ven is de eerste auteur en een postdoctorale onderzoeker. Hij werd vergezeld door hoofdonderzoeker Andreas Tolias bij Baylor, evenals Hava Siegelmann bij UMass Amherst.

Het onderzoek werd gepubliceerd in Nature Communications.

De nieuwe methode

Volgens de onderzoekers hebben ze een nieuwe methode ontwikkeld die diepe neurale netwerken efficiënt beschermt tegen “catastrofale vergetelheid”. Wanneer een neurale netwerk nieuwe dingen leert, kan het vergeten wat eerder is geleerd.

Dit obstakel is wat veel AI-ontwikkelingen tegenhoudt.

“Een oplossing zou zijn om eerder ontmoette voorbeelden op te slaan en ze opnieuw te bekijken wanneer je iets nieuws leert. Hoewel zo’n ‘replay’ of ‘repetitie’ catastrofale vergetelheid oplost, is constant opnieuw trainen op alle eerder geleerde taken zeer inefficiënt en wordt de hoeveelheid gegevens die moet worden opgeslagen snel onbeheersbaar”, schreven de onderzoekers.

De menselijke hersenen

De onderzoekers haalden inspiratie uit de menselijke hersenen, omdat die in staat zijn om informatie op te bouwen zonder te vergeten, wat niet het geval is voor AI-neurale netwerken. De huidige ontwikkeling was gebaseerd op eerder onderzoek van de onderzoekers, waaronder bevindingen over een mechanisme in de hersenen dat verantwoordelijk wordt geacht voor het voorkomen dat herinneringen worden vergeten. Dit mechanisme is de replay van neurale activiteitspatronen.

Volgens Siegelmann komt de grote ontwikkeling voort uit “het erkennen dat replay in de hersenen geen gegevens opslaat”, maar “de hersenen genereren representaties van herinneringen op een hoog, meer abstract niveau zonder gedetailleerde herinneringen te genereren”.

Siegelmann nam deze informatie en sloot zich aan bij haar collega’s om een hersen-achtige replay met artificiële intelligentie te ontwikkelen, waarbij geen gegevens werden opgeslagen. Net als bij de menselijke hersenen neemt het kunstmatige netwerk wat het eerder heeft gezien om hoogwaardige representaties te genereren.

De methode was zeer efficiënt, waarbij zelfs slechts een paar gereplayde gegenereerde representaties resulteerden in het onthouden van oudere herinneringen terwijl nieuwe werden geleerd. Generatieve replay is effectief in het voorkomen van catastrofale vergetelheid, en een van de belangrijkste voordelen is dat het het systeem in staat stelt om van de ene situatie naar de andere te generaliseren.

Volgens Van de Ven “zal ons netwerk met generatieve replay, als het eerst leert om katten van honden te scheiden en vervolgens om beren van vossen te scheiden, het ook katten van vossen kunnen scheiden zonder specifiek getraind te zijn om dit te doen. En opvallend, hoe meer het systeem leert, hoe beter het wordt in het leren van nieuwe taken”.

“We stellen een nieuwe, door de hersenen geïnspireerde variant van replay voor, waarbij interne of verborgen representaties worden gereplayd die worden gegenereerd door de feedbackverbindingen van het netwerk”, schrijven de onderzoekers. “Onze methode bereikte state-of-the-art-prestaties op moeilijke continue leerbenchmarks zonder gegevens op te slaan en biedt een nieuw model voor abstracte replay in de hersenen”.

“Onze methode doet verschillende interessante voorspellingen over de manier waarop replay kan bijdragen aan geheugenconsolidatie in de hersenen”, vervolgt Van de Ven. “We zijn al een experiment aan het uitvoeren om enkele van deze voorspellingen te testen”.