Experter övervinner ett stort hinder i AI-teknik med hjälp av hjärnmekanismer

En grupp experter inom artificiell intelligens (AI) från olika institutioner har övervunnit ett “stort, långvarigt hinder för att öka AI-förmågor”. Teamet tittade på den mänskliga hjärnan, vilket är fallet för många AI-utvecklingar. Specifikt fokuserade teamet på den mänskliga hjärnans minnesmekanism som kallas “replay”.

Gido van de Ven är den första författaren och en postdoktorand. Han var ansluten till principal investigator Andreas Tolias vid Baylor, samt Hava Siegelmann vid UMass Amherst.

Forskningen publicerades i Nature Communications.

Den nya metoden

Enligt forskarna har de kommit på en ny metod som effektivt skyddar djupa neuronnätverk från “katastrofalt glömska”. När ett neuronnätverk tar på sig nytt lärande kan det glömma vad som tidigare har lärt.

Detta hinder är vad som stoppar många AI-utvecklingar från att äga rum.

“En lösning skulle vara att lagra tidigare mött exempel och återbesöka dem när man lär sig något nytt. Även om sådant ‘replay’ eller ‘repetition’ löser katastrofalt glömska, är det mycket ineffektivt att omträna alla tidigare lästa uppgifter och mängden data som skulle behöva lagras blir snabbt ohanterlig”, skrev forskarna.

Hjärnan

Forskarna drog inspiration från den mänskliga hjärnan, eftersom den kan bygga upp information utan att glömma, vilket inte är fallet för AI-neuronnätverk. Den nuvarande utvecklingen byggdes på tidigare arbete som forskarna hade gjort, inklusive upptäckter om en mekanism i hjärnan som anses vara ansvarig för att förhindra att minnen glöms. Denna mekanism är replay av neurala aktivitetsmönster.

Enligt Siegelmann kommer den stora utvecklingen från “att känna igen att replay i hjärnan inte lagrar data”, utan “hjärnan genererar representationer av minnen på en hög, mer abstrakt nivå utan att generera detaljerade minnen”.

Siegelmann tog denna information och anslöt sig till sina kollegor för att utveckla en hjärnliknande replay med artificiell intelligens, där ingen data lagrades. Liksom i den mänskliga hjärnan tar det artificiella nätverket det som det har sett tidigare för att generera högnivårepresentationer.

Metoden var mycket effektiv, och redan med bara några återgenererade representationer kunde äldre minnen kommas ihåg medan nya lärdes. Generativ replay är effektiv för att förhindra katastrofalt glömska, och en av de stora fördelarna är att den tillåter systemet att generalisera från en situation till en annan.

Enligt van de Ven, “Om vårt nätverk med generativ replay först lär sig att skilja på katter och hundar, och sedan att skilja på björnar och rävar, kommer det också att kunna skilja på katter och rävar utan att specifikt ha tränats för det. Och anmärkningsvärt, ju mer systemet lär sig, desto bättre blir det på att lära sig nya uppgifter”.

“Vi föreslår en ny, hjärninspirerad variant av replay där interna eller dolda representationer återges som genereras av nätverkets egna, kontextmodulerade återkopplingsanslutningar”, skriver teamet. “Vår metod uppnådde toppmodellprestation på utmanande kontinuerliga inlärningsbenchmark utan att lagra data, och den tillhandahåller en ny modell för abstrakt replay i hjärnan”.

“Vår metod gör flera intressanta förutsägelser om hur replay kan bidra till minneskonsolidering i hjärnan”, fortsätter Van de Ven. “Vi är redan i färd med att köra ett experiment för att testa några av dessa förutsägelser”.