Eksperter overvinder større hindring i AI-teknologi ved hjælp af hjernemekanisme

En gruppe eksperter i kunstig intelligens (AI) fra forskellige institutioner har overvundet en “stor, langvarig hindring for at øge AI-kapaciteterne.” Holdet så hen mod det menneskelige hjerte, hvilket er tilfældet for mange AI-udviklinger. Specifikt fokuserede holdet på den menneskelige hjerne mekanisme kendt som “replay”.

Gido van de Ven er den første forfatter og en postdoc-forsker. Han blev sammen med principal investigator Andreas Tolias på Baylor samt Hava Siegelmann på UMass Amherst.

Forskningen blev offentliggjort i Nature Communications.

Den nye metode

Ifølge forskerne har de udviklet en ny metode, der effektivt beskytter dybe neurale netværk mod “katastrofalt glemsomhed”. Når et neuralt netværk påtager sig nyt at lære, kan det glemme, hvad der tidligere er lært.

Denne hindring er det, der stopper mange AI-fremgang fra at ske.

“En løsning ville være at gemme tidligere mødt eksempler og gensende dem, når man lærer noget nyt. Selvom en sådan ‘replay’ eller ‘repetition’ løser katastrofalt glemsomhed, er det meget ineffektivt og mængden af data, der skal gemmes, bliver hurtigt uoverskuelig,” skrev forskerne.

Menneskehjernen

Forskerne fik inspiration fra det menneskelige hjerte, da det kan bygge op information uden at glemme, hvilket ikke er tilfældet for AI-neurale netværk. Den nuværende udvikling blev bygget på tidligere arbejde udført af forskerne, herunder fund vedrørende en mekanisme i hjernen, der menes at være ansvarlig for at forhindre, at minder glemmes. Denne mekanisme er gentagelse af neurale aktivitetsmønstre.

Ifølge Siegelmann kommer den store udvikling fra “at erkende, at replay i hjernen ikke gemmer data,” men “hjernen genererer repræsentationer af minder på et højt, mere abstrakt niveau uden behov for at generere detaljerede minder.”

Siegelmann tog denne information og sluttede sig til sine kolleger for at udvikle en hjernelignende replay med kunstig intelligens, hvor der ikke blev gemt nogen data. Som er tilfældet med det menneskelige hjerte, tager det kunstige netværk, hvad det har set før, for at generere højt niveau repræsentationer.

Metoden var meget effektiv, og selv blot få gentagne genererede repræsentationer resulterede i, at ældre minder blev husket, mens nye blev lært. Generativ replay er effektiv til at forhindre katastrofalt glemsomhed, og en af de største fordelene er, at det tillader systemet at generalisere fra en situation til en anden.

Ifølge van de Ven “hvis vores netværk med generativ replay først lærer at skille katte fra hunde, og derefter at skille bjørne fra ræve, vil det også kunne skille katte fra ræve uden specifikt at være trænet til det. Og bemærkelsesværdigt, jo mere systemet lærer, jo bedre bliver det til at lære nye opgaver.”

“Vi foreslår en ny, hjernelignende variant af replay, hvor interne eller skjulte repræsentationer gentages, som genereres af netværkets egne, kontekst-modulerede feedback-forbindelser,” skriver holdet. “Vores metode opnåede state-of-the-art-præstation på udfordrende kontinuerlige læringsbenchmarks uden at gemme data, og det giver en ny model for abstrakt replay i hjernen.”

“Vores metode giver flere interessante forudsigelser om, hvordan replay kan bidrage til hukommelses-konsolidering i hjernen,” fortsætter Van de Ven. “Vi er allerede i gang med at udføre et eksperiment for at teste nogle af disse forudsigelser.”