DeepMind opdager AI-træningsteknik, der muligvis også kan fungere i vores hjerner

DeepMind har netop offentliggjort en artikel, der beskriver, hvordan en ny type forstærket læring kan potentielt forklare, hvordan belønningsbaner i det menneskelige hjernen fungerer. Ifølge NewScientist er maskinlæringsmetoden kaldet distributionel forstærket læring, og mekanismerne bag den synes at forklare, hvordan dopamin frigøres af neuroner i hjernen.

Neurovidenskab og datalogi har en lang historie sammen. Allerede i 1951 brugte Marvin Minsky et system af belønninger og straffe til at skabe et computerprogram, der kunne løse en labyrint. Minsky var inspireret af Ivan Pavlovs arbejde, der viste, at hunde kunne lære gennem en række belønninger og straffe. DeepMinds nye artikel tilføjer til den fælles historie mellem neurovidenskab og datalogi ved at anvende en type forstærket læring til at få indsigt i, hvordan dopamin-neuroner muligvis fungerer.

Når en person eller et dyr er på vej til at udføre en handling, gør samlingen af neuroner i hjernen, der er ansvarlige for frigørelsen af dopamin, en forudsigelse om, hvor belønnende handlingen vil være. Når handlingen er udført, og konsekvenserne (belønningerne) af handlingen er blevet åbenbare, frigør hjernen dopamin. Dog er dopamin-frigørelsen skaleret i forhold til størrelsen af fejlen i forudsigelsen. Hvis belønningen er større/b bedre end forventet, udløses en stærkere dopamin-surge. Til gengæld fører en dårligere belønning til, at mindre dopamin frigøres. Dopaminen fungerer som en korrektionsfunktion, der får neuronerne til at justere deres forudsigelser, indtil de konvergerer med de faktiske belønninger, der er blevet tjent. Dette ligner meget, hvordan forstærket læring-algoritmer fungerer.

I 2017 offentliggjorde DeepMind-forskere en forbedret version af en almindelig brugt forstærket læring-algoritme, og denne overlegne læremetode kunne forbedre præstationen på mange forstærket læring-opgaver. DeepMind-holdet mente, at mekanismerne bag den nye algoritme kunne bruges til bedre at forklare, hvordan dopamin-neuroner fungerer i det menneskelige hjernen.

Til forskel fra ældre forstærket læring-algoritmer repræsenterer DeepMinds nyere algoritme belønninger som en fordeling. Ældre forstærket læring-tilgange repræsenterede estimerede belønninger som blot ét tal, der stod for den gennemsnitlige forventede resultat. Denne ændring tillod modellen at repræsentere mulige belønninger mere præcist og opnå bedre resultater som følge. Den overlegne præstation af den nye træningsmetode fik DeepMind-forskere til at undersøge, om dopamin-neuroner i det menneskelige hjernen fungerer på en lignende måde.

For at undersøge dopamin-neuroners virke arbejdede DeepMind sammen med Harvard for at forskere i aktivitet af dopamin-neuroner hos mus. Forskerne fik musene til at udføre forskellige opgaver og gav dem belønninger baseret på terningkast, og optog, hvordan deres dopamin-neuroner affyrede. Forskellige neuroner syntes at forudsige forskellige mulige resultater og frigjorde forskellige mængder af dopamin. Nogle neuroner forudsagde lavere end den faktiske belønning, mens andre forudsagde belønninger højere end den faktiske belønning. Efter at have grafisk fremstillet fordelingen af belønningsforudsigelser fandt forskerne, at fordelingen af forudsigelser var ret tæt på den ægte belønningsfordeling. Dette tyder på, at hjernen faktisk bruger et distributionssystem, når det gælder om at gøre forudsigelser og justere forudsigelser for bedre at matche virkeligheden.

Studiet kan informere både neurovidenskab og datalogi. Studiet støtter brugen af distributionel forstærket læring som en metode til at skabe mere avancerede AI-modeller. Ud over det kan det have implikationer for vores teorier om, hvordan hjernen fungerer med hensyn til beløningssystemer. Hvis dopamin-neuroner er distribuerede, og nogle er mere pessimistiske eller optimistiske end andre, kan forståelsen af disse fordelinger ændre, hvordan vi tilgår aspekter af psykologi som mental sundhed og motivation.

Som MIT Technology View rapporterede, forklarede Matt Botvinik, direktøren for neurovidenskabsforskning ved DeepMind, betydningen af resultaterne på en pressebriefing. Botvinik sagde:

“Hvis hjernen bruger det, er det sandsynligvis en god idé. Det fortæller os, at dette er en beregningsmetode, der kan skala i virkelige situationer. Det vil fungere godt med andre beregningsprocesser. Det giver os en ny perspektiv på, hvad der sker i vores hjerner under hverdagslivet”