DeepMind Upptäcker AI-TräningsTeknik Som Kan Fungera I Våra Hjärnor

DeepMind har nyligen publicerat en artikel som beskriver hur en ny typ av förstärkt inlärning kan förklara hur belöningsvägar i den mänskliga hjärnan fungerar. Enligt NewScientist är den maskinella inlärningsmetoden kallad distributionell förstärkt inlärning och de mekanismer som ligger bakom den verkar på ett trovärdigt sätt förklara hur dopamin frigörs av neuroner i hjärnan.

Neurovetenskap och datavetenskap har en lång historia tillsammans. Redan 1951 använde Marvin Minsky ett system av belöningar och bestraffningar för att skapa ett datorprogram som kunde lösa en labyrint. Minsky inspirerades av Ivan Pavlovs arbete, som visade att hundar kunde lära sig genom en serie belöningar och bestraffningar. DeepMinds nya artikel bidrar till den sammanflätade historien mellan neurovetenskap och datavetenskap genom att tillämpa en typ av förstärkt inlärning för att få insikt i hur dopaminneuroner kan fungera.

När en person eller djur är på väg att utföra en handling, gör de neuroner i hjärnan som är ansvariga för frisättning av dopamin en förutsägelse om hur belönande handlingen kommer att vara. När handlingen har utförts och konsekvenserna (belöningarna) av handlingen har blivit tydliga, frigör hjärnan dopamin. Men denna frisättning av dopamin är skalad i enlighet med storleken på felet i förutsägelsen. Om belöningen är större/bättre än förväntat, utlöses en starkare dopaminchock. Omvänt leder en sämre belöning till att mindre dopamin frigörs. Dopaminen fungerar som en korrektionsfunktion som gör att neuronerna justerar sina förutsägelser tills de konvergerar mot de faktiska belöningar som tjänas. Detta är mycket likt hur förstärkt inlärningsalgoritmer fungerar.

År 2017 släppte DeepMind-forskare en förbättrad version av en vanligt använd förstärkt inlärningsalgoritm, och denna överlägsna inlärningsmetod kunde förbättra prestandan på många förstärkt inlärningstester. DeepMind-teamet trodde att de mekanismer som låg bakom den nya algoritmen kunde användas för att bättre förklara hur dopaminneuroner fungerar i den mänskliga hjärnan.

Till skillnad från äldre förstärkt inlärningsalgoritmer representerar DeepMinds nyare algoritm belöningar som en fördelning. Äldre förstärkt inlärningsmetoder representerade uppskattade belöningar som bara ett enda tal som stod för den genomsnittliga förväntade resultatet. Denna förändring gjorde att modellen kunde representera möjliga belöningar mer exakt och prestera bättre som ett resultat. Den överlägsna prestandan hos den nya träningsmetoden fick DeepMind-forskarna att undersöka om dopaminneuroner i den mänskliga hjärnan fungerar på ett liknande sätt.

För att undersöka dopaminneuronernas funktion samarbetade DeepMind med Harvard för att forska om aktivitet hos dopaminneuroner i möss. Forskarna lät mössen utföra olika uppgifter och gav dem belöningar baserat på tärningsslag, och spelade in hur deras dopaminneuroner aktiverades. Olika neuroner tycktes förutsäga olika möjliga resultat och frigjorde olika mängder dopamin. Vissa neuroner förutsåg lägre än den faktiska belöningen, medan andra förutsåg belöningar högre än den faktiska belöningen. Efter att ha ritat ut fördelningen av belöningsförutsägelserna fann forskarna att fördelningen av förutsägelser var ganska nära den verkliga belöningsfördelningen. Detta tyder på att hjärnan faktiskt använder ett distributionsbaserat system när den gör förutsägelser och justerar förutsägelser för att bättre matcha verkligheten.

Studien kan ge insikt både inom neurovetenskap och datavetenskap. Studien stöder användningen av distributionell förstärkt inlärning som en metod för att skapa mer avancerade AI-modeller. Utöver det kan den ha implikationer för våra teorier om hur hjärnan fungerar när det gäller belöningssystem. Om dopaminneuroner är distribuerade och vissa är mer pessimistiska eller optimistiska än andra, kan förståelsen av dessa fördelningar förändra hur vi närmar oss aspekter av psykologi som mental hälsa och motivation.

Enligt MIT Technology Review förklarade Matt Botvinik, chef för neurovetenskapsforskning på DeepMind, betydelsen av resultaten under en presskonferens. Botvinik sa:

“Om hjärnan använder det, är det förmodligen en bra idé. Det visar oss att detta är en beräkningsmetod som kan skalas i verkliga situationer. Det kommer att passa bra med andra beräkningsprocesser. Det ger oss en ny perspektiv på vad som händer i våra hjärnor under vardagslivet”