DeepMind ontdek KI-opleidingstegniek wat ook in ons brein kan werk

DeepMind pas onlangs het 'n referaat gepubliseer beskryf hoe 'n nuut ontwikkelde tipe versterkingsleer moontlik kan verduidelik hoe beloningspaaie binne die menslike brein funksioneer. Soos berig deur NewScientist, word die masjienleer-opleidingsmetode distribusieversterkingsleer genoem en die meganismes daaragter blyk aanneemlik te verduidelik hoe dopamien deur neurone binne die brein vrygestel word.

Neurowetenskap en rekenaarwetenskap het 'n lang geskiedenis saam. So ver terug as 1951 het Marvin Minksy 'n stelsel van belonings en strawwe gebruik om 'n rekenaarprogram te skep wat in staat is om 'n doolhof op te los. Minksy is geïnspireer deur die werk van Ivan Pavlov, 'n fisioloog wat gedemonstreer het dat honde kan leer deur 'n reeks belonings en strawwe. Deepmind se nuwe referaat dra by tot die verweefde geskiedenis van neurowetenskap en rekenaarwetenskap deur 'n soort versterkingsleer toe te pas om insig te kry in hoe dopamienneurone kan funksioneer.

Wanneer 'n persoon, of dier, op die punt staan ​​om 'n aksie uit te voer, maak die versamelings neurone in hul brein wat verantwoordelik is vir die vrystelling van dopamien 'n voorspelling oor hoe lonend die aksie sal wees. Sodra die aksie uitgevoer is en die gevolge (belonings) van daardie aksie duidelik gemaak is, stel die brein dopamien vry. Hierdie dopamienvrystelling word egter afgeskaal in ooreenstemming met die grootte van die fout in voorspelling. As die beloning groter/beter is as wat verwag is, word 'n sterker oplewing van dopamien veroorsaak. Daarteenoor lei 'n slegter beloning daartoe dat minder dopamien vrygestel word. Die dopamien dien as 'n korrektiewe funksie wat die neurone hul voorspellings laat instel totdat hulle konvergeer op die werklike belonings wat verdien word. Dit is baie soortgelyk aan hoe versterkingsleeralgoritmes werk.

In die jaar 2017 het DeepMind-navorsers 'n verbeterde weergawe van 'n algemeen gebruikte versterkingsleeralgoritme vrygestel, en hierdie voortreflike leermetode kon prestasie op baie versterkingsleertake 'n hupstoot gee. Die DeepMind-span het gedink dat die meganismes agter die nuwe algoritme gebruik kan word om beter te verduidelik hoe dopamienneurone in die menslike brein werk.

In teenstelling met ouer versterkingsleeralgoritmes, verteenwoordig DeepMind se nuwer algoritme belonings as 'n verspreiding. Ouer versterkingsleerbenaderings het beraamde belonings verteenwoordig as slegs 'n enkele getal wat vir die gemiddelde verwagte resultaat staan. Hierdie verandering het die model moontlik gemaak om moontlike belonings meer akkuraat voor te stel en as gevolg daarvan beter te presteer. Die voortreflike prestasie van die nuwe opleidingsmetode het die DeepMind-navorsers aangespoor om te ondersoek of dopamienneurone in die menslike brein op 'n soortgelyke wyse werk.

Om die werking van dopamienneurone te ondersoek, het DeepMind saam met Harvard gewerk om die aktiwiteit van dopamienneurone in muise na te vors. Die navorsers het die muise verskeie take laat verrig en aan hulle belonings gegee op grond van die rol van dobbelsteen, wat aangeteken het hoe hul dopamienneurone gevuur het. Verskillende neurone het blykbaar verskillende potensiële resultate voorspel en verskillende hoeveelhede dopamien vrygestel. Sommige neurone het laer as die werklike beloning voorspel terwyl sommige belonings hoër as die werklike beloning voorspel het. Nadat die verspreiding van die beloningsvoorspellings uitgebeeld is, het die navorsers gevind dat die verspreiding van voorspellings redelik naby aan die werklike beloningsverspreiding was. Dit dui daarop dat die brein wel van 'n verspreidingsisteem gebruik maak wanneer voorspellings gemaak word en voorspellings aanpas om beter by die werklikheid te pas.

Die studie kan beide neurowetenskap en rekenaarwetenskap inlig. Die studie ondersteun die gebruik van distribusionele versterkingsleer as 'n metode om meer gevorderde KI-modelle te skep. Daarbenewens kan dit implikasies hê vir ons teorieë oor hoe die brein funksioneer met betrekking tot beloningstelsels. As dopamienneurone versprei word en sommige is meer pessimisties of optimisties as ander, kan die begrip van hierdie verspreidings verander hoe ons aspekte van sielkunde soos geestesgesondheid en motivering benader.

Soos MIT Technology View berig het, Matt Botvinik, die direkteur van neurowetenskapnavorsing by DeepMind, het die belangrikheid van die bevindings op 'n pers-inligtingsessie verduidelik. Botvinik het gesê:

“As die brein dit gebruik, is dit waarskynlik 'n goeie idee. Dit sê vir ons dat dit 'n berekeningstegniek is wat in werklike situasies kan skaal. Dit gaan goed pas by ander berekeningsprosesse. Dit gee ons 'n nuwe perspektief op wat in ons brein aangaan gedurende die alledaagse lewe.”