Neurale netwerken leren beter door menselijke slaappatronen na te bootsen

Een team van onderzoekers aan de Universiteit van Californië – San Diego onderzoekt hoe kunstmatige neurale netwerken slaappatronen van de menselijke hersenen kunnen nabootsen om het probleem van catastrofale vergetelheid te mitigeren.

Het onderzoek werd gepubliceerd in PLOS Computational Biology.

Gemiddeld hebben mensen 7 tot 13 uur slaap per 24 uur nodig. Terwijl slaap het lichaam op veel manieren ontspant, blijft de hersenen zeer actief.

Actieve hersenen tijdens slaap

Maxim Bazhenov, PhD, is professor in de geneeskunde en slaaponderzoeker aan de Universiteit van Californië San Diego School of Medicine.

“De hersenen zijn zeer druk bezig als we slapen, herhalen wat we overdag hebben geleerd,” zegt Bazhenov. “Slaap helpt herinneringen te herorganiseren en presenteert ze op de meest efficiënte manier.”

Bazhenov en zijn team hebben eerder onderzoek gepubliceerd over hoe slaap rationele herinneringen opbouwt, wat de mogelijkheid is om willekeurige of indirecte associaties tussen objecten, mensen of gebeurtenissen te onthouden. Het beschermt ook tegen het vergeten van oude herinneringen.

Het probleem van catastrofale vergetelheid

Kunstmatige neurale netwerken putten inspiratie uit de architectuur van de menselijke hersenen om AI-technologieën en -systemen te verbeteren. Terwijl deze technologieën supermenselijke prestaties hebben bereikt in de vorm van computationele snelheid, hebben ze één grote beperking. Wanneer neurale netwerken sequentieel leren, overschrijft nieuwe informatie eerder opgeslagen informatie in een fenomeen dat catastrofale vergetelheid wordt genoemd.

“In tegenstelling tot de menselijke hersenen, leren neurale netwerken continu en incorporeren ze nieuwe gegevens in bestaande kennis, en ze leren het beste wanneer nieuwe training wordt afgewisseld met periodes van slaap voor geheugensconsolidatie,” zegt Bazhenov.

Het team gebruikte spiking neurale netwerken die kunstmatig natuurlijke neurale systemen nabootsen. In plaats van continu te communiceren, wordt informatie overgedragen als discrete gebeurtenissen, of spikes, op bepaalde tijdstippen.

Slaap nabootsen in neurale netwerken

De onderzoekers ontdekten dat wanneer spiking netwerken werden getraind op nieuwe taken met occasionele off-line periodes die slaap nabootsten, het probleem van catastrofale vergetelheid werd gemilderd. Net als de menselijke hersenen, zeggen de onderzoekers dat “slaap” de netwerken in staat stelt om oude herinneringen te herhalen zonder expliciet gebruik te maken van oude trainingsgegevens.

“Wanneer we nieuwe informatie leren, vuren neuronen in een specifieke volgorde en neemt de synapsen tussen hen toe,” zegt Bazhenov. “Tijdens slaap worden de spiking patronen die we overdag hebben geleerd, spontaan herhaald. Dit wordt reactivatie of replay genoemd.

“Synaptische plasticiteit, de capaciteit om te worden veranderd of gevormd, is nog steeds aanwezig tijdens slaap en kan de synaptische gewichtpatronen die de herinnering vertegenwoordigen, verder versterken, waardoor vergetelheid kan worden voorkomen of kennis kan worden overgedragen van oude naar nieuwe taken.”

Het team vond dat door deze aanpak toe te passen op kunstmatige neurale netwerken, het hielp de netwerken om catastrofale vergetelheid te vermijden.

“Het betekende dat deze netwerken continu konden leren, net als mensen of dieren,” vervolgt Bazhenov. “Het begrijpen van hoe de menselijke hersenen informatie verwerken tijdens slaap kan helpen om het geheugen van mensen te verbeteren. Het versterken van slaapritmes kan leiden tot beter geheugen.

“In andere projecten gebruiken we computermodellen om optimale strategieën te ontwikkelen om stimulatie tijdens slaap toe te passen, zoals auditieve tonen, die slaapritmes versterken en het leren verbeteren. Dit kan vooral belangrijk zijn wanneer het geheugen niet optimaal is, zoals wanneer het geheugen afneemt bij het ouder worden of bij bepaalde aandoeningen zoals de ziekte van Alzheimer.”