AI-modellen en platforms

Neurale netwerken leren beter door menselijke slaappatronen na te bootsen

Alex McFarland
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenHet nabootsen van slaapherhaling in pulserende neurale netwerken voorkomt catastrofaal…
Meer weergeven
  • Het nabootsen van slaapherhaling in pulserende neurale netwerken voorkomt catastrofaal vergeten tijdens sequentieel leren.
  • Slaap stelt kunstmatige netwerken in staat oude herinneringen te consolideren zonder expliciete toegang tot de oorspronkelijke trainingsgegevens.
  • Inzicht in op slaap gebaseerde geheugenverwerking zou kunnen leiden tot auditieve stimulatietherapieën voor leeftijdsgerelateerde geheugenachteruitgang.

Een team van onderzoekers aan de Universiteit van Californië – San Diego onderzoekt hoe kunstmatige neurale netwerken slaappatronen van de menselijke hersenen kunnen nabootsen om het probleem van catastrofale vergetelheid te mitigeren.

Het onderzoek werd gepubliceerd in PLOS Computational Biology.

Gemiddeld hebben mensen 7 tot 13 uur slaap per 24 uur nodig. Terwijl slaap het lichaam op veel manieren ontspant, blijven de hersenen zeer actief.

Actieve hersenen tijdens slaap

Maxim Bazhenov, PhD, is professor in de geneeskunde en slaaponderzoeker aan de Universiteit van Californië San Diego School of Medicine.

“De hersenen zijn zeer druk bezig als we slapen, herhalen wat we overdag hebben geleerd,” zegt Bazhenov. “Slaap helpt herinneringen te herorganiseren en presenteert ze op de meest efficiënte manier.”

Bazhenov en zijn team hebben eerder onderzoek gepubliceerd over hoe slaap geheugen voor verbanden opbouwt, wat de mogelijkheid is om willekeurige of indirecte associaties tussen objecten, mensen of gebeurtenissen te onthouden. Het beschermt ook tegen het vergeten van oude herinneringen.

Het probleem van catastrofale vergetelheid

Kunstmatige neurale netwerken putten inspiratie uit de architectuur van de menselijke hersenen om AI-technologieën en -systemen te verbeteren. Terwijl deze technologieën supermenselijke prestaties hebben bereikt in de vorm van computationele snelheid, hebben ze één grote beperking. Wanneer neurale netwerken sequentieel leren, overschrijft nieuwe informatie eerder opgeslagen informatie in een fenomeen dat catastrofale vergetelheid wordt genoemd.

“Daarentegen leren de menselijke hersenen continu en integreren ze nieuwe gegevens in bestaande kennis; doorgaans leren ze het beste wanneer nieuwe training wordt afgewisseld met periodes van slaap voor geheugensconsolidatie,” zegt Bazhenov.

Het team gebruikte spiking neurale netwerken die kunstmatig natuurlijke neurale systemen nabootsen. In plaats van continu te communiceren, wordt informatie overgedragen als discrete gebeurtenissen, of spikes, op bepaalde tijdstippen.

Slaap nabootsen in neurale netwerken

De onderzoekers ontdekten dat wanneer spiking netwerken werden getraind op nieuwe taken met occasionele off-line periodes die slaap nabootsten, het probleem van catastrofale vergetelheid werd gemilderd. Net als de menselijke hersenen, zeggen de onderzoekers dat “slaap” de netwerken in staat stelt om oude herinneringen te herhalen zonder expliciet gebruik te maken van oude trainingsgegevens.

“Wanneer we nieuwe informatie leren, vuren neuronen in een specifieke volgorde en worden de synaptische verbindingen ertussen versterkt,” zegt Bazhenov. “Tijdens slaap worden de spiking patronen die we overdag hebben geleerd, spontaan herhaald. Dit wordt reactivatie of replay genoemd.

“Synaptische plasticiteit, de capaciteit om te worden veranderd of gevormd, is nog steeds aanwezig tijdens slaap en kan de synaptische gewichtpatronen die de herinnering vertegenwoordigen, verder versterken, waardoor vergetelheid kan worden voorkomen of kennis kan worden overgedragen van oude naar nieuwe taken.”

Het team vond dat door deze aanpak toe te passen op kunstmatige neurale netwerken, het hielp de netwerken om catastrofale vergetelheid te vermijden.

“Het betekende dat deze netwerken continu konden leren, net als mensen of dieren,” vervolgt Bazhenov. “Het begrijpen van hoe de menselijke hersenen informatie verwerken tijdens slaap kan helpen om het geheugen van mensen te verbeteren. Het versterken van slaapritmes kan leiden tot beter geheugen.

“In andere projecten gebruiken we computermodellen om optimale strategieën te ontwikkelen om stimulatie tijdens slaap toe te passen, zoals auditieve tonen, die slaapritmes versterken en het leren verbeteren. Dit kan vooral belangrijk zijn wanneer het geheugen niet optimaal is, zoals wanneer het geheugen afneemt bij het ouder worden of bij bepaalde aandoeningen zoals de ziekte van Alzheimer.”

Alex leidt de AI-gedreven nieuwsoperaties van Unite.AI, waarbij journalistiek, onderzoek en automatisering worden gecombineerd om tijdige en schaalbare berichtgeving over kunstmatige intelligentie te ondersteunen. Zijn werk helpt ervoor te zorgen dat opkomende AI-ontwikkelingen efficiënt naar voren worden gebracht, terwijl de redactionele normen van de publicatie worden gehandhaafd.