Nieuw onderzoek suggereert dat kunstmatige hersenen baat kunnen hebben bij slaap

Nieuw onderzoek van Los Alamos National Laboratory suggereert dat kunstmatige hersenen waarschijnlijk profiteren van perioden van rust, net als levende hersenen.

Het onderzoek zal worden gepresenteerd op de Women in Computer Vision Workshop in Seattle op 14 juni.

Yijing Watkins is een computerwetenschapper bij Los Alamos National Laboratory.

“We bestuderen spiking neural networks, die leren op een manier die lijkt op die van levende hersenen”, zei Watkins. “We waren gefascineerd door de mogelijkheid om een neuromorfische processor te trainen op een manier die analoog is aan de manier waarop mensen en andere biologische systemen leren van hun omgeving tijdens de kinderontwikkeling.”

Oplossing voor instabiliteit in netwerksimulaties

Watkins en het team ontdekten dat continue perioden van onbegeleide leer leidden tot instabiliteit in de netwerksimulaties. Echter, toen het team de netwerken blootstelde aan toestanden die het resultaat zijn van de golven die levende hersenen ervaren tijdens de slaap, kon de stabiliteit worden hersteld.

“Het was alsof we de neurale netwerken het equivalent van een goede nachtrust gaven”, zei Watkins.

Het team maakte de ontdekking toen ze werkten aan het ontwikkelen van neurale netwerken op basis van hoe mensen en andere biologische systemen leren om te zien. Het team ondervond enkele uitdagingen bij het stabiliseren van gesimuleerde neurale netwerken die ondergingen onbegeleide dictionary-training. Onbegeleide dictionary-training houdt in dat objecten worden geclassificeerd zonder eerder voorbeelden te gebruiken voor vergelijking.

Garrett Kenyon is een computerwetenschapper bij Los Alamos en medeauteur van de studie.

“Het probleem van hoe leer systemen te voorkomen dat ze onstabiel worden, komt eigenlijk alleen maar naar voren wanneer men biologisch realistische, spiking neuromorfische processors probeert te gebruiken of wanneer men biologie zelf probeert te begrijpen”, zei Kenyon. “De overgrote meerderheid van machine learning-, deep learning- en AI-onderzoekers hebben nooit te maken met dit probleem, omdat ze in de zeer kunstmatige systemen die ze bestuderen, het voordeel hebben van het uitvoeren van globale wiskundige operaties die het effect hebben van het reguleren van de algehele dynamische versterking van het systeem.”

Slaap als laatste redmiddel

Volgens de onderzoekers was het blootstellen van de netwerken aan een kunstmatige analogon van slaap hun laatste redmiddel om ze te stabiliseren. Na het experimenteren met verschillende soorten ruis, die lijkt op de statische ruis tussen radiostations, kwamen de beste resultaten van de golven van Gaussian-ruis. Dit type ruis omvat een breed scala aan frequenties en amplitudes.

De onderzoekers kwamen met de hypothese dat tijdens de slow-wave slaap de ruis de invoer nabootst die biologische neuronen ontvangen. De resultaten suggereerden dat slow-wave slaap een rol kan spelen bij het waarborgen dat corticale neuronen geen hallucinaties ervaren en hun stabiliteit behouden.

Het team zal nu werken aan het implementeren van het algoritme op Intel’s Loihi-neuromorfische chip, in de hoop dat de slaap zal helpen om informatie van een siliconen retina-camera in real-time te verwerken. Als het onderzoek vaststelt dat kunstmatige hersenen baat hebben bij slaap, is het waarschijnlijk dat hetzelfde ook geldt voor androids en andere intelligente machines.

Bron: Gebruik van sinusoidaal-gemoduleerde ruis als surrogaat voor slow-wave slaap om stabiele onbegeleide dictionary-leer te bereiken in een spike-gebaseerd sparse coding-model, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, Verenigde Staten)