Ny forskning tyder på att artificiella hjärnor kan dra nytta av sömn

Ny forskning från Los Alamos National Laboratory tyder på att artificiella hjärnor nästan säkert drar nytta av perioder av vila, liknande levande hjärnor.

Forskningen kommer att presenteras på Women in Computer Vision Workshop i Seattle den 14 juni.

Yijing Watkins är en datavetare vid Los Alamos National Laboratory.

“Vi studerar spikande neurala nätverk, som är system som lär sig på samma sätt som levande hjärnor”, sa Watkins. “Vi var fascinerade av möjligheten att träna en neuromorf processor på ett sätt som är analogt med hur människor och andra biologiska system lär sig från sin omgivning under barndomsutvecklingen.”

Lösning av instabilitet i nätverkssimulationer

Watkins och teamet fann att kontinuerliga perioder av ostrukturerad inlärning ledde till instabilitet i nätverkssimulationerna. Men när teamet introducerade nätverken till tillstånd som är ett resultat av vågorna som levande hjärnor upplever under sömn, kunde stabiliteten återställas.

“Det var som om vi gav de neurala nätverken motsvarigheten till en god natts sömn”, sa Watkins.

Teamet gjorde upptäckten när de arbetade med att utveckla neurala nätverk baserade på hur människor och andra biologiska system lär sig att se. Teamet stötte på några utmaningar när det gällde att stabilisera simulerade neurala nätverk som genomgick ostrukturerad ordboksutbildning. Ostrukturerad ordboksutbildning innebär att klassificera objekt utan att ha tidigare exempel att använda för jämförelse.

Garrett Kenyon är en datavetare vid Los Alamos och medförfattare till studien.

“Frågan om hur man ska förhindra att lärande system blir instabila uppstår egentligen bara när man försöker använda biologiskt realistiska, spikande neuromorfa processorer eller när man försöker förstå biologi i sig”, sa Kenyon. “Den överväldigande majoriteten av maskinlärnings-, djuplärnings- och AI-forskare möter aldrig detta problem eftersom de i de mycket konstgjorda system de studerar har lyxen att utföra globala matematiska operationer som har effekten att reglera den övergripande dynamiska vinsten i systemet.”

Sömn som en sista utvägslösning

Enligt forskarna var exponering av nätverken för en artificiell analog av sömn deras sista utväg för att stabilisera dem. Efter att ha experimenterat med olika typer av brus, som är liknande den statiska mellan stationer på en radio, gav de bästa resultaten från vågorna av Gaussiskt brus. Denna typ av brus innehåller en stor variation och omfång av frekvenser och amplituder.

Forskarna kom fram till hypotesen att under långsam sömn bruset imiterar den inmatning som biologiska neuroner tar emot. Resultaten tydde på att långsam sömn kan spela en roll för att se till att corticale neuroner inte lider av hallucinationer och upprätthåller sin stabilitet.

Teamet kommer nu att arbeta med att implementera algoritmen på Intels Loihi-neuromorfa chip, i hopp om att sömnen kommer att hjälpa den att stabilt bearbeta information från en kamera i realtid. Om forskningen visar att artificiella hjärnor drar nytta av sömn, är det troligt att samma sak gäller för androider och andra intelligenta maskiner.

Källa: Användning av sinusformigt modulerat brus som en surrogat för långsam sömn för att uppnå stabil ostrukturerad ordboksutbildning i ett spikbaserat sparse kodningsmodell, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, USA)