Rețelele Neuronale Învață Mai Bine Prin Immitarea Modelelor de Somn Uman

O echipă de cercetători de la Universitatea California – San Diego explorează modul în care rețelele neuronale artificiale ar putea imita modelele de somn ale creierului uman pentru a mitigă problema uitării catastrofice.

Cercetarea a fost publicată în PLOS Computational Biology.

În medie, oamenii necesită 7 până la 13 ore de somn pe 24 de ore. În timp ce somnul relaxează corpul în multe moduri, creierul rămâne foarte activ.

Creierul Activ în Timpul Somnului

Maxim Bazhenov, PhD, este profesor de medicină și cercetător al somnului la Școala de Medicină a Universității California San Diego.

“Creierul este foarte ocupat când dormim, repetând ceea ce am învățat în timpul zilei”, spune Bazhenov. “Somnul ajută la reorganizarea amintirilor și le prezintă în modul cel mai eficient”.

Bazhenov și echipa sa au publicat lucrări anterioare despre modul în care somnul construiește memoria rațională, care este capacitatea de a-și aminti asocierile arbitrare sau indirecte între obiecte, oameni sau evenimente. De asemenea, protejează împotriva uitării amintirilor vechi.

Problema Uitării Catastrofice

Rețelele neuronale artificiale se inspiră din arhitectura creierului uman pentru a îmbunătăți tehnologiile și sistemele de inteligență artificială. În timp ce aceste tehnologii au reușit să atingă performanțe supraomenești în ceea ce privește viteza de calcul, au o limitare majoră. Când rețelele neuronale învață secvențial, informațiile noi suprascriu informațiile anterioare într-un fenomen cunoscut sub numele de uitare catastrofică.

“În contrast, creierul uman învață continuu și incorporează noile date în cunoștințele existente, și de obicei învață cel mai bine atunci când noile antrenamente sunt alternate cu perioade de somn pentru consolidarea memoriei”, spune Bazhenov.

Echipa a utilizat rețele neuronale cu impulsuri care imită sistemele neuronale naturale. În loc să fie comunicate continuu, informațiile sunt transmise sub formă de evenimente discrete, sau impulsuri, la anumite puncte de timp.

Imitarea Somnului în Rețelele Neuronale

Cercetătorii au descoperit că atunci când rețelele cu impulsuri au fost antrenate pe noi sarcini cu perioade offline ocazionale care imită somnul, problema uitării catastrofice a fost mitigată. Asemenea creierului uman, cercetătorii spun că “somnul” permite rețelelor să reiau amintirile vechi fără a utiliza în mod explicit datele de antrenament vechi.

“Când învățăm informații noi, neuronii se activează într-o anumită ordine și aceasta crește sinapsele dintre ei”, spune Bazhenov. “În timpul somnului, modelele de impulsuri învățate în timpul stării de veghe sunt repetate spontan. Acesta se numește reactivare sau reluare.

“Plasticitatea sinaptică, capacitatea de a fi alterată sau modelată, este încă prezentă în timpul somnului și poate să consolideze în continuare modelele de greutate sinaptică care reprezintă memoria, ajutând la prevenirea uitării sau la transferul de cunoștințe de la sarcini vechi la noi sarcini”.

Echipa a constatat că prin aplicarea acestei abordări la rețelele neuronale artificiale, a ajutat rețelele să evite uitarea catastrofică.

“A însemnat că aceste rețele puteau învăța continuu, la fel ca oamenii sau animalele”, continuă Bazhenov. “Înțelegerea modului în care creierul uman procesează informații în timpul somnului poate ajuta la îmbunătățirea memoriei la subiecții umani. Îmbunătățirea ritmurilor de somn poate duce la o memorie mai bună.

“În alte proiecte, utilizăm modele computaționale pentru a dezvolta strategii optime de aplicare a stimulării în timpul somnului, cum ar fi tonuri auditive, care îmbunătățesc ritmurile de somn și îmbunătățesc învățarea. Acest lucru poate fi deosebit de important atunci când memoria nu este optimă, cum ar fi atunci când memoria scade odată cu îmbătrânirea sau în anumite condiții, cum ar fi boala Alzheimer”.