Rețelele Neuronale Învață Mai Bine Prin Imitarea Modelului De Somn Uman

O echipă de cercetători de la Universitatea din California – San Diego explorează modul în care rețelele neuronale artificiale ar putea imita modelele de somn ale creierului uman pentru a mitiga problema uitării catastrofale.

Cercetarea a fost publicată în PLOS Computational Biology.

În medie, oamenii necesită 7 până la 13 ore de somn pe 24 de ore. În timp ce somnul relaxează corpul în multe moduri, creierul rămâne foarte activ.

Creierul Activ În Timpul Somnului

Maxim Bazhenov, PhD, este profesor de medicină și cercetător în domeniul somnului la Școala de Medicină a Universității din California San Diego.

„Creierul este foarte ocupat când dormim, repetând ceea ce am învățat în timpul zilei”, spune Bazhenov. „Somnul ajută la reorganizarea amintirilor și le prezintă în modul cel mai eficient.”

Bazhenov și echipa sa au publicat lucrări anterioare despre modul în care somnul construiește memoria rațională, care este capacitatea de a-și aminti asocieri arbitrare sau indirecte între obiecte, oameni sau evenimente. De asemenea, protejează împotriva uitării amintirilor vechi.

Problema Uitării Catastrofale

Rețelele neuronale artificiale își iau inspirația din arhitectura creierului uman pentru a îmbunătăți tehnologiile și sistemele de inteligență artificială. În timp ce aceste tehnologii au reușit să atingă performanțe supraomenești sub forma vitezei de calcul, ele au o limitare majoră. Când rețelele neuronale învață secvențial, noile informații șterg informațiile anterioare într-un fenomen cunoscut sub numele de uitare catastrofală.

„În contrast, creierul uman învață continuu și incorporează noile date în cunoștințele existente, și de obicei învață cel mai bine atunci când noile antrenamente sunt alternate cu perioade de somn pentru consolidarea memoriei”, spune Bazhenov.

Echipa a folosit rețele neuronale cu impulsuri care imită sistemele neuronale naturale. În loc să fie comunicate continuu, informațiile sunt transmise sub formă de evenimente discrete, sau impulsuri, la anumite puncte de timp.

Imitarea Somnului În Rețelele Neuronale

Cercetătorii au descoperit că atunci când rețelele cu impulsuri au fost antrenate pe noi sarcini cu perioade ocazionale offline care imită somnul, problema uitării catastrofale a fost mitigată. Asemenea creierului uman, cercetătorii spun că „somnul” permite rețelelor să reiau vechile amintiri fără a folosi în mod explicit vechile date de antrenament.

„Când învățăm informații noi, neuronii se activează într-o ordine specifică și aceasta crește sinapsele dintre ei”, spune Bazhenov. „În timpul somnului, modelele de impulsuri învățate în timpul stării de veghe sunt repetate spontan. Acesta este numit reactivare sau reluare.

„Plasticitatea sinaptică, capacitatea de a fi alterată sau modelată, este încă prezentă în timpul somnului și poate consolida în continuare modelele de greutate sinaptică care reprezintă memoria, ajutând la prevenirea uitării sau la facilitarea transferului de cunoștințe de la sarcini vechi la noi sarcini.”

Echipa a constatat că, aplicând această abordare la rețelele neuronale artificiale, a ajutat rețelele să evite uitarea catastrofală.

„A însemnat că aceste rețele puteau învăța continuu, ca oamenii sau animalele”, continuă Bazhenov. „Înțelegerea modului în care creierul uman procesează informații în timpul somnului poate ajuta la consolidarea memoriei la subiecții umani. Consolidarea ritmurilor de somn poate duce la o memorie mai bună.

„În alte proiecte, folosim modele computaționale pentru a dezvolta strategii optime pentru a aplica stimularea în timpul somnului, cum ar fi tonurile auditive, care îmbunătățesc ritmurile de somn și îmbunătățesc învățarea. Acest lucru poate fi deosebit de important atunci când memoria nu este optimă, cum ar fi atunci când memoria scade odată cu îmbătrânirea sau în anumite condiții, cum ar fi boala Alzheimer.”