Experții depășesc o barieră majoră în tehnologia inteligenței artificiale folosind mecanismul creierului

Un grup de experți în inteligență artificială (IA) din diverse instituții au depășit o “barieră majoră și de lungă durată pentru creșterea capacităților IA”. Echipa s-a orientat către creierul uman, așa cum se întâmplă adesea în dezvoltarea IA. În special, echipa s-a concentrat pe mecanismul de memorie al creierului uman cunoscut sub numele de “repetiție”.

Gido van de Ven este autorul principal și cercetător postdoctoral. El a fost alăturat de investigatorul principal Andreas Tolias de la Baylor, precum și de Hava Siegelmann de la UMass Amherst.

Cercetarea a fost publicată în Nature Communications.

Metoda nouă

Conform cercetătorilor, ei au dezvoltat o metodă nouă care protejează eficient rețelele neuronale adânci de “uitarea catastrofală”. Când o rețea neuronală învață ceva nou, poate uita ceea ce a fost învățat anterior.

Această barieră este ceea ce împiedică multe progrese în IA să aibă loc.

“O soluție ar fi să stocheze exemplele întâlnite anterior și să le reia atunci când învață ceva nou. Deși o astfel de “repetiție” sau “repetare” rezolvă uitarea catastrofală, reantrenarea constantă pe toate sarcinile învățate anterior este foarte ineficientă și cantitatea de date care ar trebui să fie stocată devine rapid de necontrolat”, au scris cercetătorii.

Creierul uman

Cercetătorii s-au inspirat din creierul uman, deoarece acesta poate construi informații fără a uita, ceea ce nu este cazul pentru rețelele neuronale IA. Dezvoltarea actuală s-a bazat pe lucrările anterioare ale cercetătorilor, inclusiv descoperirile referitoare la un mecanism din creier care se crede a fi responsabil pentru prevenirea uitării amintirilor. Acest mecanism este repetiția modelelor de activitate neuronală.

Conform lui Siegelmann, dezvoltarea majoră provine din “recunoașterea faptului că repetiția în creier nu stochează date”, ci “creierul generează reprezentări ale amintirilor la un nivel superior, mai abstract, fără a necesita generarea de amintiri detaliate”.

Siegelmann a luat aceste informații și s-a alăturat colegilor săi pentru a dezvolta o repetiție similară cu creierul în inteligența artificială, fără a stoca date. Așa cum este cazul creierului uman, rețeaua artificială ia ceea ce a văzut anterior pentru a genera reprezentări de nivel superior.

Metoda a fost foarte eficientă, chiar și cu doar câteva reprezentări generate prin repetiție, rezultând amintiri mai vechi care sunt reținute în timp ce se învață altele noi. Repetiția generativă este eficientă în prevenirea uitării catastrofale, iar unul dintre beneficiile majore este că permite sistemului să generalizeze de la o situație la alta.

Conform lui van de Ven, “Dacă rețeaua noastră cu repetiție generativă învață mai întâi să separe pisici de câini și apoi să separe urși de vulpi, va putea și să separe pisici de vulpi fără a fi instruită în mod special să o facă. Și, remarcabil, cu cât sistemul învață mai mult, cu atât devine mai bun la învățarea de sarcini noi”.

“Propunem o variantă nouă, inspirată de creier, a repetiției, în care reprezentările interne sau ascunse sunt repetate, generate de conexiunile de feedback modulate de context ale rețelei”, scrie echipa. “Metoda noastră a atins performanțe de ultimă generație la benchmark-urile de învățare continuă, fără a stoca date, și oferă un model nou pentru repetiția abstractă în creier”.

“Metoda noastră face mai multe predicții interesante despre modul în care repetiția ar putea contribui la consolidarea memoriei în creier”, continuă Van de Ven. “Suntem deja în curs de a efectua un experiment pentru a testa unele dintre aceste predicții”.