Cercetătorii se uită la animale pentru a oferi sistemelor de învățare prin întărire un simț comun

Cercetătorii în domeniul inteligenței artificiale de la instituții precum Imperial College London, University of Cambridge și Google DeepMind se uită la animale pentru a găsi inspirație pentru îmbunătățirea performanței sistemelor de învățare prin întărire. Într-un articol comun publicat în CellPress Reviews, intitulat „Inteligența artificială și simțul comun al animalelor”, cercetătorii argumentează că cogniția animală oferă repere utile și metode de evaluare pentru agenții de învățare prin întărire și poate informa, de asemenea, proiectarea sarcinilor și a mediilor.

Cercetătorii în domeniul inteligenței artificiale și inginerii au căutat de mult timp inspirație în rețelele neuronale biologice atunci când proiectează algoritmi, utilizând principii din știința comportamentului și neuroștiința pentru a informa structura algoritmilor. Cu toate acestea, majoritatea indiciilor pe care cercetătorii în domeniul inteligenței artificiale le iau din domeniile neuroștiinței și științei comportamentului se bazează pe oameni, cu cogniția copiilor mici și a sugarilor servind ca punct de focalizare. Cercetătorii în domeniul inteligenței artificiale nu au căutat încă multă inspirație din modelele animale, dar cogniția animală este o resursă neexploatată care are potențialul de a duce la progrese importante în spațiul învățării prin întărire.

Sistemele de învățare profundă prin întărire sunt antrenate printr-un proces de încercare și eroare, întărite cu recompense ori de câte ori un agent de învățare prin întărire se apropie de finalizarea unui obiectiv dorit. Acest lucru este foarte asemănător cu învățarea unui animal să execute o sarcină dorită, utilizând alimente ca recompensă. Biologii și specialiștii în cogniția animală au efectuat multe experimente pentru a evalua capacitățile cognitive ale unei varietăți de animale diferite, inclusiv câini, urși, veverițe, porci, corbi, delfini, pisici, șoareci, elefanți și caracatițe. Multe animale prezintă spectacole impresionante de inteligență, iar unele animale, cum ar fi elefanții și delfinii, pot avea chiar și o teorie a minții.

Examinarea corpului de cercetare referitor la cogniția animală ar putea inspira cercetătorii în domeniul inteligenței artificiale să considere problemele din unghiuri diferite. Pe măsură ce învățarea profundă prin întărire a devenit mai puternică și mai sofisticată, cercetătorii în domeniul inteligenței artificiale specializați în acest domeniu caută modalități noi de testare a capacităților cognitive ale agenților de învățare prin întărire. În articolul de cercetare, echipa de cercetare face referire la tipurile de experimente efectuate cu primate și păsări, menționând că își propun să proiecteze sisteme capabile să realizeze sarcini similare, oferind unui sistem de inteligență artificială un fel de „simț comun”. Conform autorilor articolului, ei „susțin o abordare în care agenții RL, poate cu arhitecturi încă nedezvoltate, dobândesc ceea ce este necesar prin interacțiune prelungită cu medii virtuale bogate”.

Conform unui raport de pe VentureBeat, cercetătorii în domeniul inteligenței artificiale argumentează că simțul comun nu este un atribut unic al oamenilor și că el depinde de o înțelegere a proprietăților de bază ale lumii fizice, cum ar fi modul în care un obiect ocupă un punct și spațiu, care sunt constrângerile asupra mișcărilor acelui obiect și o apreciere pentru cauză și efect. Animalele prezintă aceste trăsături în studii de laborator. De exemplu, corbii înțeleg că obiectele sunt lucruri permanente, deoarece sunt capabili să recupereze semințe chiar și atunci când semințele sunt ascunse de ei, acoperite de alt obiect.

Pentru a dota un sistem de învățare prin întărire cu aceste proprietăți, cercetătorii argumentează că vor trebui să creeze sarcini care, împreună cu arhitectura potrivită, vor crea agenți capabili să transfere principiile învățate la alte sarcini. Cercetătorii argumentează că antrenamentul pentru un astfel de model ar trebui să implice tehnici care să solicite un agent să dobândească o înțelegere a unui concept după ce a fost expus la doar câteva exemple, ceea ce se numește antrenament cu puține exemple. Acest lucru este în contrast cu sutele sau miile de încercări care sunt de obicei utilizate în antrenamentul prin încercare și eroare al unui agent RL.

Echipa de cercetare explică mai departe că, deși unii agenți RL moderni pot învăta să rezolve mai multe sarcini, nu este clar dacă agenții RL ar putea învăta un concept atât de abstract ca „simțul comun”. Dacă ar exista un agent capabil să învețe un astfel de concept, ar trebui să aibă teste capabile să determine dacă un agent RL a înțeles conceptul de container.

DeepMind, în special, este entuziasmat să se implice în noi și diferite modalități de dezvoltare și testare a agenților de învățare prin întărire. Recent, la conferința Stanford HAI care a avut loc la începutul lunii octombrie, șeful de cercetare în neuroștiință de la DeepMind, Matthew Botvinick, a îndemnat cercetătorii și inginerii în domeniul inteligenței artificiale să colaboreze mai mult în alte domenii ale științei. Botvinick a subliniat importanța lucrului interdisciplinar cu psihologii și neuroștiința pentru domeniul inteligenței artificiale într-o prelegere intitulată „Triangularea inteligenței: Contopirea neuroștiinței, psihologiei și inteligenței artificiale”.