Echipa de cercetare MIT proiectează o rețea AI pentru a rezista exemplarelor adverse

O echipă de cercetători de la MIT a dezvoltat un algoritm de învățare profundă destinat să ajute IA să facă față “exemplarelor adverse”, care pot determina o IA să facă previziuni greșite și să efectueze acțiuni greșite. Algoritmul proiectat de echipa MIT poate ajuta sistemele IA să-și mențină acuratețea și să evite greșelile atunci când se confruntă cu puncte de date confuze.

Sistemele IA analizează caracteristicile de intrare ale unui eveniment pentru a decide cum să răspundă la acel eveniment. O IA responsabilă cu manevrarea unui vehicul autonom trebuie să prelucreze datele de la camerele vehiculului și să decidă ce să facă pe baza datelor conținute în acele imagini. Cu toate acestea, există șansa ca datele de imagine analizate de IA să nu fie o reprezentare exactă a lumii reale. O eroare în sistemul de cameră poate altera câteva pixeli, determinând IA să tragă concluzii greșite despre cursul de acțiune adecvat.

“Intrările adverse” sunt ca iluziile optice pentru un sistem IA. Sunt intrări care confundă un IA într-un anumit mod. Intrările adverse pot fi create cu scopul express de a determina o IA să facă greșeli, prin reprezentarea datelor într-un mod care face IA să creadă că conținutul unui exemplu este una, și nu alta. De exemplu, este posibil să se creeze un exemplu advers pentru un sistem de viziune computerizată prin efectuarea unor schimbări minore la imagini de pisici, determinând IA să clasifice greșit imaginile ca monitoare de calculator. Echipa de cercetare MIT a proiectat un algoritm pentru a ajuta la apărarea împotriva exemplarelor adverse, permițând modelului să mențină un anumit nivel de “scepticism” față de intrările pe care le primește.

Cercetătorii MIT au numit abordarea lor “Rezistență adversă certificată pentru învățarea profundă prin întărire”, sau CARRL. CARRL este alcătuit dintr-o rețea de învățare prin întărire și o rețea neuronală profundă tradițională, unite împreună. Învățarea prin întărire utilizează conceptul de “recompense” pentru a antrena un model, oferind modelului o recompensă proporțională cu cât se apropie de obiectivul său. Modelul de învățare prin întărire este utilizat pentru a antrena o rețea Deep Q, sau DQN. DQN funcționează ca o rețea neuronală tradițională, dar asociază și valori de intrare cu un nivel de recompensă, similar sistemelor de învățare prin întărire.

CARRL funcționează prin modelarea unei game de valori posibile diferite pentru datele de intrare.

Presupunând că IA încearcă să urmărească poziția unui punct într-o imagine mai mare, IA consideră că poziția punctului ar putea fi rezultatul influenței adverse și consideră regiuni în care punctul ar putea fi în schimb. Rețeaua ia decizii pe baza scenariului cel mai rău pentru poziția punctului, stabilind acțiunea care ar produce cea mai mare recompensă în acest scenariu cel mai rău.

Metoda obișnuită de apărare împotriva exemplarelor adverse implică rularea unor versiuni ușor modificate ale imaginii de intrare prin rețeaua IA pentru a vedea dacă aceeași decizie este luată întotdeauna. Dacă modificările imaginii nu afectează semnificativ rezultatul, există o șansă bună ca rețeaua să fie rezistentă la exemplele adverse. Cu toate acestea, aceasta nu este o strategie viabilă pentru scenariile în care trebuie luate decizii rapide, deoarece acestea sunt metode de testare intensive din punct de vedere al timpului și al calculului. Din acest motiv, echipa MIT a încercat să creeze o rețea neuronală care să poată lua decizii pe baza ipotezelor celor mai rele, capabilă să funcționeze în scenarii în care siguranța este critică.

Cercetătorii MIT au testat algoritmii lor prin faptul că IA a jucat un joc de Pong. Ei au inclus exemple adverse prin alimentarea IA cu instanțe în care mingea a fost afișată puțin mai jos pe ecran decât era în realitate. Pe măsură ce influența exemplarelor adverse a crescut, tehnicile corective standard au început să eșueze, în timp ce CARRL a fost capabil să câștige mai multe jocuri prin comparație. CARRL a fost testat și pe o sarcină de evitare a coliziunii. Sarcina s-a desfășurat într-un mediu virtual în care doi agenți diferiți au încercat să-și schimbe pozițiile fără a se lovi unul de celălalt. Echipa de cercetare a modificat percepția primului agent asupra celui de-al doilea agent, și CARRL a fost capabil să direcționeze cu succes primul agent în jurul celui de-al doilea agent, chiar și în condiții de incertitudine ridicată, deși a existat un moment în care CARRL a devenit prea precaut și a evitat în cele din urmă destinația în totalitate.

Indiferent, Michael Everett, postdoctorand în cadrul Departamentului de Aeronautică și Astronautică al MIT, care a condus studiul, a explicat că cercetarea ar putea avea implicații pentru capacitatea robotilor de a face față situațiilor imprevizibile. Așa cum a explicat Everett prin MIT News:

“Oamenii pot fi adversi, ca atunci când se pun în fața unui robot pentru a-i bloca senzorii, sau interacționează cu ei, nu neapărat cu cele mai bune intenții”, spune Everett. “Cum poate un robot să gândească la toate lucrurile pe care oamenii le-ar putea încerca să facă și să încerce să le evite? Ce fel de modele adverse dorim să ne apărăm împotriva lor? Acesta este ceva la care ne gândim cum să facem.”