Echipa de cercetare MIT proiectează o rețea AI pentru a rezista exemplarelor adversative

O echipă de cercetători de la MIT a dezvoltat un algoritm de învățare profundă destinat să ajute IA să facă față “exemplarelor” adversative, care pot determina o IA să facă previziuni greșite și să efectueze acțiuni greșite. Algoritmul proiectat de echipa MIT poate ajuta sistemele IA să-și mențină acuratețea și să evite greșelile atunci când se confruntă cu puncte de date confuze.

Sistemele IA analizează caracteristicile de intrare ale unui eveniment pentru a decide cum să răspundă la acel eveniment. O IA responsabilă cu manevrarea unui vehicul autonom trebuie să preia date de la camerele vehiculului și să decidă ce să facă pe baza datelor conținute în acele imagini. Cu toate acestea, există șansa ca datele de imagine analizate de IA să nu fie o reprezentare precisă a lumii reale. O eroare în sistemul de cameră poate altera unele pixeli, determinând IA să tragă concluzii incorecte despre cursul de acțiune adecvat.

“Intrările adversative” sunt ca iluziile optice pentru un sistem IA. Sunt intrări care confundă un IA într-un anumit fel. Intrările adversative pot fi create cu scopul expres de a determina o IA să facă greșeli, prin reprezentarea datelor într-un mod care face IA să creadă că conținutul unui exemplu este una, și nu alta. De exemplu, este posibil să se creeze un exemplu adversativ pentru un sistem de viziune computerizată, modificând ușor imagini cu pisici, determinând IA să clasifice greșit imaginile ca monitoare de calculator. Echipa de cercetare MIT a proiectat un algoritm pentru a ajuta la apărarea împotriva exemplarelor adversative, permițând modelului să mențină un anumit grad de “scepticism” față de intrările pe care le primește.

Cercetătorii MIT au numit abordarea lor “Rezistență adversativă certificată pentru învățarea profundă prin întărire”, sau CARRL. CARRL este alcătuit dintr-o rețea de învățare prin întărire și o rețea neurală profundă tradițională, unite. Învățarea prin întărire utilizează conceptul de “recompense” pentru a antrena un model, oferind modelului o recompensă proporțională cu cât se apropie de atingerea obiectivului. Modelul de învățare prin întărire este utilizat pentru a antrena o rețea Deep Q, sau DQN. DQN funcționează ca rețelele neurale tradiționale, dar asociază valorile de intrare cu un nivel de recompensă, asemănător sistemelor de învățare prin întărire.

CARRL funcționează prin modelarea unei game de valori posibile diferite pentru datele de intrare.

Presupunând că IA încearcă să urmărească poziția unui punct într-o imagine mai mare, IA consideră că poziția punctului ar putea fi rezultatul influenței adversative și consideră regiuni în care punctul ar putea fi în schimb. Rețeaua ia decizii pe baza scenariului cel mai defavorabil pentru poziția punctului, stabilind acțiunea care ar produce cea mai mare recompensă în acest scenariu cel mai defavorabil.

Metoda obișnuită de apărare împotriva exemplarelor adversative implică rularea unor versiuni ușor modificate ale imaginii de intrare prin rețeaua IA pentru a vedea dacă aceeași decizie este luată întotdeauna. Dacă modificările imaginii nu afectează dramatic rezultatul, există o șansă bună ca rețeaua să fie rezistentă la exemplele adversative. Cu toate acestea, aceasta nu este o strategie viabilă pentru scenariile în care trebuie luate decizii rapide, deoarece acestea sunt metode de testare intensive din punct de vedere al timpului și al calculului. Din acest motiv, echipa MIT a încercat să creeze o rețea neurală care să poată lua decizii pe baza ipotezelor pesimiste, una capabilă să funcționeze în scenarii în care siguranța este critică.

Cercetătorii MIT au testat algoritmii lor, făcând IA să joace un joc de Pong. Ei au inclus exemple adversative, alimentând IA cu instanțe în care mingea era afișată puțin mai jos pe ecran decât era în realitate. Pe măsură ce influența exemplarelor adversative a crescut, tehnicile corective standard au început să eșueze, în timp ce CARRL a fost capabil să câștige mai multe jocuri în comparație. CARRL a fost testat și pe o sarcină de evitare a coliziunii. Sarcina s-a desfășurat într-un mediu virtual în care doi agenți diferiți au încercat să-și schimbe pozițiile fără a se lovi unul de altul. Echipa de cercetare a modificat percepția primului agent asupra celui de-al doilea agent, și CARRL a fost capabil să conducă cu succes primul agent în jurul celui de-al doilea agent, chiar și în condiții de incertitudine ridicată, deși a venit un moment în care CARRL a devenit prea precaut și a evitat în cele din urmă destinația.

Indiferent de aceasta, Michael Everett, postdoctorand în Departamentul de Aeronautică și Astronautică al MIT, care a condus studiul, a explicat că cercetarea ar putea avea implicații pentru capacitatea robotilor de a face față situațiilor imprevizibile. Așa cum a explicat Everett prin MIT News:

“Oamenii pot fi adversativi, cum ar fi să se pună în fața unui robot pentru a bloca senzorii săi sau să interacționeze cu ei, nu neapărat cu cele mai bune intenții”, spune Everett. “Cum poate un robot să gândească la toate lucrurile pe care oamenii le-ar putea încerca și să încerce să le evite? Ce fel de modele adversative dorim să ne apărăm împotriva lor? Acesta este ceva la care ne gândim cum să o facem.”