Roboții pot învăța sarcini complicate din câteva demonstrații

În una dintre cele mai recente dezvoltări în domeniul robotică, cercetătorii de la Universitatea din California de Sud (USC) au dezvoltat un sistem în care roboții pot învăța sarcini complicate cu câteva demonstrații. Mai mult decât atât, unele dintre demonstrații pot fi imperfecte.

Cercetarea a fost prezentată la Conferința de Învățare a Roboților (CoRL) pe 18 noiembrie, sub titlul “Învățarea din demonstrații utilizând logica temporală a semnalelor.”

Sistemul

Calitatea fiecărei demonstrații este măsurată astfel încât sistemul să poată învăța din succesele și eșecurile sale. În contrast cu metodele actuale, care necesită cel puțin 100 de demonstrații pentru a preda o sarcină specifică, noul sistem necesită doar câteva. În mod intuitiv, modul în care acești roboți învață este similar cu modul în care oamenii învață unii de la alții. De exemplu, oamenii urmăresc și învață de la alții care finalizează sarcini cu succes sau imperfect.

Aniruddh Puranic este autorul principal al cercetării și student doctorand în informatică la Școala de Inginerie Viterbi a USC.

“Multe sisteme de învățare automată și de întărire necesită cantități mari de date și sute de demonstrații – aveți nevoie de un om care să demonstreze de mai multe ori, ceea ce nu este fezabil”, a spus Puranic.

“De asemenea, majoritatea oamenilor nu au cunoștințe de programare pentru a specifica explicit ce trebuie să facă robotul, și un om nu poate demonstra tot ceea ce un robot trebuie să știe”, a continuat el. “Ce se întâmplă dacă robotul întâmpină ceva pe care nu l-a văzut niciodată? Acesta este unul dintre principalele provocări.”

Cercetătorii au utilizat “logica temporală a semnalelor” sau STL pentru a determina calitatea demonstrațiilor, clasificându-le corespunzător și creând recompense inherente.

Există două motive principale pentru care cercetătorii au decis să utilizeze STL:

1. Prin învățarea prin demonstrații, roboții pot prelua imperfecțiuni sau chiar comportamente nesigure și acțiuni nedorite.
2. Demonstrațiile pot varia în calitate în funcție de utilizatorul care le furnizează, și unele demonstrații sunt mai bune indicatori ai comportamentului dorit decât altele.

Prin dezvoltarea sistemului în acest mod, robotul poate învăța din demonstrațiile imperfecte, chiar dacă nu îndeplinesc cerințele logice. Cu alte cuvinte, el își formează propria concluzie despre acuratețe sau succes.

Stefanos Nikolaidis este coautor și asistent universitar de informatică la USC Viterbi.

“Să zicem că roboții învață din diferite tipuri de demonstrații – ar putea fi o demonstrație practică, videoclipuri sau simulări – dacă fac ceva care este foarte nesigur, abordările standard vor face una dintre două lucruri: fie vor ignora complet demonstrația, fie, și mai rău, robotul va învăța lucrul greșit”, spune Nikolaidis.

“În contrast, într-un mod foarte inteligent, această lucrare utilizează un anumit tip de raționament comun în forma logicii pentru a înțelege care părți ale demonstrației sunt bune și care părți nu sunt”, continuă el. “În esență, acesta este exact ceea ce fac și oamenii.”

Logica Temporală a Semnalelor

Roboții pot raționa despre rezultatele actuale și viitoare prin STL, care este un limbaj simbolic matematic expresiv. Înainte de STL, cercetarea s-a bazat pe “logica temporală liniară”.

Jyo Deshmukh este un fost inginer Toyota și asistent universitar de informatică la USC.

“Când intrăm în lumea sistemelor cibernetice fizice, cum ar fi roboții și mașinile autonome, unde timpul este crucial, logica temporală liniară devine un pic incomodă, deoarece raționează despre secvențe de valori adevărate/false pentru variabile, în timp ce STL permite raționamentul despre semnale fizice”, spune Deshmukh.

Echipa de cercetători a fost surprinsă de nivelul de succes al sistemului.

“Comparativ cu un algoritm de ultimă generație, utilizat pe scară largă în aplicații de robotică, se observă o diferență de ordinul de mărime în ceea ce privește numărul de demonstrații necesare”, spune Nikolaidis.

Conform cercetătorilor, sistemele pot învăța din simulatoare de conducere și, în cele din urmă, din videoclipuri. Următorul pas este de a le testa pe roboți reali, deoarece testarea inițială a fost efectuată pe un simulator de joc. Sistemul va fi util pentru aplicații precum cele din mediile casnice, depozite și roboți de explorare spațială.

“Dacă vrem ca roboții să fie buni parteneri și să ajute oamenii, mai întâi trebuie să învețe și să se adapteze la preferințele umane în mod eficient”, spune Nikolaidis. “Metoda noastră oferă acest lucru.”