DeepMind Raportează O Nouă Metodă De Antrenare A Învățării De Intărire A IA În Siguranță

Învățarea de întărire este o direcție promițătoare a dezvoltării IA, producând IA care poate gestiona sarcini extrem de complexe. Algoritmii de învățare de întărire sunt utilizați în crearea sistemelor de robotizare mobilă și a mașinilor autonome, printre alte aplicații. Cu toate acestea, din cauza modului în care se antrenează IA de întărire, acestea pot manifesta, ocazional, comportamente ciudate și neașteptate. Aceste comportamente pot fi periculoase, iar cercetătorii IA se referă la această problemă ca la “problema de explorare sigură”, care este locul în care IA se blochează în explorarea stărilor nesigure.

Recent, laboratorul de cercetare IA al Google (GOOGL ), DeepMind, a publicat un articol care propune metode noi pentru a face față problemei de explorare sigură și pentru a antrena IA de învățare de întărire într-un mod mai sigur. Metoda sugerată de DeepMind corectează, de asemenea, pentru hacking-ul recompenselor sau pentru lacunele în criteriile de recompensă.

Noua metodă a lui DeepMind are două sisteme diferite destinate să ghideze comportamentul IA în situațiile în care pot apărea comportamente nesigure. Cele două sisteme utilizate de tehnica de antrenare a lui DeepMind sunt un model generativ și un model de dinamică înainte. Ambele modele sunt antrenate pe o varietate de date, cum ar fi demonstrațiile experților în siguranță și traseele vehiculului complet aleatoriu. Datele sunt etichetate de un supervisor cu valori de recompensă specifice, și agentul IA va identifica modele de comportament care îi vor permite să colecteze cea mai mare recompensă. Stările nesigure au fost, de asemenea, etichetate, și odată ce modelul a reușit să prevadă cu succes recompensele și stările nesigure, este implementat pentru a efectua acțiunile vizate.

Echipa de cercetare explică în articol că ideea este de a crea comportamente posibile de la zero, de a sugera comportamentele dorite și de a avea aceste scenarii ipotetice să fie la fel de informative pe cât posibil, evitând, în același timp, interferența directă cu mediul de învățare. Echipa DeepMind se referă la această abordare ca ReQueST, sau sinteză de întrebare de recompensă prin optimizarea traseului.

ReQueST poate duce la patru tipuri diferite de comportament. Primul tip de comportament încearcă să maximizeze incertitudinea cu privire la modelele de recompensă ale ansamblului. În timp ce comportamentul doi și trei încearcă să minimizeze și să maximizeze recompensele prevăzute. Recompensele prevăzute sunt minimizate pentru a duce la descoperirea comportamentelor pe care modelul le poate prezice în mod greșit. Pe de altă parte, recompensa prevăzută este maximizată pentru a duce la etichete de comportament care posedă cea mai mare valoare informativă. În final, al patrulea tip de comportament încearcă să maximizeze noutatea traseelor, astfel încât modelul să continue să exploreze, indiferent de recompensele proiectate.

Odată ce modelul a atins nivelul dorit de colectare a recompenselor, un agent de planificare este utilizat pentru a lua decizii pe baza recompenselor învățate. Acest sistem de control predictiv pe baza modelului permite agenților să învețe să evite stările nesigure, utilizând modelul dinamic și prevăzând consecințele posibile, în contrast cu comportamentul algoritmilor care învață prin încercări și erori.

Așa cum a fost raportat de VentureBeat, cercetătorii DeepMind cred că proiectul lor este primul sistem de învățare de întărire care poate învăța într-un mod controlat și sigur:

„În ceea ce ne privește, ReQueST este primul algoritm de modelare a recompenselor care învață în siguranță despre stările nesigure și se extinde la antrenarea modelelor de recompensă neuronale în medii cu stări continue de înaltă dimensiune. Până acum, am demonstrat doar eficacitatea ReQueST în domenii simulate cu dinamici relativ simple. O direcție pentru lucrările viitoare este de a testa ReQueST în domenii 3D cu fizică mai realistă și alți agenți care acționează în mediu.”