Modelli e piattaforme di IA
DeepMind Segnala un Nuovo Metodo di Addestramento dell’Intelligenza Artificiale di Apprendimento per Rinforzo in Modo Sicuro
Aggiungi Unite.AI alle tue fonti preferite su Google
L’apprendimento per rinforzo è una promettente direzione di sviluppo dell’intelligenza artificiale, che produce intelligenza artificiale in grado di gestire compiti estremamente complessi. Gli algoritmi di apprendimento per rinforzo vengono utilizzati nella creazione di sistemi di robotica mobile e auto a guida autonoma, tra le altre applicazioni. Tuttavia, a causa del modo in cui l’intelligenza artificiale di apprendimento per rinforzo viene addestrata, possono occasionalmente manifestarsi comportamenti bizzarri e inaspettati. Questi comportamenti possono essere pericolosi e i ricercatori di intelligenza artificiale li definiscono come il “problema di esplorazione sicura”, dove l’intelligenza artificiale rimane bloccata nell’esplorazione di stati insicuri.
Recentemente, il laboratorio di ricerca di intelligenza artificiale di Google (GOOGL ), DeepMind, ha pubblicato un documento che propone nuovi metodi per affrontare il problema di esplorazione sicura e addestrare l’intelligenza artificiale di apprendimento per rinforzo in modo più sicuro. Il metodo suggerito da DeepMind corregge anche per il problema di “reward hacking” o di trovare scorciatoie nei criteri di ricompensa.
Il nuovo metodo di DeepMind utilizza due sistemi diversi per guidare il comportamento dell’intelligenza artificiale in situazioni in cui potrebbe verificarsi un comportamento insicuro. I due sistemi utilizzati dalla tecnica di addestramento di DeepMind sono un modello generativo e un modello di dinamica in avanti. Entrambi questi modelli vengono addestrati su una varietà di dati, come dimostrazioni di esperti di sicurezza e traiettorie di veicoli completamente casuali. I dati vengono etichettati da un supervisore con valori di ricompensa specifici e l’agente di intelligenza artificiale imparerà a riconoscere i modelli di comportamento che gli permetteranno di raccogliere la massima ricompensa. Gli stati insicuri sono stati etichettati e, una volta che il modello ha imparato a prevedere con successo le ricompense e gli stati insicuri, viene distribuito per eseguire le azioni mirate.
Il team di ricerca spiega nel documento che l’idea è quella di creare comportamenti possibili da zero, suggerire i comportamenti desiderati e avere questi scenari ipotetici il più possibile informativi, evitando al contempo di interferire direttamente con l’ambiente di apprendimento. Il team di DeepMind definisce questo approccio come ReQueST, o sintesi di query di ricompensa tramite ottimizzazione di traiettoria.
ReQueST è in grado di portare a quattro tipi diversi di comportamento. Il primo tipo di comportamento tenta di massimizzare l’incertezza riguardo ai modelli di ricompensa dell’ensemble. Nel frattempo, il comportamento due e tre tenta di minimizzare e massimizzare le ricompense previste. Le ricompense previste vengono minimizzate per portare alla scoperta di comportamenti che il modello potrebbe prevedere in modo errato. D’altra parte, la ricompensa prevista viene massimizzata per portare a etichette di comportamento che possiedono il valore informativo più alto. Infine, il quarto tipo di comportamento tenta di massimizzare la novità delle traiettorie, in modo che il modello continui a esplorare indipendentemente dalle ricompense proiettate.
Una volta che il modello ha raggiunto il livello desiderato di raccolta di ricompense, un agente di pianificazione viene utilizzato per prendere decisioni basate sulle ricompense apprese. Questo schema di controllo predittivo permette agli agenti di imparare a evitare stati insicuri utilizzando il modello dinamico e prevedendo le possibili conseguenze, a differenza dei comportamenti degli algoritmi che imparano attraverso la prova e l’errore.
Come riportato da VentureBeat, i ricercatori di DeepMind ritengono che il loro progetto sia il primo sistema di apprendimento per rinforzo in grado di imparare in modo controllato e sicuro:
“A nostra conoscenza, ReQueST è il primo algoritmo di modellazione di ricompensa che apprende in modo sicuro sugli stati insicuri e si estende all’addestramento di modelli di ricompensa di reti neurali in ambienti con stati continui ad alta dimensionalità. Finora, abbiamo dimostrato l’efficacia di ReQueST solo in domini simulati con dinamiche relativamente semplici. Una direzione per il lavoro futuro è testare ReQueST in domini 3D con fisica più realistica e altri agenti che agiscono nell’ambiente.”
