Insegnare ai robot a utilizzare gli strumenti con i campi di radianza neurali (NeRF)

Una nuova ricerca dell’Università del Michigan propone un metodo per insegnare ai robot a comprendere i meccanismi degli strumenti e di altri oggetti articolati del mondo reale, creando oggetti Neural Radiance Fields (NeRF) che dimostrano come questi oggetti si muovono, permettendo potenzialmente al robot di interagire con essi e utilizzarli senza una tediosa configurazione predefinita dedicata.

Utilizzando riferimenti noti per la motilità interna degli strumenti (o qualsiasi oggetto con un riferimento adatto), NARF22 può sintetizzare un’approssimazione fotorealistica dello strumento e del suo range di movimento e tipo di operazione. Fonte: https://progress.eecs.umich.edu/projects/narf/

I robot che devono fare più di evitare i pedoni o eseguire routine pre-programmate in modo elaborato (per le quali sono probabilmente stati etichettati e addestrati dataset non riutilizzabili a un certo costo) hanno bisogno di questa capacità di adattamento se devono lavorare con gli stessi materiali e oggetti con cui dobbiamo confrontarci.

Finora, ci sono stati diversi ostacoli per infondere sistemi robotici con questo tipo di versatilità. Questi includono la scarsità di dataset applicabili, molti dei quali presentano un numero molto limitato di oggetti; il costo elevato necessario per generare modelli 3D fotorealistici basati su mesh che possono aiutare i robot a imparare l’strumentalità nel contesto del mondo reale; e la qualità non fotorealistica di tali dataset che possono essere adatti alla sfida, facendo apparire gli oggetti disgiunti da ciò che il robot percepisce nel mondo intorno a lui, e addestrandolo a cercare un oggetto simile a un cartone che non apparirà mai nella realtà.

Per affrontare questo, i ricercatori del Michigan, il cui articolo è intitolato NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering, hanno sviluppato una pipeline a due stadi per generare oggetti articolati basati su NeRF che hanno un aspetto del “mondo reale” e che incorporano il movimento e le limitazioni conseguenti di qualsiasi oggetto articolato.

Sebbene appaia più complesso, i due stadi essenziali della pipeline NARF22 consistono nel rendering di parti statiche di strumenti mobili e poi nel compositare questi elementi in un secondo dataset che è informato sui parametri di movimento che questi elementi hanno, relativamente l’uno all’altro. Fonte: https://arxiv.org/pdf/2210.01166.pdf

Il sistema si chiama Neural Articulated Radiance Field – o NARF22, per distinguerlo da un altro progetto con un nome simile.

NARF22

Determinare se un oggetto sconosciuto sia potenzialmente articolato richiede una quantità quasi inimmaginabile di conoscenza precedente di tipo umano. Ad esempio, se non avessi mai visto un cassetto chiuso prima, potrebbe sembrare qualsiasi altro tipo di pannello decorativo – non è fino a quando non hai effettivamente aperto uno che internalizzi “cassetto” come un oggetto articolato con un solo asse di movimento (in avanti e indietro).

Pertanto NARF22 non è destinato a essere un sistema esplorativo per raccogliere oggetti e vedere se hanno parti mobili azionabili – un comportamento quasi simile a quello delle scimmie che comporterebbe una serie di scenari potenzialmente disastrosi. Piuttosto, la struttura si basa sulla conoscenza disponibile in Universal Robot Description Format (URDF) – un formato open source basato su XML che è ampiamente applicabile e adatto allo scopo. Un file URDF conterrà i parametri di movimento utilizzabili di un oggetto, nonché descrizioni e altri facet etichettati delle parti dell’oggetto.

Nelle pipeline convenzionali, è necessario descrivere essenzialmente le capacità di articolazione di un oggetto e etichettare i valori di giunzione pertinenti. Ciò non è un compito a buon mercato o facilmente scalabile. Invece, il flusso di lavoro NaRF22 rende i componenti individuali dell’oggetto prima di “assemblare” ciascun componente statico in una rappresentazione basata su NeRF articolata, con la conoscenza dei parametri di movimento fornita da URDF.

Nella seconda fase del processo, viene creato un renderer completamente nuovo che incorpora tutte le parti. Sebbene potrebbe essere più facile semplicemente concatenare le parti individuali in una fase precedente e saltare questo passaggio successivo, i ricercatori osservano che il modello finale – che è stato addestrato su una GPU NVIDIA RTX 3080 con un processore AMD 5600X – ha esigenze computazionali inferiori durante backpropagation rispetto a un’assemblea prematura e brutale.

Inoltre, il modello di secondo stadio funziona al doppio della velocità di un’assemblea concatenata e “brutale” e qualsiasi applicazione secondaria che possa aver bisogno di utilizzare informazioni sulle parti statiche del modello non avrà bisogno di accedere alle informazioni URDF, poiché queste sono già state incorporate nel renderer di secondo stadio.

Dati e esperimenti

I ricercatori hanno condotto una serie di esperimenti per testare NARF22: uno per valutare la resa qualitativa per ogni configurazione e posa dell’oggetto; un test quantitativo per confrontare i risultati resi con punti di vista simili visti da robot del mondo reale; e una dimostrazione della stima della configurazione e di una sfida di raffinamento a 6 DOF (profondità di campo) che ha utilizzato NARF22 per eseguire un’ottimizzazione basata su gradienti.

I dati di addestramento sono stati presi dal dataset Progress Tools di un articolo precedente di alcuni degli autori attuali. Progress Tools contiene circa seimila immagini RGB-D (cioè, incluse informazioni di profondità, essenziali per la visione robotica) a risoluzione 640×480. Le scene utilizzate includevano otto strumenti manuali, divisi nelle loro parti costituenti, complete di modelli di mesh e informazioni sulle proprietà cinematiche degli oggetti (cioè, il modo in cui sono progettati per muoversi e i parametri di quel movimento).

Il dataset Progress Tools presenta quattro strumenti articolati. Le immagini sopra sono render basati su NeRF da NARF22.

Per questo esperimento, un modello configurabile finale è stato addestrato utilizzando solo pinze per elettricisti, pinze a lungo naso e una morsa (vedi immagine sopra). I dati di addestramento contenevano una singola configurazione della morsa e una per ciascuna delle pinze.

L’implementazione di NARF22 si basa su FastNeRF, con i parametri di input modificati per concentrarsi sulla posa concatenata e codificata spazialmente degli strumenti. FastNeRF utilizza un percettore multistrato fattorizzato abbinato a un meccanismo di campionamento voxelizzato (i voxel sono essenzialmente pixel, ma con coordinate 3D complete, in modo che possano operare in uno spazio tridimensionale).

Per il test qualitativo, i ricercatori osservano che ci sono diverse parti occluse della morsa (cioè, la spina centrale, che non può essere conosciuta o indovinata osservando l’oggetto, ma solo interagendo con esso, e che il sistema ha difficoltà a creare questa “geometria sconosciuta”.

Rendering qualitativi degli strumenti.

Al contrario, le pinze sono state in grado di generalizzare bene a configurazioni nuove (cioè a estensioni e movimenti delle loro parti che sono all’interno dei parametri URDF, ma che non sono esplicitamente affrontate nel materiale di addestramento per il modello.

I ricercatori osservano, tuttavia, che gli errori di etichettatura per le pinze hanno portato a una diminuzione della qualità del rendering per le punte molto dettagliate degli strumenti, influenzando negativamente i rendering – un problema legato a preoccupazioni più ampie intorno alla logistica di etichettatura, alla gestione del budget e all’accuratezza nel settore della ricerca sulla visione computerizzata, piuttosto che a un difetto procedurale nella pipeline NARF22.

Risultati del test di accuratezza del rendering.

Per i test di stima della configurazione, i ricercatori hanno eseguito un raffinamento della posa e una stima della configurazione da una posa “rigida” iniziale, evitando qualsiasi caching o accelerazione utilizzata da FastNeRF stesso.

Poi hanno addestrato 17 scene ben ordinate del set di test di Progress Tools (che erano state tenute a parte durante l’addestramento), eseguendo 150 iterazioni di ottimizzazione del gradiente sotto l’ottimizzatore Adam. Questa procedura ha recuperato la stima della configurazione “estremamente bene”, secondo i ricercatori.

Risultati del test di stima della configurazione.

Pubblicato per la prima volta il 5 ottobre 2022.