Conversione di LiDAR in immagini foto-realistiche con una rete avversaria generativa

Earlier questa settimana, è stato rilasciato un video che mostra un sistema di guida autonoma Tesla che si schianta direttamente contro il lato di un veicolo fermo su un’autostrada nel giugno 2021. Il fatto che l’auto fosse scura e difficile da discernere ha sollevato una discussione sui limiti dell’affidarsi alla visione computerizzata in scenari di guida autonoma.

Il video rilasciato nel dicembre 2021 mostra il momento dell’impatto. Fonte: https://twitter.com/greentheonly/status/1473307236952940548

Sebbene la compressione video nel video ampiamente condiviso dia un’impressione leggermente esagerata di quanto rapidamente il camion immobilizzato ‘si sia avvicinato’ al conducente in questo caso, un video di alta qualità dello stesso evento dimostra che un conducente completamente allertato avrebbe comunque avuto difficoltà a rispondere con qualcosa di diverso da una sterzata tardiva o una frenata semi-effettiva.

Il video aggiunge alla controversia sulla decisione di Tesla di rimuovere i sensori radar per Autopilot, annunciata nel maggio 2021, e sulla sua posizione a favore di sistemi basati sulla visione rispetto ad altre tecnologie di eco-localizzazione, come LiDAR.

Per coincidenza, un nuovo articolo di ricerca da Israele questa settimana offre un approccio per combinare i domini LiDAR e visione computerizzata, convertendo i dati del punto cloud LiDAR in immagini foto-realistiche utilizzando una rete avversaria generativa (GAN).

Nel nuovo progetto da Israele, le auto nere identificate nei dati LiDAR vengono convertite in uno scenario ‘diurno’ per analisi basate sulla visione computerizzata, simile all’approccio che Tesla sta perseguendo per lo sviluppo del suo sistema Autopilot. Fonte: https://arxiv.org/pdf/2112.11245.pdf

Gli autori affermano:

‘I nostri modelli hanno imparato a prevedere immagini realistiche dai soli dati del punto cloud, anche immagini con auto nere.

‘Le auto nere sono difficili da rilevare direttamente dai dati del punto cloud a causa del loro basso livello di riflettività. Questo approccio potrebbe essere utilizzato in futuro per eseguire il riconoscimento di oggetti visivi su immagini foto-realistiche generate da dati LiDAR.’

Immagini foto-realistiche basate su LiDAR

Il nuovo articolo è intitolato Generazione di immagini foto-realistiche da dati del punto cloud LiDAR con reti avversarie generative, e proviene da sette ricercatori di tre facoltà accademiche israeliane, insieme a sei ricercatori di Innoviz Technologies.

I ricercatori hanno cercato di scoprire se la sintesi di immagini basata su GAN potesse essere prodotta a un tasso adeguato dai dati del punto cloud generati dai sistemi LiDAR, in modo che la successiva sequenza di immagini potesse essere utilizzata in flussi di lavoro di riconoscimento di oggetti e segmentazione semantica.

Dati

L’idea centrale, come in molti progetti di traslitterazione di immagini [x]>[x] innovativi, è quella di addestrare un algoritmo su dati accoppiati, dove le immagini del punto cloud LiDAR (che si basano sulla luce emessa dal dispositivo) vengono addestrate contro un frame corrispondente da una telecamera frontale.

Poiché le riprese sono state effettuate di giorno, dove un sistema di visione computerizzata può più facilmente individuare un veicolo nero altrimenti elusivo (come quello contro cui si è schiantata la Tesla nel giugno 2021), questo addestramento dovrebbe fornire una verità centrale più resistente alle condizioni di oscurità.

I dati sono stati raccolti con un sensore LiDAR InnovizOne, che offre una frequenza di cattura di 10fps o 15fps, a seconda del modello.

Dati LiDAR catturati da un dispositivo Innoviz. Fonte: https://www.youtube.com/watch?v=wmcaf_VpsQI

Il set di dati risultante conteneva circa 30.000 immagini e 200.000 punti 3D raccolti. I ricercatori hanno condotto due test: uno in cui i dati del punto cloud contenevano solo informazioni sulla riflettività; e un secondo, in cui i dati del punto cloud avevano due canali, uno per la riflettività e uno per la distanza.

Per il primo esperimento, la GAN è stata addestrata per 50 epoche, oltre le quali si è verificato un problema di sovra-addestramento.

Immagini create dalla GAN nel primo esperimento. A sinistra, dati del punto cloud; al centro, frame reali dalle riprese, utilizzati come verità; a destra, le rappresentazioni sintetiche create dalla rete avversaria generativa.

Gli autori commentano:

‘Il set di test è una registrazione completamente nuova che la GAN non ha mai visto prima del test. Ciò è stato previsto utilizzando solo informazioni sulla riflettività dal punto cloud.

‘Abbiamo selezionato di mostrare frame con auto nere perché le auto nere sono generalmente difficili da rilevare da LiDAR. Possiamo vedere che il generatore ha imparato a generare auto nere, probabilmente da informazioni contestuali, a causa del fatto che i colori e le forme esatte degli oggetti nelle immagini previste non sono identici a quelli delle immagini reali.’

Per il secondo esperimento, gli autori hanno addestrato la GAN per 40 epoche con un batch size di 1, ottenendo una presentazione simile di ‘rappresentative’ auto nere ottenute in gran parte dal contesto. Questa configurazione è stata utilizzata anche per generare un video che mostra le immagini generate dalla GAN (riprodotte sopra, nell’immagine di esempio) insieme alle immagini di verità.

Valutazione

Il processo consueto di valutazione e confronto con lo stato dell’arte esistente non è stato possibile con questo progetto, a causa della sua natura unica. Invece, i ricercatori hanno ideato una metrica personalizzata relativa all’estensione in cui le auto (parti minori e fugaci del footage di origine) sono rappresentate nel footage di output.

Hanno selezionato 100 paia di immagini LiDAR/Generate da ogni set e hanno effettivamente diviso il numero di immagini di auto presenti nel footage di origine per il numero presente nei dati sintetici prodotti, producendo una scala metrica da 0 a 1.

Gli autori affermano:

‘Il punteggio in entrambi gli esperimenti è stato tra 0,7 e 0,8. Considerando il fatto che la qualità generale delle immagini previste è inferiore a quella delle immagini reali (è più difficile in generale rilevare oggetti in immagini di qualità inferiore), questo punteggio indica che la stragrande maggioranza delle auto presenti nel footage di verità sono presenti nelle immagini previste.’

I ricercatori hanno concluso che il rilevamento di veicoli neri, che è un problema per entrambi i sistemi basati sulla visione computerizzata e per LiDAR, può essere effettuato identificando una mancanza di dati per sezioni dell’immagine:

‘Il fatto che nelle immagini previste, le informazioni sui colori e le forme esatte degli oggetti non sono identiche a quelle delle immagini reali, suggerisce che la previsione di auto nere deriva principalmente da informazioni contestuali e non dalla riflettività dei punti LiDAR stessi.

‘Suggeriamo che, in aggiunta al sistema LiDAR convenzionale, un secondo sistema che genera immagini foto-realistiche da dati del punto cloud LiDAR potrebbe essere eseguito contemporaneamente per il riconoscimento di oggetti visivi in tempo reale.’

I ricercatori intendono sviluppare il lavoro in futuro, con set di dati più grandi.

Latenza e il Crowded SDV Processing Stack

Un commentatore sul post di Twitter condiviso del crash di Autopilot ha stimato che, viaggiando a circa 75 mph (110 piedi al secondo), un flusso video operante a 20 fps avrebbe coperto solo 5,5 piedi per frame. Tuttavia, se il veicolo stava utilizzando l’hardware e il software più recenti di Tesla, la frequenza dei frame sarebbe stata di 36 fps (per la telecamera principale), il che stabilisce il tasso di valutazione a 110 piedi al secondo (tre piedi per frame).

Oltre al costo e all’ergonomia, il problema dell’uso di LiDAR come flusso di dati supplementare è la scala enorme del ‘ingorgo’ di input dei sensori nel framework di elaborazione SDV. Combinato con la natura critica del compito, questo sembra aver costretto radar e LiDAR fuori dallo stack di Autopilot a favore di metodi di valutazione basati su immagini.

Pertanto, sembra improbabile che un sistema che utilizza LiDAR – che di per sé aggiungerebbe a un collo di bottiglia di elaborazione su Autopilot – per inferire immagini foto-realistiche sia fattibile dal punto di vista di Tesla.

Il fondatore di Tesla, Elon Musk, non è un critico totale di LiDAR, che sottolinea essere utilizzato da SpaceX per le procedure di attracco, ma ritiene che la tecnologia sia ‘inutile’ per i veicoli autonomi. Musk suggerisce che una lunghezza d’onda che penetra gli ostacoli, come la precisione radar di ~4 mm, sarebbe più utile.

Tuttavia, a partire da giugno 2021, i veicoli Tesla non sono dotati di radar. Non sembrano esserci molti progetti progettati per generare flussi di immagini da radar nello stesso modo in cui il progetto israeliano attuale tenta (sebbene il Dipartimento dell’Energia degli Stati Uniti abbia sponsorizzato un tentativo di immagini GAN basate su radar nel 2018).

Pubblicato per la prima volta il 23 dicembre 2021.