Migliorare il realismo fotografico delle simulazioni di guida con reti avversarie generative

Una nuova iniziativa di ricerca tra gli Stati Uniti e la Cina ha proposto l’uso di reti avversarie generative (GAN) per aumentare il realismo delle simulazioni di guida.

In una nuova prospettiva sulla sfida di produrre scenari di guida POV fotorealistici, i ricercatori hanno sviluppato un metodo ibrido che sfrutta i punti di forza di diversi approcci, combinando l’output più fotorealistico dei sistemi basati su CycleGAN con elementi generati in modo più convenzionale, che richiedono un livello di dettaglio e coerenza maggiore, come ad esempio le strisce stradali e i veicoli osservati dal punto di vista del guidatore.

Hybrid Generative Neural Graphics (HGNG) offre una nuova direzione per le simulazioni di guida che mantiene l’accuratezza dei modelli 3D per elementi essenziali (come strisce stradali e veicoli), sfruttando i punti di forza delle GAN nella generazione di dettagli ambientali e di sfondo interessanti e non ripetitivi. Source

Il sistema, chiamato Hybrid Generative Neural Graphics (HGNG), inietta l’output limitato di un simulatore di guida convenzionale basato su CGI in una pipeline GAN, dove il framework NVIDIA SPADE prende il controllo della generazione dell’ambiente.

Il vantaggio, secondo gli autori, è che gli ambienti di guida diventeranno potenzialmente più diversi, creando un’esperienza più immersiva. Come attualmente, anche convertire l’output CGI in rendering neurale fotorealistico non può risolvere il problema della ripetizione, poiché il footage originale che entra nella pipeline neurale è limitato dalle limitazioni degli ambienti del modello e dalla loro tendenza a ripetere texture e mesh.

Footage convertito dal paper del 2021 ‘Enhancing photorealism enhancement’, che rimane dipendente da footage CGI-rendered, compreso lo sfondo e il dettaglio ambientale, limitando la varietà dell’ambiente nell’esperienza simulata. Source: https://www.youtube.com/watch?v=P1IcaBn3ej0

Il paper afferma*:

‘La fedeltà di un simulatore di guida convenzionale dipende dalla qualità della sua pipeline di grafica computerizzata, che consiste in modelli 3D, texture e un motore di rendering. Modelli 3D e texture di alta qualità richiedono artigianato, mentre il motore di rendering deve eseguire calcoli fisici complessi per la rappresentazione realistica di luce e ombra.’

Il nuovo paper è intitolato Fotorealismo nelle simulazioni di guida: combinando la sintesi di immagini avversarie generative con il rendering, e proviene da ricercatori del Dipartimento di Ingegneria Elettrica e Informatica dell’Università statale dell’Ohio e della Chongqing Changan Automobile Co Ltd a Chongqing, in Cina.

Materiale di sfondo

HGNG trasforma la disposizione semantica di una scena CGI generata mescolando materiale di primo piano parzialmente renderizzato con ambienti generati da GAN. Sebbene i ricercatori abbiano sperimentato con vari set di dati per addestrare i modelli, il più efficace si è rivelato essere il KITTI Vision Benchmark Suite, che presenta principalmente riprese di materiali dal punto di vista del guidatore della città di Karlsruhe.

HGNG genera una disposizione semantica della scena da output CGI-rendered, e poi intercala SPADE, con codici di stile vari, per creare immagini di sfondo fotorealistiche e diverse, compresi oggetti vicini in scene urbane. Il nuovo paper afferma che i pattern ripetitivi, comuni alle pipeline CGI a risorse limitate, ‘rompono l’immersione’ per i guidatori umani che utilizzano un simulatore, e che gli sfondi più variegati che una GAN può fornire possono alleviare questo problema.

I ricercatori hanno sperimentato con entrambi Conditional GAN (cGAN) e CYcleGAN (CyGAN) come reti generative, scoprendo infine che ciascuna ha punti di forza e debolezze: cGAN richiede set di dati accoppiati, e CyGAN no. Tuttavia, CyGAN non può attualmente superare lo stato dell’arte nei simulatori convenzionali, in attesa di ulteriori miglioramenti nell’adattamento del dominio e nella coerenza del ciclo. Pertanto cGAN, con i suoi requisiti di dati accoppiati aggiuntivi, ottiene i migliori risultati al momento.

L’architettura concettura di HGNG.

Nella pipeline di grafica neurale HGNG, le rappresentazioni 2D vengono formate da scene CGI sintetizzate. Gli oggetti che vengono passati alla GAN provenienti dal rendering CGI sono limitati a elementi ‘essenziali’, comprese strisce stradali e veicoli, che una GAN stessa non può attualmente renderizzare con coerenza temporale e integrità sufficienti per un simulatore di guida. L’immagine sintetizzata da cGAN viene poi mescolata con il rendering fisico parziale.

Test

Per testare il sistema, i ricercatori hanno utilizzato SPADE, addestrato su Cityscapes, per convertire la disposizione semantica della scena in output fotorealistico. La fonte CGI proveniva dal simulatore di guida open source CARLA, che sfrutta il motore Unreal Engine 4 (UE4).

Output dal simulatore di guida open source CARLA. Source: https://arxiv.org/pdf/1711.03938.pdf

Il motore di ombreggiatura e illuminazione di UE4 ha fornito la disposizione semantica e le immagini parzialmente renderizzate, con solo veicoli e strisce stradali in output. La mescolanza è stata ottenuta con un’istanza di GP-GAN addestrata sul Transient Attributes Database, e tutti gli esperimenti sono stati eseguiti su una NVIDIA RTX 2080 con 8 GB di GDDR6 VRAM.

I ricercatori hanno testato la ritenzione semantica – la capacità dell’immagine di output di corrispondere alla maschera di segmentazione semantica iniziale prevista come modello per la scena.

Nelle immagini di test sopra, vediamo che nell’immagine ‘render only’ (in basso a sinistra), il rendering completo non ottiene ombre plausibili. I ricercatori notano che qui (cerchio giallo) le ombre degli alberi che cadono sul marciapiede sono state classificate erroneamente da DeepLabV3 (il framework di segmentazione semantica utilizzato per questi esperimenti) come ‘contenuto stradale’.

Nella colonna centrale, vediamo che i veicoli creati da cGAN non hanno una definizione sufficiente per essere utilizzati in un simulatore di guida (cerchio rosso). Nella colonna più a destra, l’immagine mescolata corrisponde alla definizione semantica originale, mantenendo gli elementi CGI di base.

Per valutare il realismo, i ricercatori hanno utilizzato Frechet Inception Distance (FID) come metrica di prestazione, poiché può operare su dati accoppiati o non accoppiati.

Tre set di dati sono stati utilizzati come verità di riferimento: Cityscapes, KITTI e ADE20K.

Le immagini di output sono state confrontate l’una con l’altra utilizzando i punteggi FID, e con la pipeline fisica (cioè CGI), mentre la ritenzione semantica è stata valutata.

I risultati sopra, che si riferiscono alla ritenzione semantica, mostrano punteggi più alti come migliori, con l’approccio basato su CGAN pyramid che ottiene il punteggio più alto.

I risultati mostrati direttamente sopra si riferiscono ai punteggi FID, con HGNG che ottiene il punteggio più alto tramite l’utilizzo del set di dati KITTI.

Il metodo ‘Only render’ (denotato come [23]) si riferisce all’output da CARLA, un flusso CGI che non è previsto essere fotorealistico.

I risultati qualitativi sul motore di rendering convenzionale (‘c’ nell’immagine sopra) mostrano informazioni di sfondo irrealistiche, come alberi e vegetazione, richiedendo modelli dettagliati e caricamento di mesh just-in-time, nonché altre procedure intensive. Al centro (b), vediamo che cGAN non ottiene una definizione sufficiente per gli elementi essenziali, auto e strisce stradali. Nell’output mescolato proposto (a), la definizione dei veicoli e delle strisce stradali è buona, mentre l’ambiente è diverso e fotorealistico.

Il paper conclude suggerendo che la coerenza temporale della sezione generata dalla GAN della pipeline di rendering potrebbe essere aumentata tramite l’utilizzo di set di dati urbani più grandi, e che lavori futuri in questa direzione potrebbero offrire un’alternativa reale alle trasformazioni neurali costose dei flussi CGI, fornendo maggiore realismo e diversità.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Prima pubblicazione 23 luglio 2022.