Poprawa fotorealizmu symulacji jazdy z użyciem sieci generatywno-adwersowych

Nowa inicjatywa badawcza pomiędzy USA a Chinami zaproponowała użycie sieci generatywno-adwersowych (GAN) w celu zwiększenia realizmu symulatorów jazdy.

W nowym podejściu do wyzwania tworzenia fotorealistycznych scenariuszy jazdy z punktu widzenia kierowcy, badacze opracowali hybrydową metodę, która łączy bardziej fotorealistyczne wyniki systemów opartych na CycleGAN z elementami generowanymi w sposób konwencjonalny, które wymagają większej szczegółowości i spójności, takimi jak oznaczenia drogowe i pojazdy widziane z punktu widzenia kierowcy.

Hybrid Generative Neural Graphics (HGNG) to nowy kierunek symulacji jazdy, który zachowuje dokładność modeli 3D dla elementów podstawowych (takich jak oznaczenia drogowe i pojazdy), jednocześnie wykorzystując zalety sieci GAN w generowaniu interesujących i niepowtarzalnych szczegółów tła i ambientu. Source

System, nazwany Hybrid Generative Neural Graphics (HGNG), wstrzykuje ograniczone dane wyjściowe z konwencjonalnego symulatora jazdy opartego na CGI do potoku GAN, gdzie framework NVIDIA SPADE przejmuje pracę generowania środowiska.

Zaleta, zdaniem autorów, polega na tym, że środowiska jazdy staną się potencjalnie bardziej zróżnicowane, tworząc bardziej immersyjne doświadczenie. Jak dotąd, nawet przekształcanie danych wyjściowych CGI w fotorealistyczne dane wyjściowe renderingu neuronowego nie może rozwiązać problemu powtarzalności, ponieważ oryginalne nagranie wchodzące do potoku neuronowego jest ograniczone przez ograniczenia modeli środowiskowych i ich tendencję do powtarzania tekstur i siatek.

Przekonwertowane nagranie z pracy z 2021 roku ‘Enhancing photorealism enhancement’, które nadal zależy od danych wyjściowych CGI, w tym tła i ogólnych szczegółów ambientu, ograniczając różnorodność środowiska w symulowanym doświadczeniu. Source: https://www.youtube.com/watch?v=P1IcaBn3ej0

Artykuł stwierdza*:

‘Wiernosć konwencjonalnego symulatora jazdy zależy od jakości jego potoku grafiki komputerowej, który składa się z modeli 3D, tekstur i silnika renderującego. Wysokiej jakości modele 3D i tekstury wymagają rzemiosła, podczas gdy silnik renderujący musi wykonywać skomplikowane obliczenia fizyczne dla realistycznego przedstawienia światła i cieni.’

Nowy artykuł nowy artykuł nosi tytuł Fotorealizm w symulacjach jazdy: łączenie syntez obrazu z renderowaniem, i pochodzi od badaczy z Wydziału Inżynierii Elektrycznej i Komputerowej na Uniwersytecie Stanu Ohio, oraz Chongqing Changan Automobile Co Ltd w Chongqing, Chiny.

Materiały tła

HGNG transformuje układ semantyczny wejściowej sceny CGI poprzez mieszanie częściowo renderowanych elementów pierwszego planu z generowanymi przez GAN środowiskami. Chociaż badacze eksperymentowali z różnymi zestawami danych do szkolenia modeli, najbardziej skuteczne okazały się KITTI Vision Benchmark Suite, który głównie zawiera nagrania z punktu widzenia kierowcy z niemieckiego miasta Karlsruhe.

HGNG generuje układ semantyczny z danych wyjściowych CGI, a następnie wstawia SPADE, z różnymi kodowaniami stylu, w celu utworzenia losowych i zróżnicowanych fotorealistycznych obrazów tła, w tym pobliskich obiektów w scenach miejskich. Nowy artykuł stwierdza, że powtarzające się wzory, które są powszechne w potokach CGI ograniczonych zasobami, ‘łamią immersję’ dla ludzkich kierowców korzystających z symulatora, i że bardziej zróżnicowane tła, które może dostarczyć GAN, mogą złagodzić ten problem.

Badacze eksperymentowali z sieciami generatywnymi Conditional GAN (cGAN) i CYcleGAN (CyGAN), ostatecznie stwierdzając, że każda z nich ma swoje zalety i wady: cGAN wymaga parowych zestawów danych, a CyGAN nie. Jednak CyGAN nie może obecnie przewyższyć stanu sztuki w konwencjonalnych symulatorach, do czasu dalszych ulepszeń w dostosowaniu domeny i spójności cyklu. Dlatego cGAN, z jego dodatkowymi wymaganiami parowych danych, osiąga najlepsze wyniki na razie.

Konceptualna architektura HGNG.

W potoku graficznym HGNG, reprezentacje 2D tworzone są z danych wyjściowych CGI. Obiekty, które są przekazywane do potoku GAN z renderingu CGI, są ograniczone do ‘podstawowych’ elementów, w tym oznaczeń drogowych i pojazdów, które GAN nie może obecnie renderować z wystarczającą spójnością i integralnością dla symulatora jazdy. Obraz syntetyzowany przez cGAN jest następnie łączony z częściowym renderowaniem opartym na fizyce.

Testy

Aby przetestować system, badacze użyli SPADE, wyszkolonego na Cityscapes, do przekształcenia układu semantycznego sceny w fotorealistyczne dane wyjściowe. Dane wejściowe CGI pochodziły z otwartego symulatora jazdy CARLA, który wykorzystuje Unreal Engine 4 (UE4).

Dane wyjściowe z otwartego symulatora jazdy CARLA. Source: https://arxiv.org/pdf/1711.03938.pdf

Silnik cieniowania i oświetlenia UE4 dostarczył układ semantyczny i częściowo renderowane obrazy, z tylko pojazdami i oznaczeniami drogowymi w danych wyjściowych. Łączenie zostało osiągnięte za pomocą GP-GAN instance, wyszkolonej na Transient Attributes Database, a wszystkie eksperymenty zostały uruchomione na NVIDIA RTX 2080 z 8 GB pamięci GDDR6 VRAM.

Badacze przetestowali retencję semantyczną – zdolność danych wyjściowych do odpowiadania początkowej masce segmentacji semantycznej przeznaczonej jako szablon sceny.

Na powyższych obrazach testowych widzimy, że w obrazie ‘tylko render’ (dolny lewy), pełne renderowanie nie uzyskuje wiarygodnych cieni. Badacze zauważają, że tutaj (żółty krąg) cienie drzew, które spadają na chodnik, zostały błędnie sklasyfikowane przez DeepLabV3 (ramy segmentacji semantycznej użytej w tych eksperymentach) jako ‘droga’ zawartość.

W środkowym przepływie widzimy, że pojazdy utworzone przez cGAN nie mają wystarczającej spójności, aby być użytecznymi w symulatorze jazdy (czerwony krąg). W prawym przepływie obrazu łączonego, obraz odpowiada oryginalnej definicji semantycznej, zachowując jednocześnie podstawowe elementy oparte na CGI.

Aby ocenić realizm, badacze użyli Frechet Inception Distance (FID) jako miary wydajności, ponieważ może działać na sparowanych danych lub niesparowanych danych.

Trzy zestawy danych zostały użyte jako prawda: Cityscapes, KITTI i ADE20K.

Obrazy wyjściowe zostały porównane ze sobą za pomocą wyników FID, a także z potokiem opartym na fizyce (tj. CGI), podczas gdy retencja semantyczna została również oceniona.

W powyższych wynikach, które dotyczą retencji semantycznej, wyższe wyniki są lepsze, z podejściem opartym na piramidzie cGAN, jednym z kilku potoków przetestowanych przez badaczy, osiągając najwyższy wynik.

Wyniki przedstawione powyżej dotyczą wyników FID, z HGNG osiągającym najwyższy wynik dzięki użyciu zestawu danych KITTI.

Metoda ‘Tylko render’ (oznaczona jako [23]) dotyczy danych wyjściowych z CARLA, potoku CGI, który nie jest oczekiwany, aby być fotorealistyczny.

Wyniki jakościowe na konwencjonalnym silniku renderującym (‘c’ na powyższym obrazie) wykazują niewiarygodne informacje tła, takie jak drzewa i roślinność, wymagając szczegółowych modeli i załadunku siatki w czasie rzeczywistym, a także innych zasobochłonnych procedur. W środku (b) widzimy, że cGAN nie uzyskuje wystarczającej definicji dla podstawowych elementów, samochodów i oznaczeń drogowych. W proponowanym łączonym obrazie (a) definicja pojazdów i dróg jest dobra, podczas gdy środowisko ambientowe jest zróżnicowane i fotorealistyczne.

Artykuł kończy się sugestią, że spójność czasowa sekcji generowanej przez GAN w potoku renderującym może być zwiększona za pomocą większych zbiorów danych miejskich, i że przyszła praca w tym kierunku może zapewnić realistyczny i zróżnicowany alternatywę dla kosztownych transformacji neuronowych strumieni opartych na CGI, zapewniając większy realizm i różnorodność.

* Moja konwersja cytatów wewnętrznych autorów na linki.

Pierwotnie opublikowane 23 lipca 2022.