Převod LiDAR na foto-realistickou imagérii pomocí Generative Adversarial Network

Na začátku tohoto týdne byly zveřejněny záběry, které ukazují, jak systém autopilota Tesly najel přímo do boku zaparkovaného vozidla na dálnici v červnu 2021. Fakt, že auto bylo tmavé a obtížně rozpoznatelné, vyvolal diskusi o omezeních spoléhání se na počítačové vidění v autonomních řídicích scénářích.

Záběry zveřejněné v prosinci 2021 ukazují moment nárazu. Zdroj: https://twitter.com/greentheonly/status/1473307236952940548

Přestože video komprese ve široce sdílených záběrech dává slightly přehnaný dojem, jak rychle vozidlo “vyskočilo” na řidiče v tomto případě, vyšší kvalita videa stejné události ukazuje, že i plně pozorný řidič by měl problémy reagovat jinak než se zpožděným vyhnutím nebo polo-účinným brzděním.

Záběry přidávají k kontroverzi kolem rozhodnutí Tesly odstranit radarové senzory pro Autopilot, oznámené v květnu 2021, a jeho postoje k preferenci vizuálních systémů nad jinými echo-lokacemi, jako je LiDAR.

Náhoda, nová výzkumná práce z Izraele, nabízí přístup, který spojuje domény LiDAR a počítačového vidění, převádějí LiDAR bodové mraky na foto-realistickou imagérii pomocí Generative Adversarial Network (GAN).

V novém projektu z Izraele, černá vozidla identifikovaná v LiDAR záběrech jsou převedena do ‘denní’ scénáře pro počítačové vidění-založené analýzy, podobně jako přístup, který Tesla sleduje pro vývoj svého Autopilot systému. Zdroj: https://arxiv.org/pdf/2112.11245.pdf

Autoři uvádějí:

‘Naše modely se naučily předpovídat realisticky vypadající obrázky z pouhých bodových dat, dokonce i obrázky s černými vozidly.

‘Černá vozidla jsou obtížně detekovatelná přímo z bodových dat kvůli jejich nízké úrovni odrazivosti. Tento přístup by mohl být v budoucnu použit pro vizuální objektivní rozpoznání na foto-realistických obrazech generovaných z LiDAR bodových mraků.’

Foto-realistická, LiDAR-založená obrazová sekvence

Nová práce nová práce je nazvaná Generování foto-realistických obrazů z LiDAR bodových mraků pomocí Generative Adversarial Network, a pochází od sedmi výzkumníků z tří izraelských akademických fakult, spolu s šesti výzkumníky z izraelské společnosti Innoviz Technologies.

Výzkumníci se snažili zjistit, zda GAN-založená syntetická imagérie mohla být produkována v dostatečné míře z bodových mraků generovaných LiDAR systémy, aby následný tok obrazů mohl být použit v objektovém rozpoznání a semantickém segmentování workflow.

Data

Centrální myšlenka, jako v mnoha novel [x]>[x] image transliteration projects, je trénovat algoritmus na párových datech, kde LiDAR bodové mraky (které spoléhají na zařízení emitované světlo) jsou trénovány proti odpovídajícímu rámci z přední kamery.

Pokud byly záběry pořízeny ve dne, kde počítačové vidění může snadněji rozpoznat jinak-elusive černé vozidlo (jako to, do kterého Tesla najela v červnu), toto trénink by měl poskytnout centrální pravdu, která je více odolná vůči tmavým podmínkám.

Data byla shromážděna pomocí LiDAR senzoru InnovizOne, který nabízí 10fps nebo 15fps záznamovou rychlost, v závislosti na modelu.

LiDAR data zachycená zařízením Innoviz. Zdroj: https://www.youtube.com/watch?v=wmcaf_VpsQI

Výsledná datová sada obsahovala kolem 30 000 obrazů a 200 000 shromážděných 3D bodů. Výzkumníci provedli dva testy: jeden, ve kterém bodová data obsahovala pouze informaci o odrazivosti; a druhý, ve kterém bodová data měla dva kanály, jeden pro odrazivost a druhý pro vzdálenost.

Pro první experiment, GAN byl trénován na 50 epoch, za které bylo pozorováno přeučení.

GAN-vygenerované obrázky z prvního experimentu. Vlevo, bodová data; uprostřed, skutečné rámce ze zachyceného záběru, použitý jako pravda; vpravo, syntetické reprezentace vytvořené Generative Adversarial Network.

Autoři uvádějí:

‘Testovací sada je zcela nová nahrávka, kterou GAN nikdy neviděl před testem. To bylo předpovězeno pomocí pouze informaci o odrazivosti z bodového mraku.

‘Vybrali jsme zobrazit rámce s černými vozidly, protože černá vozidla jsou obvykle obtížně detekovatelná z LiDAR. Můžeme vidět, že generátor se naučil generovat černá vozidla, pravděpodobně z kontextuální informace, protože barev a přesných tvarů objektů v předpovězených obrazech nejsou identické jako v reálných obrazech.’

Pro druhý experiment, autoři trénovali GAN na 40 epoch, s výsledkem podobného představení ‘reprezentativních’ černých vozidel získaných z kontextu. Tato konfigurace byla také použita k vygenerování videa, které ukazuje GAN-vygenerované záběry (zobrazené výše, ve vzorovém obraze níže) spolu s pravdivými záběry.

Hodnocení

Obvyklý proces hodnocení a srovnání se stávajícími state-of-the-art nebyl možný s tímto projektem, kvůli jeho unikátní povaze. Místo toho výzkumníci vytvořili vlastní metriku týkající se rozsahu, v jakém vozidla (menší a přechodné části zdrojového záběru) jsou reprezentována ve výstupním záběru.

Vybrali 100 párů LiDAR/Generovaných obrazů z každé sady a efektivní rozdělili počet vozidel v zdrojovém záběru k počtu vozidel v syntetických datech, produkujících metriku v rozsahu 0 až 1.

Autoři uvádějí:

‘Skóre v obou experimentech bylo mezi 0,7 a 0,8. Při zohlednění faktu, že obecná kvalita předpovězených obrazů je nižší než skutečné obrazy (je obecně obtížnější detekovat objekty v obrazech s nižší kvalitou), toto skóre ukazuje, že většina vozidel, která jsou přítomna v pravdě, je přítomna v předpovězených obrazech.’

Výzkumníci uzavřeli, že detekce černých vozidel, která je problémem pro počítačové vidění-založené systémy a pro LiDAR, může být provedena identifikací nedostatků dat pro části obrazu:

‘Fakt, že v předpovězených obrazech, barevné informace a přesné tvary nejsou identické jako v pravdě, naznačuje, že předpověď černých vozidel je většinou odvozena z kontextuální informace a ne z LiDAR odrazivosti bodů samotných.

‘Navrhujeme, že, kromě konvenčního LiDAR systému, druhý systém, který generuje foto-realistické obrazy z LiDAR bodových mraků, by běžel současně pro vizuální objektivní rozpoznání v reálném čase.’

Výzkumníci mají v úmyslu rozvinout tuto práci v budoucnu, s většími datovými sadami.

Latence a přetížený SDV zpracování

Jeden komentátor na široce sdíleném Twitterovém příspěvku o Autopilot crash odhadl, že, cestující kolem 75mph (110 feet za sekundu), video tok operující na 20fps by pokrýval pouze 5,5 feet za snímek. Nicméně, pokud vozidlo běželo na nejnovějším hardwaru a softwaru Tesly, snímková frekvence by byla 36fps (pro hlavní kameru), což nastavuje vyhodnocovací rychlost na 110 feet za sekundu (tři feet za snímek).

Kromě nákladů a ergonomie, problémem s používáním LiDAR jako doplňkového datového toku je obrovský rozsah informačního ‘dopravního zácpy’ senzorového vstupu do SDV zpracování. V kombinaci s kritickou povahou úkolu, toto zdá se, že donutilo radar a LiDAR z Autopilot stacku ve prospěch image-založených vyhodnocovacích metod.

Proto se zdá nepravděpodobné, že systém, který používá LiDAR – který by sám o sobě přidával k zpracování bottlenecku na Autopilot – pro odvození foto-realistické imagérie, je proveditelný z pohledu Tesly.

Zakladatel Tesly Elon Musk není žádným kritikem LiDAR, který uvádí, že je používán SpaceX pro dokovací postupy, ale považuje, že technologie je ‘zbytečná’ pro samořiditelná vozidla. Musk navrhuje, že průnik-penetrující vlnová délka, jako je ~4mm přesnosti radar, by byla více užitečná.

Nicméně, od června 2021, vozidla Tesly nejsou vybavena radarem. V současné době neexistují žádné projekty, které by generovaly obrazové toky z radaru podobným způsobem, jako se o to snaží aktuální izraelský projekt (ačkoli ministerstvo energetiky USA sponzorovalo jeden pokus o radar-zdrojovanou GAN imagérii v roce 2018).

Poprvé zveřejněno 23. prosince 2021.