Převod LiDAR na foto-realistickou imagérii pomocí Generative Adversarial Network

Na začátku tohoto týdne byly zveřejněny záběry, které ukazují, jak systém autopilota Tesly najel přímo do boku zaparkovaného vozidla na dálnici v červnu 2021. Fakt, že auto bylo tmavé a obtížně rozpoznatelné, vyvolal diskusi o omezeních spoléhání se na počítačové vidění v autonomních řídicích scénářích.

Záběry zveřejněné v prosinci 2021 ukazují moment nárazu. Zdroj: https://twitter.com/greentheonly/status/1473307236952940548

Přestože video komprese ve široce sdílených záběrech dává slightly přehnaný dojem, jak rychle vozidlo “vyskočilo” na řidiče v tomto případě, vyšší kvalita videa stejné události ukazuje, že i plně pozorný řidič by měl problémy reagovat jinak než se zpožděným vyhnutím nebo polo-účinným brzděním.

Záběry přidávají k kontroverzi kolem rozhodnutí Tesly odstranit radarové senzory pro Autopilot, oznámené v květnu 2021, a jeho postoje k preferenci vizuálních systémů nad jinými echo-lokacemi, jako je LiDAR.

Náhoda, nová výzkumná práce z Izraele, nabízí přístup, který spojuje domény LiDAR a počítačového vidění, převádějí LiDAR bodové mraky na foto-realistickou imagérii pomocí Generative Adversarial Network (GAN).

V novém projektu z Izraele, černá vozidla identifikovaná v LiDAR záběrech jsou převedena do ‘denní’ scénáře pro počítačové vidění-založené analýzy, podobně jako přístup, který Tesla sleduje pro vývoj svého Autopilot systému. Zdroj: https://arxiv.org/pdf/2112.11245.pdf

Autoři uvádějí:

‘Naše modely se naučily předpovídat realisticky vypadající obrázky z pouhých bodových dat, dokonce i obrázky s černými vozidly.

‘Černá vozidla jsou obtížně detekovatelná přímo z bodových dat kvůli jejich nízké úrovni odrazivosti. Tento přístup by mohl být v budoucnu použit pro vizuální objektivní rozpoznání na foto-realistických obrazech generovaných z LiDAR bodových mraků.’

Foto-realistická, LiDAR-založená obrazová sekvence

Nová práce nová práce je nazvaná Generování foto-realistických obrazů z LiDAR bodových mraků pomocí Generative Adversarial Network, a pochází od sedmi výzkumníků z tří izraelských akademických fakult, spolu s šesti výzkumníky z izraelské společnosti Innoviz Technologies (INVZ ).

Výzkumníci se snažili zjistit, zda GAN-založená syntetická imagérie mohla být produkována v dostatečné míře z bodových mraků generovaných LiDAR systémy, aby následný tok obrazů mohl být použit v objektovém rozpoznání a semantickém segmentování workflow.

Data

Centrální myšlenka, jako v mnoha novel [x]>[x] image transliteration projects, je trénovat algoritmus na párových datech, kde LiDAR bodové mraky (které spoléhají na zařízení emitované světlo) jsou trénovány proti odpovídajícímu rámci z přední kamery.

Pokud byly záběry pořízeny ve dne, kde počítačové vidění může snadněji rozpoznat jinak-elusive černé vozidlo (jako to, do kterého Tesla (TSLA ) najela v červnu), toto trénink by měl poskytnout centrální pravdu, která je více odolná vůči tmavým podmínkám.

Data byla shromážděna pomocí LiDAR senzoru InnovizOne, který nabízí 10fps nebo 15fps záznamovou rychlost, v závislosti na modelu.

LiDAR data zachycená zařízením Innoviz. Zdroj: https://www.youtube.com/watch?v=wmcaf_VpsQI

Výsledná datová sada obsahovala kolem 30 000 obrazů a 200 000 shromážděných 3D bodů. Výzkumníci provedli dva testy: jeden, ve kterém bodová data obsahovala pouze informaci o odrazivosti; a druhý, ve kterém bodová data měla dva kanály, jeden pro odrazivost a druhý pro vzdálenost.

Pro první experiment, GAN byl trénován na 50 epoch, za které bylo pozorováno přeučení.

GAN-vygenerované obrázky z prvního experimentu. Vlevo, bodová data; uprostřed, skutečné rámce ze zachyceného záběru, použitý jako pravda; vpravo, syntetické reprezentace vytvořené Generative Adversarial Network.

Autoři uvádějí:

‘Testovací sada je zcela nová nahrávka, kterou GAN nikdy neviděl před testem. To bylo předpovězeno pomocí pouze informaci o odrazivosti z bodového mraku.

‘Vybrali jsme zobrazit rámce s černými vozidly, protože černá vozidla jsou obvykle obtížně detekovatelná z LiDAR. Můžeme vidět, že generátor se naučil generovat černá vozidla, pravděpodobně z kontextuální informace, protože barev a přesných tvarů objektů v předpovězených obrazech nejsou identické jako v reálných obrazech.’

Pro druhý experiment, autoři trénovali GAN na 40 epoch, s výsledkem podobného představení ‘reprezentativních’ černých vozidel získaných z kontextu. Tato konfigurace byla také použita k vygenerování videa, které ukazuje GAN-vygenerované záběry (zobrazené výše, ve vzorovém obraze níže) spolu s pravdivými záběry.

Hodnocení

Obvyklý proces hodnocení a srovnání se stávajícími state-of-the-art nebyl možný s tímto projektem, kvůli jeho unikátní povaze. Místo toho výzkumníci vytvořili vlastní metriku týkající se rozsahu, v jakém vozidla (menší a přechodné části zdrojového záběru) jsou reprezentována ve výstupním záběru.

Vybrali 100 párů LiDAR/Generovaných obrazů z každé sady a efektivní rozdělili počet vozidel v zdrojovém záběru k počtu vozidel v syntetických datech, produkujících metriku v rozsahu 0 až 1.

Autoři uvádějí:

‘Skóre v obou experimentech bylo mezi 0,7 a 0,8. Při zohlednění faktu, že obecná kvalita předpovězených obrazů je nižší než skutečné obrazy (je obecně obtížnější detekovat objekty v obrazech s nižší kvalitou), toto skóre ukazuje, že většina vozidel, která jsou přítomna v pravdě, je přítomna v předpovězených obrazech.’

Výzkumníci uzavřeli, že detekce černých vozidel, která je problémem pro počítačové vidění-založené systémy a pro LiDAR, může být provedena identifikací nedostatků dat pro části obrazu:

‘Fakt, že v předpovězených obrazech, barevné informace a přesné tvary nejsou identické jako v pravdě, naznačuje, že předpověď černých vozidel je většinou odvozena z kontextuální informace a ne z LiDAR odrazivosti bodů samotných.

‘Navrhujeme, že, kromě konvenčního LiDAR systému, druhý systém, který generuje foto-realistické obrazy z LiDAR bodových mraků, by běžel současně pro vizuální objektivní rozpoznání v reálném čase.’

Výzkumníci mají v úmyslu rozvinout tuto práci v budoucnu, s většími datovými sadami.

Latence a přetížený SDV zpracování

Jeden komentátor na široce sdíleném Twitterovém příspěvku o Autopilot crash odhadl, že, cestující kolem 75mph (110 feet za sekundu), video tok operující na 20fps by pokrýval pouze 5,5 feet za snímek. Nicméně, pokud vozidlo běželo na nejnovějším hardwaru a softwaru Tesly, snímková frekvence by byla 36fps (pro hlavní kameru), což nastavuje vyhodnocovací rychlost na 110 feet za sekundu (tři feet za snímek).

Kromě nákladů a ergonomie, problémem s používáním LiDAR jako doplňkového datového toku je obrovský rozsah informačního ‘dopravního zácpy’ senzorového vstupu do SDV zpracování. V kombinaci s kritickou povahou úkolu, toto zdá se, že donutilo radar a LiDAR z Autopilot stacku ve prospěch image-založených vyhodnocovacích metod.

Proto se zdá nepravděpodobné, že systém, který používá LiDAR – který by sám o sobě přidával k zpracování bottlenecku na Autopilot – pro odvození foto-realistické imagérie, je proveditelný z pohledu Tesly.

Zakladatel Tesly Elon Musk není žádným kritikem LiDAR, který uvádí, že je používán SpaceX (SPCX ) pro dokovací postupy, ale považuje, že technologie je ‘zbytečná’ pro samořiditelná vozidla. Musk navrhuje, že průnik-penetrující vlnová délka, jako je ~4mm přesnosti radar, by byla více užitečná.

Nicméně, od června 2021, vozidla Tesly nejsou vybavena radarem. V současné době neexistují žádné projekty, které by generovaly obrazové toky z radaru podobným způsobem, jako se o to snaží aktuální izraelský projekt (ačkoli ministerstvo energetiky USA sponzorovalo jeden pokus o radar-zdrojovanou GAN imagérii v roce 2018).

Poprvé zveřejněno 23. prosince 2021.