LiDAR:n muuntaminen valokuvamaisiksi kuviksi generatiivisen vastakkaisen verkon avulla

Viime viikolla julkaistiin kuvamateriaalia, jossa näkyy Tesla-auton autopilotti törmäävän pysähtyneeseen ajoneuvoon moottoritiellä kesäkuussa 2021. Se, että auto oli tumma ja vaikea havaita, on herättänyt keskustelua tietokoneen näköjärjestelmien rajoituksista autonomisten ajoneuvojen tilanteissa.

Joulukuussa 2021 julkaistu kuvamateriaali näyttää törmäyshetken. Lähde: https://twitter.com/greentheonly/status/1473307236952940548

Vaikka videon pakkaus laajasti jaetussa kuvamateriaalissa antaa hieman liioitellun vaikutelman siitä, kuinka nopeasti immobilisoitu kuorma-auto “hiipi” kuljettajan kimppuun tässä tapauksessa, korkealaatuisempi video samasta tapahtumasta osoittaa, että täysin valveilla oleva kuljettaja olisi myös kamppaillut vastaamalla muulla kuin myöhästyneellä kaartamisella tai osittain tehokkaalla jarrutuksella.

Kuvamateriaali lisää kiistaa Teslan päätöksestä poistaa radaranturit Autopilootista, joka ilmoitettiin toukokuussa 2021, ja sen kannasta näköperusteisten järjestelmien hyväksi muiden echo-sijaintiteknologioiden, kuten LiDARin, sijaan.

Sattumalta uusi tutkimusartikkeli Israelista tarjoaa lähestymistavan, jolla voidaan yhdistää LiDAR- ja tietokoneen näköalat, muuntamalla LiDAR-pilvipistekohtaisia kuvia valokuvamaisiksi kuviksi generatiivisen vastakkaisen verkon avulla.

Uudessa Israelin hankkeessa mustat autot, jotka on tunnistettu LiDAR-kuvissa, muunnetaan “päivänvalo”-tilanteeksi tietokoneen näköperusteisille analyyseille, samalla tavalla kuin Tesla pyrkii kehittämään Autopilootin kehitystä varten. Lähde: https://arxiv.org/pdf/2112.11245.pdf

Tekijät toteavat:

‘Mallimme oppivat realististen kuvien ennustamiseen pelkästään pistepilviaineistosta, jopa mustien autojen kuvat.

‘Mustat autot ovat vaikeita havaita suoraan pistepilvistä heikon heijastusominaisuutensa vuoksi. Tämä lähestymistapa voi tulevaisuudessa käyttää visuaalisten objektien tunnistamiseen valokuvamaisista kuvista, jotka on generoitu LiDAR-pistepilvistä.’

Valokuvamaiset, LiDAR-pohjaiset kuvavirrat

Uusi artikkeli on otsikoitu Valokuvamaisen kuvan generointi LiDAR-pistepilvistä generatiivisen vastakkaisen verkon avulla, ja se on peräisin seitsemältä tutkijalta kolmesta Israelin akateemisesta laitoksesta yhdessä kuuden tutkijan kanssa Israelissa toimivasta Innoviz Technologies -yhtiöstä.

Tutkijat pyrkivät selvittämään, voitaisiinko GAN-pohjaisia synteettisiä kuvia tuottaa sopivalla nopeudella LiDAR-järjestelmien generoimista pistepilvistä, jotta niiden perässä olevaa kuvavirran voitaisiin käyttää objektien tunnistamiseen ja semanttisessa segmentoinnissa.

Data

Keskeinen idea, kuten monissa uusissa [x]>[x] kuvien käännöshankkeissa, on kouluttaa algoritmi pareittain aineistosta, jossa LiDAR-pistepilvikuvat (jotka riippuvat laitteiston lähettämästä valosta) koulutetaan vastaavan kehyksen kanssa eteenpäin suunnatun kameran kuvasta.

Koska kuvamateriaali on otettu päiväsaikaan, jolloin tietokoneen näköjärjestelmä voi helpommin erottaa muuten vaikeasti havaittavan mustan ajoneuvon (kuten Teslan kesäkuussa 2021 törmännyt), tämä koulutus tarjoaa keskeisen totuuden, joka on vähemmän altis pimeyden vaikutuksille.

Aineisto kerättiin InnovizOne LiDAR-anturilla, joka tarjoaa 10 fps tai 15 fps tallennusnopeuden mallista riippuen.

LiDAR-aineisto, joka on kerätty Innoviz-laitteella. Lähde: https://www.youtube.com/watch?v=wmcaf_VpsQI

Tuloksena oleva aineisto sisälsi noin 30 000 kuvaa ja 200 000 kerättyä 3D-pistettä. Tutkijat suorittivat kaksi testiä: yhden, jossa pistepilviaineistossa oli vain heijastusinformaatiota; ja toisen, jossa pistepilviaineistossa oli kaksi kanavaa, yksi heijastusinformaatiolle ja toinen etäisyydelle.

Ensimmäisessä kokeessa GAN koulutettiin 50 epochiin, jonka jälkeen havaittiin ylioppimisen olevan ongelma.

GAN-luodut kuvat ensimmäisestä kokeesta. Vasemmalla pistepilviaineisto; keskellä todelliset kehykset kerätystä kuvamateriaalista, jotka käytetään totuuden perustana; oikealla synteettiset edustukset, jotka on luotu generatiivisen vastakkaisen verkon avulla.

Tekijät toteavat:

‘Testijoukko on täysin uusi tallenne, jota GAN:eja ei ollut nähty ennen testausta. Tämä ennustettiin pelkästään pistepilven heijastusinformaatiosta.

‘Valitsimme näyttää kehykset, joissa on mustia autoja, koska mustat autot ovat yleensä vaikeita havaita LiDAR:sta. Voimme nähdä, että generoija oppi generoida mustia autoja, luultavasti kontekstuaalisesta informaatiosta, koska kuvien värit ja tarkat muodot eivät ole identtisiä kuin todellisissa kuvissa.’

Toisessa kokeessa tekijät kouluttivat GAN:in 40 epochiin ja eräkoolle 1, mikä johti samankaltaiseen esitykseen “edustavista” mustista autoista, jotka saatiin suurelta osin kontekstista. Tämä konfiguraatio käytettiin myös generoimaan video, joka näyttää GAN-generoituja kuvia (ylempänä näkyvän näytekuvan yläpuolella) yhdessä totuuden perustana olevan kuvamateriaalin kanssa.

Arviointi

Tavallinen prosessi arvioinnista ja vertailusta olemassa oleviin valtavirtatutkimuksiin ei ollut mahdollista tämän hankkeen ainutlaatuisen luonteen vuoksi. Sen sijaan tutkijat keksivät mukautetun mittarin, joka koskee sitä, kuinka paljon autoja (vähäisiä ja ohimeneviä osia alkuperäisestä kuvamateriaalista) edustetaan tulostekuvissa.

He valitsivat 100 paria LiDAR/generoituja kuvia kummastakin joukosta ja jakauttivat alkuperäisessä kuvamateriaalissa olevien autojen määrän synteettisessä aineistossa tuotettujen autojen määrään, tuottaen mittariasteikon 0-1.

Tekijät toteavat:

‘Tulos molemmissa kokeissa oli 0,7-0,8 välillä. Ottaen huomioon, että ennustettujen kuvien yleinen laatu on alempi kuin todellisten kuvien, tämä tulos osoittaa, että suurin osa autoista, jotka ovat läsnä totuuden perustana, on läsnä myös ennustetuissa kuvissa.’

Tutkijat tulivat siihen tulokseen, että mustien ajoneuvojen havaitseminen, joka on ongelma sekä tietokoneen näköperusteisille järjestelmille että LiDAR:lle, voidaan tehdä tunnistamalla puute aineistosta tietyille osille kuvista:

‘Se, että ennustetuissa kuvissa väri- ja tarkat muotoinformaatiot eivät ole identtisiä kuin totuuden perustana, viittaa siihen, että mustien autojen ennustaminen perustuu lähinnä kontekstuaaliseen informaatioon eikä itse LiDAR-pistepilven heijastukseen.

‘Ehdotamme, että lisäksi perinteiseen LiDAR-järjestelmään toinen järjestelmä, joka generoi valokuvamaisia kuvia LiDAR-pistepilvistä, toimisi samanaikaisesti visuaalisten objektien tunnistamiseen reaaliajassa.’

Tutkijat aikovat kehittää työtään tulevaisuudessa laajemmilla aineistoilla.

Viaantuminen ja ruuhkainen SDV-käsittelypinot

Yksi Twitter-postauksen kommentoija arvioi, että 75 mailin tuntinopeudella (110 jalkaa sekunnissa) 20 fps:n videovirta peittäisi vain 5,5 jalkaa per kehys. Jos kuitenkin ajoneuvo oli varustettu Teslan uusimmalla laitteistolla ja ohjelmistolla, kehysnopeus olisi ollut 36 fps (pääkamerassa), mikä asettaa arviointinopeuden 110 jalkaa sekunnissa (kolme jalkaa per kehys).

Lisäksi radar- ja LiDAR-anturien käytön kustannuksia ja ergonomiaa, ongelmana LiDAR:n käytössä täydentävänä data-virtana on suoranaisen informaatiovirran “ruuhka” SDV-käsittelykehyksessä. Yhdistettynä tehtävän kriittiseen luonteeseen, tämä näyttää pakottaneen radarin ja LiDARin pois Autopilot-pinoista kuvapohjaisen arvioinnin menetelmien hyväksi.

Siksi näyttää epätodennäköiseltä, että järjestelmä, joka käyttää LiDAR:ia, joka itse lisäisi prosessibottleneckiin Autopilootissa, voisi olla toteutettavissa Teslan näkökulmasta.

Teslan perustaja Elon Musk ei ole kokonaan kriittinen LiDAR:ia kohtaan, jonka hän korostaa käytettävän SpaceX:n telakointimenetelmissä, mutta pitää teknologiaa “täysin turhana” itseohjautuvissa ajoneuvoissa. Musk ehdottaa, että tukahtumisen läpäisevä aallonpituus, kuten tarkkuusradarin ~4 mm, olisi hyödyllisempi.

Kuitenkin kesäkuussa 2021 Teslan ajoneuvot eivät ole varustettu radarella. Tällä hetkellä ei näytä olevan monia hankkeita, jotka pyrkivät generoimaan kuvavirtoja radasta samalla tavalla kuin nykyinen Israelin hanke yrittää (vaikka Yhdysvaltain energiaministeriö tuki yhden radanlähtöisen GAN-kuvan yrityksen vuonna 2018).

Julkaistu ensimmäisen kerran 23. joulukuuta 2021.