Uudelleen kehitetyt kamerat käyttävät valoa nähdäkseen kulmiin

David Lindell, sähkötekniikan opiskelija Stanfordin yliopistossa, kehitti yhdessä tiiminsä kanssa kameran, joka pystyy seuraamaan liikkuvia objekteja kulman takana. Kun he testasivat uutta tekniikkaa, Lindell käytti erittäin näkyvää urheiluasua liikkuessaan tyhjässä huoneessa. Heillä oli kamera, joka osoitti tyhjää seinää Lindellin vieressä, ja tiimi pystyi seuraamaan kaikkia hänen liikkeensä voimakkaan laserin avulla. Laseri rekonstruii kuvat yhden valonhiukkasen avulla, joka heijastui seiniin Lindellin ympärillä. Uudelleen kehitetty kamera käytti edistyneitä antureita ja prosessointialgoritmiä.

Gordon Wetzstein, sähkötekniikan apulaisprofessori Stanfordin yliopistossa, puhui uudesta tekniikasta.

“Ihmiset puhuvat kameran rakentamisesta, joka pystyy näkemään yhtä hyvin kuin ihmiset sovelluksissa, kuten autonomisissa kissoissa ja roboteissa, mutta me haluamme rakentaa järjestelmiä, jotka menevät paljon pidemmälle”, hän sanoi. “Me haluamme nähdä asioita 3D:ssä, kulman takana ja näkyvän valon spektrin ulottuvilla.”

Kamera, jota testattiin, esitellään SIGGRAPH 2019 -konferenssissa 1. elokuuta.

Tiimi on jo kehittänyt samanlaisia kulman takana olevia kameroita aiemmin, mutta tämä pystyy kaappaamaan enemmän valoa useammasta pinnasta. Se pystyy myös näkemään laajemmin ja kauemmin sekä seuraamaan liikettä, jota ei näe. He toivovat, että nämä “yliluonnolliset näköjärjestelmät” voidaan käyttää autonomisissa autoissa ja roboteissa, jotta ne voivat toimia turvallisemmin kuin ihmisen ohjaamana.

Yksi tiimin tärkeimmistä tavoitteista on pitää järjestelmä käytännöllisenä. He käyttävät laitteita, skannauksen ja kuvan prosessoinnin nopeuksia sekä kuvauksen tyylejä, jotka ovat jo käytössä autonomisten autojen näköjärjestelmissä. Yksi ero on, että uusi järjestelmä pystyy kaappaamaan valoa useammasta pinnasta eri tekstureilla. Aikaisemmin käytetyt järjestelmät, jotka pystyivät näkemään asioita kameran näkökulman ulottuvilla, pystyivät tekemään sen vain objekteilla, jotka heijastivat tasaisen ja vahvan valon.

Yksi kehityksistä, joka auttoi heitä luomaan tämän tekniikan, oli laser, joka on 10 000 kertaa voimakkaampi kuin se, mitä he käyttivät viime vuonna. Se skannaa seinää vastapäätä kohteen sijaintia. Valo heijastuu seinästä, osuu kohteeseen ja palaa takaisin seinään ja kameran antureihin. Anturi pystyy havaitsemaan pienen valon hiukkasen ja lähettää sen algoritmiin, jonka tiimi kehitti. Algoritmi tulkitsee hiukkaset ja rekonstruii kuvat.

“Kun katselet laserin skannausta, et näe mitään”, Lindell sanoi. “Tämän laitteiston avulla voimme periaatteessa hidastaa aikaa ja paljastaa nämä valon jäljet. Se näyttää melkein magialta.”

Uusi järjestelmä pystyy skannaamaan neljä kuvaruutua sekunnissa ja rekonstruii kohtauksia jopa 60 kuvaruudulla sekunnissa tietokoneen grafiikkaprosessorin avulla, joka parantaa järjestelmän ominaisuuksia.

Tiimi sai inspiraation muista aloista, kuten seismisten kuvantamisjärjestelmistä. Nämä järjestelmät heijastavat ääniaaltoja maan alle ja pystyvät näkemään, mitä on pinnan alla. Algoritmi on uudelleen konfiguroitu tulkitsemaan valoa, joka heijastuu piilossa olevista objekteista.

Matthew O’Toole, apulaisprofessori Carnegie Mellon -yliopistossa ja entinen postdoc-tutkija Wetzsteinin laboratoriossa, puhui uudesta tekniikasta.

“On paljon ideoita, jotka ovat käytössä muissa tiloissa – seismologia, kaukokuvantaminen, synteettinen aukko-radiolokointi – jotka soveltuvat katsomaan kulman taakse”, hän sanoi. “Yritämme ottaa vähän näistä aloista ja toivomme, että voimme antaa jotain takaisin niille jossain vaiheessa.”

Tiimin seuraava askel on testata järjestelmää autonomisissa tutkimusautoissa. He haluavat myös tietää, onko se sovellettavissa muihin aloihin, kuten lääketieteelliseen kuvantamiseen ja auttamaan taistelussa visuaalisten olosuhteiden ongelmia, joita kuljettajat kohtaavat, kuten sumua, sadekuuroja, hiekkamyrskyjä ja lunta.