Nově vyvinuté fotoaparáty využívají světlo k vidění za rohy

David Lindell, postgraduální student elektrotechniky na Stanfordské univerzitě, spolu se svým týmem vyvinul kameru, která dokáže sledovat pohybující se objekty za rohy. Když testovali novou technologii, měl Lindell na sobě vysoce viditelnou teplákovou soupravu, když se pohyboval po prázdné místnosti. Měli kameru, která byla namířena na prázdnou zeď daleko od Lindella, a tým byl schopen sledovat všechny jeho pohyby pomocí vysoce výkonného laseru. Laser rekonstruoval obrazy pomocí jednotlivých částic světla, které se odrážely na stěnách kolem Lindella. Nově vyvinutá kamera využívala pokročilé senzory a algoritmus zpracování. 

Gordon Wetzstein, odborný asistent elektrotechniky na Stanfordu, hovořil o nově vyvinuté technologii. 

"Lidé mluví o vytvoření kamery, která může vidět stejně jako lidé pro aplikace, jako jsou autonomní kočky a roboti, ale my chceme vytvářet systémy, které jdou daleko za to," řekl. "Chceme vidět věci ve 3D, za rohy a mimo spektrum viditelného světla." 

Kamerový systém, který byl testován, bude představen na konferenci SIGGRAPH 2019 1. srpna. 

Tým již v minulosti vyvinul podobné kamery za roh, ale tato je schopna zachytit více světla z více povrchů. Může také vidět širší a dále a také sledovat pohyb mimo dohled. Doufají, že tyto „systémy nadlidského vidění“ budou moci být použity v autonomních autech a robotech, takže budou fungovat bezpečněji, než když budou řízeny člověkem. 

Jedním z hlavních cílů týmu je udržet systém praktický. Používají hardware, rychlost skenování a zpracování obrazu a styly zobrazování, které se již používají v systémech autonomního vidění do automobilů. Jedním z rozdílů je, že nový systém je schopen zachytit světlo odrážející se od řady různých povrchů s různými texturami. Dříve byly systémy, které byly používány k vidění věcí mimo zorný úhel kamery, pouze s objekty, které odrážely rovnoměrné a silné světlo. 

Jedním z pokroků, který jim pomohl vytvořit tuto technologii, byl laser, který je 10,000 XNUMXkrát výkonnější než ten, který používali minulý rok. Skenuje zeď na opačné straně než je bod zájmu. Světlo se odráží od zdi, dopadá na objekty ve scéně a vrací se zpět na zeď a senzory kamery. Senzor je pak schopen zachytit malé skvrny laserového světla a poslat je do algoritmu, který tým také vyvinul. Algoritmus dešifruje skvrny a rekonstruuje obrazy. 

"Když se díváte, jak to laser skenuje, nic nevidíte," řekl Lindell. „S tímto hardwarem můžeme v podstatě zpomalit čas a odhalit tyto stopy světla. Vypadá to skoro jako magie." 

Nový systém je schopen skenovat rychlostí čtyři snímky za sekundu a rekonstruovat scény rychlostí až 60 snímků za sekundu pomocí počítačové grafické procesorové jednotky, která rozšiřují možnosti. 

Týmy čerpaly inspiraci z jiných oblastí, jako jsou seismické zobrazovací systémy. Ty se odrážejí zvukové vlny od podzemních vrstev Země a jsou schopny vidět, co je pod povrchem. Algoritmus je překonfigurován tak, aby dešifroval světlo, které se odráží od skrytých objektů. 

Matthew O'Toole, odborný asistent na Carnegie Mellon University a předchozí postdoktorand ve Wetzsteinově laboratoři, hovořil o nové technologii. 

"V jiných prostorech se používá mnoho nápadů - seismologie, zobrazování pomocí satelitů, radar se syntetickou aperturou - které jsou použitelné pro rozhlížení se za rohy," řekl. Snažíme se z těchto polí trochu vzít a doufejme, že jim někdy budeme moci něco vrátit.“ 

Dalším krokem týmu je testování systému na autonomních výzkumných autech. Chtějí také zjistit, zda bude použitelný v jiných oblastech, jako je lékařské zobrazování, a na pomoc při řešení problémů se zrakem, se kterými se řidiči setkávají, jako je mlha, déšť, písečné bouře a sníh.