Nově vyvinuté kamery využívají světlo k vidění za rohy

David Lindell, student elektrotechniky na Stanford University, spolu se svým týmem, vyvinul kameru, která může sledovat pohyblivé objekty za rohy. Při testování nové technologie nosil Lindell oblek s vysokou viditelností, zatímco se pohyboval po prázdné místnosti. Měli kameru, která byla zaměřena na blankou zeď daleko od Lindella, a tým byl schopen sledovat všechny jeho pohyby pomocí vysokoenergetického laseru. Laser rekonstruoval obrazy pomocí jednotlivých částic světla, které byly odraženy na zeď kolem Lindella. Nově vyvinutá kamera využívala pokročilé senzory a algoritmus zpracování.

Gordon Wetzstein, asistent profesora elektrotechniky na Stanford University, hovořil o nově vyvinuté technologii.

„Lidé mluví o tom, že chtějí postavit kameru, která může vidět stejně jako lidé, pro aplikace jako autonomní kočky a roboti, ale my chceme postavit systémy, které jdou daleko za to,“ řekl. „Chceme vidět věci ve 3D, za rohy a za hranicí viditelného spektra.“

Kamera, která byla testována, bude představena na konferenci SIGGRAPH 2019 dne 1. srpna.

Tým již dříve vyvinul podobné kamery, které mohou vidět za rohy, ale tato kamera je schopna zachytit více světla z více povrchů. Může také vidět širší a dále a sledovat pohyby mimo dohled. Doufají, že tyto „nadlidské vidění systémy“ budou moci být použity v autonomních autech a robotech, aby mohly operovat bezpečněji než když jsou ovládány člověkem.

Jedním z hlavních cílů týmu je udržet systém praktický. Používají hardware, skenovací a obrazové zpracování rychlosti a styly obrazového zpracování, které jsou již používány v autonomních systémech vidění. Jeden rozdíl spočívá v tom, že nový systém je schopen zachytit světlo, které se odráží od různých povrchů s různými texturami. Předtím byly systémy, které byly použity k vidění věcí mimo přímou linii vidění, schopny to udělat pouze s objekty, které odrážely rovnoměrné a silné světlo.

Jedním z vývoje, který jim pomohl vytvořit tuto technologii, byl laser, který je 10 000krát více výkonný než ten, který použili loni. Skenuje zeď na opačné straně bodu zájmu. Světlo se odráží od zdi, zasáhne objekty v scéně a vrátí se zpět na zeď a kamerové senzory. Senzor je pak schopen zachytit malé částice laserového světla a poslat je do algoritmu, který byl také vyvinut týmem. Algoritmus rozluští částice a rekonstruuje obrazy.

„Když sledujete laser, který skenuje, nevidíte nic,“ řekl Lindell. „S tímto hardwarem můžeme zpomalit čas a odhalit tyto stopy světla. To skoro vypadá jako magie.“

Nový systém je schopen skenovat čtyři snímky za sekundu a rekonstruovat scény až 60 snímků za sekundu s počítačovým grafickým procesorem, který zvyšuje jeho schopnosti.

Tým čerpal inspiraci z jiných oblastí, jako jsou seismické zobrazovací systémy. Tyto systémy odrážejí zvukové vlny od podzemních vrstev Země a jsou schopny vidět, co je pod povrchem. Algoritmus je重新 konfigurován, aby rozluštil světlo, které se odráží od skrytých objektů.

Matthew O’Toole, asistent profesora na Carnegie Mellon University a bývalý postdoktorální fellow ve Wetzsteinově laboratoři, hovořil o nové technologii.

„Existuje mnoho nápadů, které se používají v jiných prostorech – seismologie, zobrazování pomocí satelitů, syntetická apertura radaru – které jsou použitelné pro vidění za rohy,“ řekl. „Pokoušíme se vzít trochu z těchto oblastí a doufáme, že budeme moci něco vrátit zpět jim v budoucnu.“

Týmův další krok je testování systému na autonomních výzkumných autech. Chtějí také vidět, zda bude použitelný v jiných oblastech, jako je medicínské zobrazování, a pomoci bojovat proti problémům vizuálních podmínek, se kterými se řidiči setkávají, jako je mlha, déšť, písečné bouře a sníh.