Nově vyvinuté kamery používají světlo k vidění za rohy

David Lindell, doktorand elektrotechniky na Stanford University, spolu se svým týmem, vyvinul kameru, která může sledovat pohyblivé objekty za rohy. Když testovali novou technologii, Lindell nosil oblek s vysokou viditelností, zatímco se pohyboval po prázdné místnosti. Měli kameru, která byla zaměřena na holou zeď daleko od Lindella, a tým byl schopen sledovat všechny jeho pohyby pomocí vysoce výkonného laseru. Laser rekonstruoval obrazy pomocí jednotlivých částic světla, které byly odraženy na stěny kolem Lindella. Nově vyvinutá kamera používala pokročilé senzory a algoritmus zpracování.

Gordon Wetzstein, asistent profesora elektrotechniky na Stanford University, hovořil o nově vyvinuté technologii.

“Lidé mluví o stavbě kamery, která může vidět stejně jako lidé pro aplikace, jako jsou autonomní kočky a roboti, ale my chceme stavět systémy, které jdou daleko za hranice toho,” řekl. “Chceme vidět věci ve 3D, za rohy a za hranicí viditelného světelného spektra.”

Kamerový systém, který byl testován, bude představen na konferenci SIGGRAPH 2019 dne 1. srpna.

Tým již vyvinul podobné kamery, které mohou vidět za rohy, v minulosti, ale tato je schopna zachytit více světla z více povrchů. Může také vidět širší a dále, stejně jako sledovat pohyby mimo dohled. Doufají, že tyto „nadlidské vidění systémy“ budou moci být použity v autonomních autech a robotech, aby mohli operovat bezpečněji než když jsou ovládány člověkem.

Jednou z hlavních cílů týmu je udržet systém praktický. Používají hardware, skenování a rychlosti zpracování obrazu a styly zobrazování, které jsou již používány v autonomních systémech vidění. Jeden rozdíl je v tom, že nový systém je schopen zachytit světlo, které se odrazí od různých povrchů s různými texturami. Předtím systémy, které byly použity k vidění věcí mimo přímou linii pohledu, byly schopny to udělat pouze s objekty, které odrážely rovnoměrné a silné světlo.

Jednou z vývoje, které jim pomohly vytvořit tuto technologii, byl laser, který je 10 000krát výkonnější než ten, který použili loni. Skenuje zeď na opačné straně bodu zájmu. Světlo se odrazí od zdi, zasáhne objekty v scéně a vrátí se zpět na zeď a kamerové senzory. Senzor je pak schopen zachytit malé částice laserového světla a poslat je do algoritmu, který byl také vyvinut týmem. Algoritmus rozluští částice, aby rekonstruoval obrazy.

“Když sledujete laserové skenování, nevidíte nic,” řekl Lindell. “S tímto hardwarem můžeme基本ně zpomalit čas a odhalit tyto stopy světla. To skoro vypadá jako kouzlo.”

Nový systém je schopen skenovat čtyři snímky za sekundu a rekonstruovat scény až 60 snímků za sekundu s jednotkou počítačového zpracování grafiky, která zvyšuje jeho schopnosti.

Tým čerpal inspiraci z jiných oborů, jako jsou seizmické zobrazovací systémy. Ty odrážejí zvukové vlny od podzemních vrstev Země a jsou schopny vidět, co je pod povrchem. Algoritmus je rekonfigurován, aby rozluštil světlo, které se odrazí od skrytých objektů.

Matthew O’Toole, asistent profesora na Carnegie Mellon University a bývalý postdoktorand v laboratoři Wetzsteina, hovořil o nové technologii.

“Existuje mnoho nápadů, které se používají v jiných prostorech – seismologie, zobrazování pomocí satelitů, syntetická apertura radar – které jsou použitelné pro vidění za rohy,” řekl. “Pokusíme se vzít trochu z těchto oblastí a doufáme, že budeme moci vrátit něco zpět do nich v budoucnu.”

Dalším krokem týmu je testování systému na autonomních výzkumných autech. Chtějí také zjistit, zda bude použitelný v jiných oblastech, jako je medicínské zobrazování, a pomoci řešit problémy s viděním, se kterými se setkávají řidiči, jako je mlha, déšť, písečné bouře a sníh.