Новоразработените камери използват светлина, за да виждат зад ъглите

Дейвид Линдел, завършил студент по електроинженерство в Станфордския университет, заедно със своя екип разработиха камера, която може да наблюдава движещи се обекти зад ъглите. Когато тестваха новата технология, Линдел носеше анцуг с висока видимост, докато се движеше из празна стая. Те имаха камера, която беше насочена към празна стена, далеч от Линдел, и екипът успя да наблюдава всичките му движения с помощта на мощен лазер. Лазерът реконструира изображенията чрез използването на единични частици светлина, които се отразяват върху стените около Линдел. Новоразработената камера използва усъвършенствани сензори и алгоритъм за обработка. 

Гордън Вецщайн, асистент по електроинженерство в Станфорд, говори за новоразработената технология. 

„Хората говорят за създаване на камера, която може да вижда толкова добре, колкото хората за приложения като автономни котки и роботи, но ние искаме да изградим системи, които надхвърлят това“, каза той. „Искаме да виждаме нещата в 3D, зад ъглите и отвъд спектъра на видимата светлина.“ 

Системата от камери, която беше тествана, ще бъде представена на конференцията SIGGRAPH 2019 на 1 август. 

Екипът вече е разработил подобни камери зад ъгъла в миналото, но тази е в състояние да улови повече светлина от повече повърхности. Освен това може да вижда по-широко и по-далеч, както и да наблюдава движението извън видимостта. Те се надяват, че тези „свръхчовешки системи за зрение“ ще могат да се използват в автономни автомобили и роботи, така че да работят по-безопасно, отколкото когато се контролират от човек. 

Една от основните цели на екипа е да запази системата практична. Те използват хардуер, скорости на сканиране и обработка на изображения и стилове на изображения, които вече се използват в автономните системи за автомобилно зрение. Една от разликите е, че новата система е в състояние да улови светлината, отразена от различни повърхности с различни текстури. Преди системите, използвани за виждане на неща извън зрителната линия на камерата, можеха да го правят само с обекти, които отразяваха равномерна и силна светлина. 

Едно от разработките, които им помогнаха да създадат тази технология, беше лазер, който е 10,000 XNUMX пъти по-мощен от този, който използваха миналата година. Той сканира стена от противоположната страна на интересната точка. Светлината отскача от стената, удря обектите в сцената и се връща обратно към стената и сензорите на камерата. След това сензорът може да улавя малки петна от лазерната светлина и да ги изпраща към алгоритъм, който също е разработен от екипа. Алгоритъмът дешифрира петънцата, за да реконструира изображенията. 

„Когато гледате как лазерът го сканира, не виждате нищо“, каза Линдел. „С този хардуер можем основно да забавим времето и да разкрием тези следи от светлина. Изглежда почти като магия. 

Новата система е в състояние да сканира с четири кадъра в секунда и да реконструира сцени до 60 кадъра в секунда с процесор за компютърна графика, който подобрява възможностите. 

Екипите черпят вдъхновение от други области, като например системи за сеизмични изображения. Те отразяват звуковите вълни от подземните слоеве на Земята и могат да видят какво има под повърхността. Алгоритъмът е преконфигуриран, за да дешифрира светлината, която отскача от скрити обекти. 

Матю О'Тул, асистент в университета Карнеги Мелън и предишен постдокторант в лабораторията на Wetzstein, говори за новата технология. 

„Има много идеи, които се използват в други области – сеизмология, изображения със сателити, радар със синтетична апертура – ​​които са приложими за оглеждане зад ъглите“, каза той. Опитваме се да вземем малко от тези полета и се надяваме, че ще можем да им върнем нещо в даден момент.” 

Следващата стъпка на екипа е да тества системата върху автономни изследователски автомобили. Те също така искат да видят дали ще бъде приложимо в други области, като медицински изображения и за подпомагане на борбата с проблемите на зрителните условия, с които се сблъскват шофьорите, като мъгла, дъжд, пясъчни бури и сняг.