Нові камери, розроблені за допомогою світла, щоб бачити навколо кутів

Девід Лінделл, аспірант кафедри електротехніки Стенфордського університету, разом зі своєю командою, розробили камеру, яка може спостерігати рухомі об’єкти навколо кутів. Коли вони тестували нову технологію, Лінделл носив високої видимості костюм, рухаючись по порожній кімнаті. У них була камера, спрямована на пусту стіну, віддалену від Лінделла, і команда змогла спостерігати всі його рухи за допомогою високопотужного лазера. Лазер реконструював зображення за допомогою окремих частинок світла, які були відбиті на стінах навколо Лінделла. Нові розроблені камери використовували передові сенсори та алгоритм обробки.

Гордон Ветцштейн, асистент професора кафедри електротехніки Стенфордського університету, висловився про нову розроблену технологію.

“Люди говорять про будівництво камери, яка може бачити так само, як люди, для застосувань, таких як автономні коти та робототехніка, але ми хочемо побудувати системи, які будуть далеко за межами цього”, – сказав він. “Ми хочемо бачити речі в 3D, навколо кутів і за межами видимого спектру світла”.

Система камери, яка була протестована, буде представлена на конференції SIGGRAPH 2019 1 серпня.

Команда вже розробила подібні камери, які можуть бачити навколо кутів, але ця камера може захоплювати більше світла з більшої кількості поверхонь. Вона також може бачити ширше і далі, а також контролювати рух поза зором. Вони сподіваються, що ці “суперлюдські системи бачення” зможуть бути використані в автономних автомобілях і роботах, щоб вони працювали безпечніше, ніж коли ними керує людина.

Одним з основних цілей команди є підтримання системи практичною. Вони використовують апаратне забезпечення, швидкість сканування та обробки зображень, а також стилі зображення, які вже використовуються в системах бачення автономних автомобілів. Однією з відмінностей є те, що нова система може захоплювати світло, яке відбивається від різних поверхонь з різними текстурами. Раніше системи, які використовувалися для бачення речей поза полем зору камери, могли це робити тільки з об’єктами, які відбивають рівне та сильне світло.

Одним з розробок, які допомогли їм створити цю технологію, був лазер, який у 10 000 разів потужніший, ніж той, який вони використовували минулого року. Він сканує стіну на протилежній стороні точки інтересу. Світло відбивається від стіни, потрапляє на об’єкти в сцені та повертається назад до стіни та сенсорів камери. Сенсор потім може захоплювати маленькі частинки лазерного світла та відправляти їх до алгоритму, який також був розроблений командою. Алгоритм розшифровує частинки, щоб реконструювати зображення.

“Коли ви дивитесь, як лазер сканує все, ви нічого не бачите”, – сказав Лінделл. “З цим апаратним забезпеченням ми можемо майже сповільнити час та розкрити ці сліди світла. Це майже здається магією”.

Нова система може сканувати з частотою чотири кадри в секунду та реконструювати сцени до 60 кадрів в секунду з графічним процесором, який підвищує можливості.

Команда черпала натхнення з інших галузей, таких як сейсмічні системи зображення. Ці системи відбивають звукові хвилі від підземних шарів Землі та можуть бачити, що знаходиться під поверхнею. Алгоритм був перепрограмований для розшифровки світла, яке відбивається від прихованих об’єктів.

Метью О’Тул, асистент професора університету Карнегі-Меллон та колишній постдокторант у лабораторії Ветцштейна, висловився про нову технологію.

“Є багато ідей, які використовуються в інших галузях – сейсмології, зображенні супутниками, синтетичному радарі – які застосовні для бачення навколо кутів”, – сказав він. “Ми намагаємося взяти трохи з цих галузей, і, можливо, ми зможемо дати щось назад їм у якийсь момент”.

Наступним кроком команди є тестування системи на автономних дослідницьких автомобілях. Вони також хочуть побачити, чи буде вона застосовна в інших галузях, таких як медичне зображення, та допомогти боротися з проблемами візуальних умов, з якими зустрічаються водії, такими як туман, дощ, піщані бурі та сніг.