Нещодавно розроблені камери використовують світло, щоб бачити з-за кутів

Девід Лінделл, аспірант електротехніки Стенфордського університету, разом зі своєю командою розробив камеру, яка може спостерігати за рухомими об’єктами за кутами. Коли вони випробовували нову технологію, Лінделл одягнув спортивний костюм підвищеної видимості, коли пересувався порожньою кімнатою. У них була камера, яка була спрямована на глуху стіну від Лінделла, і команда могла спостерігати за всіма його рухами за допомогою потужного лазера. Лазер реконструював зображення за допомогою окремих частинок світла, які відбивалися на стінах навколо Лінделла. Нещодавно розроблена камера використовувала вдосконалені датчики та алгоритм обробки. 

Гордон Ветцштайн, доцент кафедри електротехніки Стенфордського університету, розповів про нову технологію. 

«Люди говорять про створення камери, яка може бачити так само добре, як і люди, для таких додатків, як автономні коти та роботи, але ми хочемо створити системи, які виходять далеко за рамки цього», — сказав він. «Ми хочемо бачити речі в 3D, за кутами та за межами спектру видимого світла». 

Тестована система камер буде представлена ​​на конференції SIGGRAPH 2019 1 серпня. 

Раніше команда вже розробляла подібні камери огляду за кутом, але ця здатна вловлювати більше світла з більшої кількості поверхонь. Він також може бачити ширше та далі, а також відстежувати рух за межами видимості. Вони сподіваються, що ці «системи надлюдського бачення» можна буде використовувати в автономних автомобілях і роботах, щоб вони працювали безпечніше, ніж під керуванням людини. 

Однією з головних цілей команди є збереження практичності системи. Вони використовують апаратне забезпечення, швидкість сканування та обробки зображень, а також стилі зображення, які вже використовуються в системах автономного огляду автомобіля. Однією з відмінностей є те, що нова система здатна вловлювати світло, що відбивається від різних поверхонь з різними текстурами. Раніше системи, які використовувалися для спостереження за межами поля зору камери, могли робити це лише з об’єктами, які відбивали рівномірне та сильне світло. 

Однією з розробок, яка допомогла їм створити цю технологію, був лазер, який у 10,000 XNUMX разів потужніший за той, який вони використовували минулого року. Він сканує стіну з протилежного боку від об’єкта інтересу. Світло відбивається від стіни, потрапляє на об’єкти в сцені та повертається назад до стіни та датчиків камери. Потім датчик здатний вловлювати маленькі цятки лазерного світла та надсилати їх алгоритму, який також розробила команда. Алгоритм розшифровує цятки, щоб реконструювати зображення. 

«Коли ви спостерігаєте за лазерним скануванням, ви нічого не бачите», — сказав Лінделл. «За допомогою цього апаратного забезпечення ми можемо фактично уповільнити час і виявити ці сліди світла. Це виглядає майже як магія». 

Нова система здатна сканувати зі швидкістю чотири кадри за секунду та реконструювати сцени зі швидкістю до 60 кадрів за секунду за допомогою блоку обробки комп’ютерної графіки, що розширює можливості. 

Команди черпали натхнення в інших галузях, таких як системи сейсмічних зображень. Ці звукові хвилі відбиваються від підземних шарів Землі, і вони можуть бачити, що знаходиться під поверхнею. Алгоритм змінено на розшифровку світла, яке відбивається від прихованих об’єктів. 

Метью О'Тул, доцент Університету Карнегі-Меллона та попередній докторант у лабораторії Ветцштайна, розповів про нову технологію. 

«Є багато ідей, які використовуються в інших сферах — сейсмологія, знімки із супутників, радар із синтетичною апертурою — які можна застосувати для огляду за кутами», — сказав він. Ми намагаємося взяти трохи з цих полів і, сподіваюся, колись зможемо їм щось повернути». 

Наступним кроком команди є випробування системи на автономних дослідницьких автомобілях. Вони також хочуть побачити, чи буде він застосовний в інших сферах, таких як медична візуалізація, і для боротьби з проблемами зору, з якими стикаються водії, такими як туман, дощ, піщані бурі та сніг.