Кремнієвий сенсор зображення прискорює та спрощує обробку зображень для автономних транспортних засобів

Команда дослідників у Гарвардській школі інженерії та прикладних наук імені Джона А. Полсона розробила перший процесор усередині сенсора, який можна інтегрувати до комерційних кремнієвих зображувальних чипів. Ці чипи відомі як комплементарні метал-оксид-напівпровідникові (CMOS) зображувальні чипи та використовуються у широкому діапазоні комерційних пристроїв, які захоплюють візуальну інформацію.

Новий пристрій прискорює та спрощує обробку для автономних транспортних засобів та інших застосунків.

Автономні транспортні засоби та візуальна обробка

У автономних транспортних засобах час між захопленням зображення системою та доставкою даних до мікропроцесора для обробки зображення може мати великі наслідки. Це критичний період часу, який може означати різницю між уникненням перешкоди або участю в аварії.

Візуальну обробку можна прискорити за допомогою обробки зображення в чипі, яка включає в себе виділення важливих ознак із сирої інформації самим зображувальним чипом, а не окремим мікропроцесором. Однак обробка в чипі виявилася обмеженою новими матеріалами для досліджень, які важко інтегрувати до комерційних систем.

Саме це робить новий розвиток таким великим.

Команда опублікувала свою роботу в Nature Electronics.

Обробка в чипі

Донхі Хам – професор імені Гордона Маккея з електротехніки та прикладної фізики в SEAS та старший автор статті.

“Наша робота може використовувати основну напівпровідникову електронну промисловість для швидкого впровадження обробки в чипі в широкий спектр реальних застосунків”, – сказав Хам.

Команда розробила кремнієвий фотодіодний масив, який також використовується в комерційно доступних чипах зображення для захоплення зображень. Однак фотодіоди команди електростатично леговані, що означає, що чутливість окремих фотодіодів до світла може бути налаштована напругами.

Коли масив з’єднує кілька фотодіодів з налаштовуваною напругою, він може виконувати аналогову версію операцій множення та додавання, які важливі для потоків обробки зображення. Це допомагає витягти відповідну візуальну інформацію одразу після захоплення зображення.

Хук Джанг – постдокторант у SEAS та перший автор статті.

“Ці динамічні фотодіоди можуть одночасно фільтрувати зображення під час їх захоплення, що дозволяє перемістити перший етап візуальної обробки з мікропроцесора в сам чип”, – сказав Джанг.

Для видалення зайвих деталей або шуму для різних застосунків кремнієвий фотодіодний масив програмується у різні фільтри зображення. Коли він використовується в системі зображення в самохідному транспортному засобі, це вимагає фільтр верхніх частот, який відстежує позначення смуг.

Генрі Хінтон – аспірант у SEAS та один зі спільних перших авторів статті.

“Оглядаючи вперед, ми передбачаємо використання цього кремнієвого процесора в зображенні не тільки в застосунках машинного бачення, але й у біоінспірованих застосунках, де рання обробка інформації дозволяє ко-локалізацію сенсорних та обчислювальних одиниць, як у мозку”, – сказав Хінтон.

Команда тепер буде працювати над збільшенням щільності фотодіодів та інтеграцією їх з кремнієвими інтегральними схемами.

“Замінюючи стандартні непрограмовані пікселі в комерційних кремнієвих зображувальних чипах на програмовані, розроблені тут, пристрої зображення можуть інтелектуально видалити зайві дані. Це можна зробити більш ефективним за енергією та пропускною здатністю для задоволення вимог наступного покоління сенсорних застосунків”, – сказав Джанг.