Швидкість зображення кремнієвого зображення прискорює та спрощує обробку зображення для автономних транспортних засобів

Команда дослідників у Гарвардській школі інженерії та прикладних наук імені Джона А. Полсона розробила перший процесор в зображенні, який можна інтегрувати до комерційних кремнієвих зображувальних чипів. Ці чипи відомі як комплементарні метал-оксид-полупровідникові (CMOS) зображувальні чипи та використовуються у широкому діапазоні комерційних пристроїв, які захоплюють візуальну інформацію.

Новий пристрій прискорює та спрощує обробку для автономних транспортних засобів та інших застосунків.

Автономні транспортні засоби та візуальна обробка

У автономних транспортних засобах час між захопленням зображення системою та доставкою даних до мікропроцесора для обробки зображення може мати великі наслідки. Це критичний період часу, який може означати різницю між уникненням перешкоди або участю в аварії.

Візуальну обробку можна прискорити за допомогою обробки зображення в чипі, яка включає в себе витяг важливих функцій із сирої інформації самим зображувальним чипом, а не окремим мікропроцесором. Однак обробка в чипі виявилася обмеженою новими матеріалами для досліджень, які важко інтегрувати до комерційних систем.

Саме це робить новий розвиток таким великим.

Команда опублікувала свою роботу в Nature Electronics.

Обробка в чипі

Донхі Хам – професор електротехніки та прикладної фізики в SEAS та старший автор статті.

“Наша робота може використовувати основну 半導體 електронну промисловість для швидкого впровадження обробки в чипі в широкий спектр реальних застосунків”, – сказав Хам.

Команда розробила кремнієвий фотодіодний масив, який також використовується в комерційно доступних чипах зображення для захоплення зображень. Однак фотодіоди команди електростатично леговані, що означає, що чутливість окремих фотодіодів до світла може бути налаштована напругами.

Коли масив з’єднує кілька фотодіодів з налаштовуваною напругою, він може виконувати аналогову версію операцій множення та додавання, які важливі для потоків обробки зображення. Це допомагає витягти відповідну візуальну інформацію одразу після захоплення зображення.

Хук Джанг – постдокторант у SEAS та перший автор статті.

“Ці динамічні фотодіоди можуть одночасно фільтрувати зображення під час їх захоплення, що дозволяє перемістити перший етап візуальної обробки з мікропроцесора в сам чип”, – сказав Джанг.

Для видалення зайвих деталей або шуму для різних застосунків кремнієвий фотодіодний масив програмується у різні фільтри зображення. Коли він використовується в системі зображення в самохідному транспортному засобі, це вимагає фільтр високої пропускання, який відстежує позначення смуг.

Генрі Хінтон – аспірант у SEAS та співавтор статті.

“Оглядаючи вперед, ми передбачаємо використання цього кремнієвого процесора в зображенні не тільки в застосунках машинного бачення, але й у біоінспірованих застосунках, де рання обробка інформації дозволяє ко-локалізацію сенсорних та обчислювальних одиниць, як у мозку”, – сказав Хінтон.

Команда тепер буде працювати над збільшенням щільності фотодіодів та інтеграцією їх з кремнієвими інтегральними схемами.

“Замінюючи стандартні непрограмовані пікселі в комерційних кремнієвих зображувальних чипах на програмовані, розроблені тут, пристрої зображення можуть інтелектуально видалити зайві дані. Це можна зробити більш ефективним за енергією та пропускною здатністю для задоволення вимог наступного покоління сенсорних застосунків”, – сказав Джанг.