Силиконовый Изображающий Датчик Ускоряет и Упрощает Обработку Изображений для Автономных Транспортных Средств

Команда исследователей в Гарвардской школе инженерии и прикладных наук имени Джона А. Паулсона разработала первый в-сенсорный процессор, который может быть интегрирован в коммерческие силиконовые изображающие датчики. Эти датчики известны как комплементарные металло-оксидные полупроводниковые (CMOS) изображающие датчики и используются в широком диапазоне коммерческих устройств, которые захватывают визуальную информацию.

Новое устройство ускоряет и упрощает обработку для автономных транспортных средств и других применений.

Автономные Транспортные Средства и Визуальная Обработка

В автономных транспортных средствах время между тем, как система делает снимок, и тем, когда эти данные передаются микропроцессору для обработки изображения, может иметь серьезные последствия. Это критический период, который может означать разницу между избежанием препятствия или участием в аварии.

Визуальная обработка может быть ускорена за счет в-сенсорной обработки изображения, которая включает в себя извлечение важных особенностей из сырых данных самим изображающим датчиком, а не отдельным микропроцессором. Однако в-сенсорная обработка оказалась ограниченной для новых исследовательских материалов, которые трудно включить в коммерческие системы.

Это то, что делает новое развитие таким значимым.

Команда опубликовала свою исследование в Nature Electronics.

В-Сенсорные Вычисления

Donhee Ham является профессором электротехники и прикладной физики в SEAS и старшим автором статьи.

“Наша работа может использовать основную полупроводниковую электронную промышленность для быстрого внедрения в-сенсорных вычислений в широкий спектр реальных применений”, – сказал Хам.

Команда разработала силиконовый фотодиодный массив, который также используется в коммерчески доступных изображающих чипах для захвата изображений. Но фотодиоды команды электростатически легированы, что означает, что чувствительность отдельных фотодиодов к входящему свету может быть настроена напряжением.

Когда массив соединяет несколько фотодиодов с настраиваемым напряжением, он может выполнять аналоговую версию операций умножения и сложения, важных для обработки изображений. Это помогает извлечь релевантную визуальную информацию сразу после захвата изображения.

Houk Jang является постдокторантом в SEAS и первым автором статьи.

“Эти динамические фотодиоды могут одновременно фильтровать изображения при их захвате, что позволяет переместить первый этап обработки зрения из микропроцессора в сам датчик”, – сказал Джанг.

Чтобы удалить ненужные детали или шум для различных применений, силиконовый фотодиодный массив программирован в различные изображающие фильтры. Когда он используется в системе изображения самоходного транспортного средства, он требует высокопропускного фильтра, который отслеживает разметку полосы.

Henry Hinton является аспирантом в SEAS и соавтором статьи.

“Взглянув вперед, мы предвидим использование этого силиконового в-сенсорного процессора не только в приложениях машинного зрения, но и в био-инспирированных приложениях, где раннее обработка информации позволяет совместно располагать сенсорные и вычислительные блоки, как в мозге”, – сказал Хинтон.

Команда теперь будет работать над увеличением плотности фотодиодов и их интеграцией с силиконовыми интегральными схемами.

“Заменив стандартные непрограммируемые пиксели в коммерческих силиконовых изображающих датчиках на программируемые, разработанные здесь, устройства изображения могут интеллектуально обрезать ненужные данные. Это может быть сделано более эффективно как в энергетическом, так и в полосовом отношении, чтобы удовлетворить требованиям для следующего поколения сенсорных применений”, – сказал Джанг.