Силikonовый Изображающий Датчик Ускоряет и Упрощает Обработку Изображений для Автономных Транспортных Средств

Команда исследователей в Гарвардской школе инженерии и прикладных наук имени Джона А. Паулсона разработала первый процессор в датчике, который может быть интегрирован в коммерческие кремниевые изображающие датчики. Эти датчики известны как комплементарные металло-оксидные полупроводниковые (CMOS) изображающие датчики и используются в широком диапазоне коммерческих устройств, которые захватывают визуальную информацию.

Новое устройство ускоряет и упрощает обработку для автономных транспортных средств и других применений.

Автономные Транспортные Средства и Визуальная Обработка

В автономных транспортных средствах время между тем, как система делает снимок, и тем, как эти данные передаются микропроцессору для обработки изображения, может иметь серьезные последствия. Это критический период, который может означать разницу между избежанием препятствия или участием в аварии.

Визуальная обработка может быть ускорена за счет обработки изображения в самом датчике, которая включает в себя извлечение важных особенностей из сырых данных датчиком изображения, а не отдельным микропроцессором. Однако обработка в датчике оказалась ограниченной новыми материалами, которые трудно включить в коммерческие системы.

Именно это делает новое развитие таким важным.

Команда опубликовала свою работу в Nature Electronics.

Обработка в Датчике

Donhee Ham является профессором электротехники и прикладной физики в SEAS и старшим автором статьи.

“Наша работа может использовать основную полупроводниковую электронику для быстрого внедрения обработки в датчике в широкий спектр реальных применений”, – сказал Хам.

Команда разработала кремниевую фотодиодную матрицу, которая также используется в коммерчески доступных датчиках изображения для захвата изображений. Однако фотодиоды команды электростатически легированы, что означает, что чувствительность отдельных фотодиодов к входящему свету может быть настроена напряжением.

Когда матрица соединяет несколько фотодиодов с настраиваемым напряжением, она может выполнять аналоговую версию операций умножения и сложения, которые важны для обработки изображения. Это помогает извлечь релевантную визуальную информацию сразу после захвата изображения.

Houk Jang является постдокторантом в SEAS и первым автором статьи.

“Эти динамические фотодиоды могут одновременно фильтровать изображения при их захвате, что позволяет переместить первый этап обработки зрения из микропроцессора в сам датчик”, – сказал Джанг.

Чтобы удалить ненужные детали или шум для различных применений, кремниевая фотодиодная матрица запрограммирована в различные фильтры изображения. Когда она используется в системе изображения в самоходном транспортном средстве, она требует высокочастотного фильтра, который отслеживает разметку полосы.

Henry Hinton является аспирантом в SEAS и соавтором статьи.

“В перспективе мы предвидим использование этого кремниевого процессора в датчике не только в применениях машинного зрения, но и в биоинспирированных применениях, где ранняя обработка информации позволяет совместно расположить датчик и вычислительные блоки, как в мозге”, – сказал Хинтон.

Команда теперь будет работать над увеличением плотности фотодиодов и интеграцией их с кремниевыми интегральными схемами.

“Заменив стандартные непрограммируемые пиксели в коммерческих кремниевых датчиках изображения на программируемые, разработанные здесь, устройства изображения могут интеллектуально обрезать ненужные данные. Это может быть сделано более эффективным как в энергии, так и в полосе пропускания, чтобы удовлетворить требованиям следующего поколения сенсорных применений”, – сказал Джанг.