Sensor de Imagem de Silício Acelera e Simplifica o Processamento de Imagens para Veículos Autônomos

Uma equipe de pesquisadores da Harvard John A. Paulson School of Engineering and Applied Sciences desenvolveu o primeiro processador in-sensor que pode ser integrado a chips de sensores de imagem de silício comerciais. Esses sensores são conhecidos como sensores de imagem de metal-óxido-semicondutor complementar (CMOS) e são usados em uma ampla gama de dispositivos comerciais que capturam informações visuais. 

O novo dispositivo acelera e simplifica o processamento para veículos autônomos e outras aplicações. 

Veículos Autônomos e Processamento Visual

Em veículos autônomos, o tempo entre um sistema capturar uma imagem e esses dados serem entregues ao microprocessador para processamento de imagem pode ter implicações significativas. É um período de tempo crucial que pode significar a diferença entre evitar um obstáculo ou se envolver em um acidente. 

O processamento visual pode ser acelerado pelo processamento de imagem in-sensor, que envolve a extração de recursos importantes dos dados brutos pelo próprio sensor de imagem, em vez de um microprocessador separado. No entanto, o processamento in-sensor provou ser limitado a materiais de pesquisa emergentes, que são difíceis de incorporar a sistemas comerciais. 

É isso que torna o novo desenvolvimento tão importante. 

A equipe publicou sua pesquisa em Nature Electronics. 

Computação In-Sensor

Donhee Ham é o Professor Gordon McKay de Engenharia Elétrica e Física Aplicada no SEAS e autor sênior do artigo. 

“Nossa pesquisa pode aproveitar a indústria de eletrônica semicondutora de ponta para trazer rapidamente a computação in-sensor para uma ampla variedade de aplicações do mundo real”, disse Ham. 

A equipe desenvolveu uma matriz de fotodiodos de silício, que também é usada em chips de sensores de imagem comercialmente disponíveis para capturar imagens. No entanto, os fotodiodos da equipe são dopados eletrostaticamente, o que significa que a sensibilidade de fotodiodos individuais à luz incidente pode ser ajustada por tensões. 

Quando uma matriz conecta vários fotodiodos com tensão ajustável, ela pode realizar uma versão analógica de operações de multiplicação e adição que são importantes para pipelines de processamento de imagem. Isso ajuda a extrair informações visuais relevantes assim que a imagem é capturada. 

Houk Jang é um pesquisador pós-doutoral no SEAS e autor principal do artigo. 

“Esses fotodiodos dinâmicos podem filtrar imagens simultaneamente à medida que são capturadas, permitindo que a primeira etapa do processamento de visão seja transferida do microprocessador para o sensor em si”, disse Jang. 

Para remover detalhes desnecessários ou ruído para várias aplicações, a matriz de fotodiodos de silício é programada em diferentes filtros de imagem. Quando usada em um sistema de imagem em um veículo autônomo, é necessário um filtro de passagem alta que rastreia a marcação da pista. 

Henry Hinton é um estudante de graduação no SEAS e co-autor principal do artigo. 

“Olhando para o futuro, preveemos o uso desse processador in-sensor baseado em silício não apenas em aplicações de visão de máquina, mas também em aplicações bio-inspiradas, nas quais o processamento de informações precoces permite a co-localização de unidades de sensor e computação, como no cérebro”, disse Hinton. 

A equipe agora buscará aumentar a densidade de fotodiodos e integrá-los com circuitos integrados de silício. 

“Substituindo os pixels não programáveis padrão em sensores de imagem de silício comerciais pelos programáveis desenvolvidos aqui, os dispositivos de imagem podem cortar inteligentemente os dados desnecessários. Isso pode ser feito de forma mais eficiente em termos de energia e largura de banda para atender às demandas das próximas gerações de aplicações sensoriais”, disse Jang.