Sensor de Imagem de Silício Acelera e Simplifica o Processamento de Imagens para Veículos Autônomos

Uma equipe de pesquisadores da Harvard John A. Paulson School of Engineering and Applied Sciences desenvolveu o primeiro processador de sensor que pode ser integrado a chips de sensores de imagem de silício comerciais. Esses sensores são conhecidos como sensores de imagem de metal-óxido-semicondutor complementar (CMOS) e são usados em uma ampla gama de dispositivos comerciais que capturam informações visuais.

O novo dispositivo acelera e simplifica o processamento para veículos autônomos e outras aplicações.

Veículos Autônomos e Processamento Visual

Em veículos autônomos, o tempo entre um sistema capturar uma imagem e esses dados serem entregues ao microprocessador para processamento de imagem pode ter implicações significativas. É um período de tempo crucial que pode significar a diferença entre evitar um obstáculo ou se envolver em um acidente.

O processamento visual pode ser acelerado pelo processamento de imagem no sensor, que envolve a extração de recursos importantes dos dados brutos pelo próprio sensor de imagem, em vez de um microprocessador separado. No entanto, o processamento no sensor provou ser limitado a materiais de pesquisa emergentes, que são difíceis de incorporar em sistemas comerciais.

É isso que torna o novo desenvolvimento tão importante.

A equipe publicou sua pesquisa em Nature Electronics.

Computação no Sensor

Donhee Ham é o Professor Gordon McKay de Engenharia Elétrica e Física Aplicada da SEAS e autor sênior do artigo.

“Nossa obra pode aproveitar a indústria de eletrônica de semicondutores de corrente para trazer rapidamente a computação no sensor para uma ampla variedade de aplicações do mundo real”, disse Ham.

A equipe desenvolveu uma matriz de fotodiodos de silício, que também é usada em chips de sensores de imagem comercialmente disponíveis para capturar imagens. No entanto, os fotodiodos da equipe são dopados eletrostaticamente, o que significa que a sensibilidade de cada fotodiodo à luz incidente pode ser ajustada por tensões.

Quando uma matriz conecta vários fotodiodos ajustáveis por tensão, ela pode realizar uma versão analógica de operações de multiplicação e adição que são importantes para pipelines de processamento de imagem. Isso ajuda a extrair informações visuais relevantes logo quando a imagem é capturada.

Houk Jang é um pesquisador pós-doutoral da SEAS e autor principal do artigo.

“Esses fotodiodos dinâmicos podem filtrar imagens simultaneamente à sua captura, permitindo que a primeira etapa do processamento de visão seja movida do microprocessador para o sensor em si”, disse Jang.

Para remover detalhes desnecessários ou ruído para várias aplicações, a matriz de fotodiodos de silício é programada em diferentes filtros de imagem. Quando usada em um sistema de imagem em um veículo autônomo, é necessário um filtro passa-alta que rastreia a marcação da faixa.

Henry Hinton é um estudante de graduação da SEAS e co-autor principal do artigo.

“Olhando para o futuro, preveremos o uso desse processador de sensor de silício não apenas em aplicações de visão de máquina, mas também em aplicações bio-inspiradas, nas quais o processamento de informações iniciais permite a co-localização de unidades de sensor e computação, como no cérebro”, disse Hinton.

A equipe agora irá aumentar a densidade dos fotodiodos e integrá-los com circuitos integrados de silício.

“Substituindo os pixels não programáveis padrão em sensores de imagem de silício comerciais pelos programáveis desenvolvidos aqui, os dispositivos de imagem podem inteligentemente cortar dados desnecessários. Isso pode ser feito de forma mais eficiente em termos de energia e largura de banda para atender às demandas da próxima geração de aplicações sensoriais”, disse Jang.