Sensor de imagen de silicio de Silicon Image acelera y simplifica el procesamiento de imágenes para vehículos autónomos

Un equipo de investigadores de la Escuela de Ingeniería y Ciencias Aplicadas John A. Paulson de Harvard ha desarrollado el primer procesador en sensor que podría integrarse en chips de sensores de imagen de silicio comerciales. Estos sensores se conocen como sensores de imagen de metal-óxido-semiconductor complementario (CMOS) y se utilizan en una amplia gama de dispositivos comerciales que capturan información visual.

El nuevo dispositivo acelera y simplifica el procesamiento para vehículos autónomos y otras aplicaciones.

Vehículos autónomos y procesamiento visual

En los vehículos autónomos, el tiempo entre que un sistema toma una imagen y que los datos se entregan al microprocesador para el procesamiento de la imagen puede tener implicaciones importantes. Es un período de tiempo crucial que puede significar la diferencia entre evitar un obstáculo o estar involucrado en un accidente.

El procesamiento visual se puede acelerar mediante el procesamiento de imágenes en el sensor, que implica la extracción de características importantes de los datos brutos por el sensor de imagen en sí, en lugar de un microprocesador separado. Con eso dicho, el procesamiento en el sensor ha demostrado ser limitado a materiales de investigación emergentes, que son difíciles de incorporar en sistemas comerciales.

Es lo que hace que el nuevo desarrollo sea tan importante.

El equipo publicó su investigación en Nature Electronics.

Computación en el sensor

Donhee Ham es el profesor Gordon McKay de Ingeniería Eléctrica y Física Aplicada en SEAS y autor principal del artículo.

“Nuestro trabajo puede aprovechar la industria de electrónica de semiconductores mainstream para llevar rápidamente la computación en el sensor a una amplia variedad de aplicaciones del mundo real”, dijo Ham.

El equipo desarrolló una matriz de fotodiodos de silicio, que también se utiliza en chips de detección de imágenes comercialmente disponibles para capturar imágenes. Pero los fotodiodos del equipo están dopados electrostáticamente, lo que significa que la sensibilidad de los fotodiodos individuales a la luz entrante se puede ajustar mediante voltajes.

Cuando una matriz conecta múltiples fotodiodos ajustables de voltaje, puede realizar una versión analógica de operaciones de multiplicación y adición que son importantes para las tuberías de procesamiento de imágenes. Esto ayuda a extraer información visual relevante justo cuando se captura la imagen.

Houk Jang es un becario postdoctoral en SEAS y autor principal del artículo.

“Estos fotodiodos dinámicos pueden filtrar imágenes concurrentemente mientras se capturan, lo que permite que la primera etapa del procesamiento de visión se mueva del microprocesador al sensor en sí”, dijo Jang.

Para eliminar detalles o ruido innecesarios para diversas aplicaciones, la matriz de fotodiodos de silicio se programa en diferentes filtros de imagen. Cuando se utiliza en un sistema de imágenes en un vehículo autónomo, se requiere un filtro de paso alto que rastree las marcas de carril.

Henry Hinton es un estudiante de posgrado en SEAS y coautor principal del artículo.

“Mirando hacia adelante, preveemos el uso de este procesador en sensor de silicio no solo en aplicaciones de visión de máquina, sino también en aplicaciones bioinspiradas, en las que el procesamiento de información temprano permite la coubicación de unidades de sensor y cómputo, como en el cerebro”, dijo Hinton.

El equipo ahora buscará aumentar la densidad de los fotodiodos y integrarlos con circuitos integrados de silicio.

“Al reemplazar los píxeles no programables estándar en sensores de imagen de silicio comerciales con los píxeles programables desarrollados aquí, los dispositivos de imagen pueden recortar inteligentemente los datos innecesarios. Esto podría ser más eficiente tanto en energía como en ancho de banda para satisfacer las demandas de la próxima generación de aplicaciones sensoriales”, dijo Jang.