El sensor de imagen de silicio acelera y simplifica el procesamiento de imágenes para vehículos autónomos

Un equipo de investigadores de la Escuela de Ingeniería y Ciencias Aplicadas John A. Paulson de Harvard ha desarrollado el primer procesador en el sensor que podría integrarse en chips sensores de imágenes de silicio comerciales. Estos sensores se conocen como sensores de imagen de semiconductores de óxido de metal complementarios (CMOS) y se utilizan en una amplia gama de dispositivos comerciales que capturan información visual. 

El nuevo dispositivo acelera y simplifica el procesamiento para vehículos autónomos y otras aplicaciones. 

Vehículos Autónomos y Procesamiento Visual

En los vehículos autónomos, el tiempo que transcurre entre que un sistema toma una imagen y la entrega de los datos al microprocesador para el procesamiento de la imagen puede tener implicaciones importantes. Es un período de tiempo crucial que puede significar la diferencia entre evitar un obstáculo o involucrarse en un accidente. 

El procesamiento visual se puede acelerar mediante el procesamiento de imágenes en el sensor, lo que implica que el propio sensor de imagen extraiga características importantes de los datos sin procesar, en lugar de un microprocesador separado. Dicho esto, el procesamiento en el sensor ha demostrado estar limitado a los materiales de investigación emergentes, que son difíciles de incorporar a los sistemas comerciales. 

Esto es lo que hace que el nuevo desarrollo sea tan importante. 

El equipo publicó su investigación en Electrónica de la naturaleza. 

Computación en el sensor

Donhee Ham es profesor Gordon McKay de ingeniería eléctrica y física aplicada en SEAS y autor principal del artículo. 

“Nuestro trabajo puede aprovechar la corriente principal de la industria de la electrónica de semiconductores para llevar rápidamente la computación en el sensor a una amplia variedad de aplicaciones del mundo real”, dijo Ham. 

El equipo desarrolló una matriz de fotodiodos de silicio, que también se utiliza en chips de detección de imágenes disponibles comercialmente para capturar imágenes. Pero los fotodiodos del equipo están dopados electrostáticamente, lo que significa que la sensibilidad de los fotodiodos individuales a la luz entrante puede ajustarse mediante voltajes. 

Cuando una matriz conecta varios fotodiodos ajustables por voltaje, puede realizar una versión analógica de las operaciones de multiplicación y suma que son importantes para las canalizaciones de procesamiento de imágenes. Esto ayuda a extraer información visual relevante justo cuando se captura la imagen. 

Houk Jang es becario postdoctoral en SEAS y primer autor del artículo. 

“Estos fotodiodos dinámicos pueden filtrar imágenes simultáneamente a medida que se capturan, lo que permite que la primera etapa del procesamiento de la visión se mueva del microprocesador al sensor mismo”, dijo Jang. 

Para eliminar detalles innecesarios o ruido para diversas aplicaciones, la matriz de fotodiodos de silicio se programa en diferentes filtros de imagen. Cuando se usa en un sistema de imágenes en un vehículo autónomo, requiere un filtro de paso alto que rastrea la marca de carril. 

Henry Hinton es estudiante de posgrado en SEAS y coautor del artículo. 

“De cara al futuro, prevemos el uso de este procesador en el sensor basado en silicio no solo en aplicaciones de visión artificial, sino también en aplicaciones bioinspiradas, en las que el procesamiento temprano de la información permite la ubicación conjunta de sensores y unidades de cómputo, como en el cerebro”, dijo Hinton. 

El equipo ahora buscará aumentar la densidad de los fotodiodos e integrarlos con circuitos integrados de silicio. 

“Al reemplazar los píxeles estándar no programables en los sensores de imagen de silicio comerciales con los programables desarrollados aquí, los dispositivos de imágenes pueden recortar de manera inteligente los datos innecesarios. Esto podría hacerse más eficiente tanto en energía como en ancho de banda para abordar las demandas de la próxima generación de aplicaciones sensoriales”, dijo Jang.