Silizium-Bildsensor beschleunigt und vereinfacht die Bildverarbeitung für autonome Fahrzeuge

Ein Team von Forschern an der Harvard John A. Paulson School of Engineering and Applied Sciences hat den ersten In-Sensor-Prozessor entwickelt, der in kommerzielle Silizium-Bildsensor-Chips integriert werden kann. Diese Sensoren werden als komplementäre Metall-Oxid-Halbleiter (CMOS)-Bildsensoren bezeichnet und werden in einer Vielzahl von kommerziellen Geräten verwendet, die visuelle Informationen erfassen.

Das neue Gerät beschleunigt und vereinfacht die Verarbeitung für autonome Fahrzeuge und andere Anwendungen.

Autonome Fahrzeuge und visuelle Verarbeitung

Bei autonomen Fahrzeugen kann die Zeit zwischen der Aufnahme eines Bildes und der Lieferung der Daten an den Mikroprozessor für die Bildverarbeitung erhebliche Auswirkungen haben. Es handelt sich um einen entscheidenden Zeitraum, der den Unterschied zwischen der Vermeidung eines Hindernisses und der Beteiligung an einem Unfall bedeuten kann.

Die visuelle Verarbeitung kann durch In-Sensor-Bildverarbeitung beschleunigt werden, bei der wichtige Merkmale aus den Rohdaten durch den Bildsensor selbst und nicht durch einen separaten Mikroprozessor extrahiert werden. Allerdings hat sich die In-Sensor-Verarbeitung als begrenzt auf neuere Forschungsmaterialien erwiesen, die schwer in kommerzielle Systeme zu integrieren sind.

Das ist es, was die neue Entwicklung so bedeutend macht.

Das Team veröffentlichte seine Forschung in Nature Electronics.

In-Sensor-Rechnen

Donhee Ham ist der Gordon McKay Professor für Elektrotechnik und Angewandte Physik an der SEAS und Senior-Autor des Papiers.

“Unsere Arbeit kann die etablierte Halbleiter-Elektronik-Industrie nutzen, um In-Sensor-Rechnen schnell in eine Vielzahl von realen Anwendungen zu bringen”, sagte Ham.

Das Team entwickelte ein Silizium-Photodioden-Array, das auch in kommerziell verfügbaren Bildsensoren verwendet wird, um Bilder zu erfassen. Allerdings sind die Photodioden des Teams elektrostatisch dotiert, was bedeutet, dass die Empfindlichkeit einzelner Photodioden gegenüber einfallendem Licht durch Spannungen eingestellt werden kann.

Wenn ein Array mehrere spannungseinstellbare Photodioden verbindet, kann es eine analoge Version von Multiplikations- und Additionsoperationen durchführen, die für Bildverarbeitungspipelines wichtig sind. Dies hilft, relevante visuelle Informationen direkt bei der Aufnahme des Bildes zu extrahieren.

Houk Jang ist ein Postdoktorand an der SEAS und Erstautor des Papiers.

“Diese dynamischen Photodioden können Bilder gleichzeitig filtern, während sie aufgenommen werden, und ermöglichen es, die erste Stufe der Bildverarbeitung vom Mikroprozessor zum Sensor selbst zu verlagern”, sagte Jang.

Um unnötige Details oder Rauschen für verschiedene Anwendungen zu entfernen, wird das Silizium-Photodioden-Array in verschiedene Bildfilter programmiert. Wenn es in einem Bildsystem eines selbstfahrenden Fahrzeugs verwendet wird, ist ein Hochpassfilter erforderlich, der die Spurmarkierung verfolgt.

Henry Hinton ist ein Graduiertenschüler an der SEAS und Co-Erstautor des Papiers.

“Im Hinblick auf die Zukunft sehen wir die Verwendung dieses siliziumbasierten In-Sensor-Prozessors nicht nur in maschinellen Bildanwendungen, sondern auch in bio-inspirierten Anwendungen, bei denen eine frühe Informationsverarbeitung die gemeinsame Lokalisierung von Sensor- und Recheneinheiten ermöglicht, wie im Gehirn”, sagte Hinton.

Das Team wird nun daran arbeiten, die Dichte der Photodioden zu erhöhen und sie mit Silizium-Integrierten Schaltungen zu integrieren.

“Indem wir die Standard-Nicht-Programmierbaren-Pixel in kommerziellen Silizium-Bildsensoren durch die hier entwickelten programmierbaren ersetzen, können Bildgeräte unnötige Daten intelligent ausschneiden. Dies könnte sowohl in Bezug auf Energie als auch auf Bandbreite effizienter gestaltet werden, um die Anforderungen für die nächste Generation von Sensoranwendungen zu erfüllen”, sagte Jang.