Silizium-Bildsensor beschleunigt und vereinfacht Bildverarbeitung für autonome Fahrzeuge

Ein Team von Forschern an der Harvard John A. Paulson School of Engineering and Applied Sciences hat den ersten In-Sensor-Prozessor entwickelt, der in kommerzielle Silizium-Bildsensoren integriert werden kann. Diese Sensoren werden als komplementäre Metall-Oxid-Halbleiter-Bildsensoren (CMOS) bezeichnet und werden in einer Vielzahl von kommerziellen Geräten verwendet, die visuelle Informationen erfassen.

Das neue Gerät beschleunigt und vereinfacht die Verarbeitung für autonome Fahrzeuge und andere Anwendungen.

Autonome Fahrzeuge und visuelle Verarbeitung

In autonomen Fahrzeugen kann die Zeit zwischen der Aufnahme eines Bildes und der Lieferung der Daten an den Mikroprozessor für die Bildverarbeitung erhebliche Auswirkungen haben. Es handelt sich um einen kritischen Zeitraum, der den Unterschied zwischen der Vermeidung eines Hindernisses und der Beteiligung an einem Unfall bedeuten kann.

Die visuelle Verarbeitung kann durch die In-Sensor-Bildverarbeitung beschleunigt werden, bei der wichtige Merkmale direkt aus den Rohdaten durch den Bildsensor selbst extrahiert werden, anstatt durch einen separaten Mikroprozessor. Allerdings hat sich die In-Sensor-Verarbeitung als begrenzt auf neu entstehende Forschungsmaterialien erwiesen, die schwer in kommerzielle Systeme integriert werden können.

Das ist es, was die neue Entwicklung so wichtig macht.

Das Team veröffentlichte seine Forschung in Nature Electronics.

In-Sensor-Rechnen

Donhee Ham ist der Gordon McKay Professor für Elektrotechnik und Angewandte Physik an der SEAS und Senior-Autor des Papiers.

“Unsere Arbeit kann die Hauptströmung der Halbleiter-Elektronik-Industrie nutzen, um In-Sensor-Rechnen schnell in eine Vielzahl von realen Anwendungen zu bringen”, sagte Ham.

Das Team entwickelte ein Silizium-Photodioden-Array, das auch in kommerziell verfügbaren Bildsensoren verwendet wird, um Bilder zu erfassen. Die Photodioden des Teams sind jedoch elektrostatisch dotiert, was bedeutet, dass die Empfindlichkeit einzelner Photodioden gegenüber einfallendem Licht durch Spannungen eingestellt werden kann.

Wenn ein Array mehrere spannungs-einstellbare Photodioden verbindet, kann es eine analoge Version von Multiplikations- und Additionsoperationen durchführen, die für Bildverarbeitungspipelines wichtig sind. Dies hilft dabei, relevante visuelle Informationen direkt bei der Aufnahme des Bildes zu extrahieren.

Houk Jang ist ein Postdoktorand an der SEAS und Erstautor des Papiers.

“Diese dynamischen Photodioden können Bilder gleichzeitig filtern, während sie aufgenommen werden, was es ermöglicht, die erste Stufe der Bildverarbeitung vom Mikroprozessor zum Sensor selbst zu verlagern”, sagte Jang.

Um unnötige Details oder Rauschen für verschiedene Anwendungen zu entfernen, wird das Silizium-Photodioden-Array in verschiedene Bildfilter programmiert. Wenn es in einem Bildsystem in einem selbstfahrenden Fahrzeug verwendet wird, benötigt es einen Hochpass-Filter, der die Spurmarkierung verfolgt.

Henry Hinton ist ein Graduiertenschüler an der SEAS und Co-Erstautor des Papiers.

“Wenn wir in die Zukunft blicken, sehen wir die Verwendung dieses siliziumbasierten In-Sensor-Prozessors nicht nur in maschinellen Sehanwendungen, sondern auch in bio-inspirierten Anwendungen, bei denen eine frühe Informationsverarbeitung die Ko-Lokalisierung von Sensor- und Recheneinheiten ermöglicht, wie im Gehirn”, sagte Hinton.

Das Team wird nun daran arbeiten, die Dichte der Photodioden zu erhöhen und sie mit Silizium-Integrierten Schaltungen zu integrieren.

“Indem wir die Standard-Nicht-Programmierbaren-Pixel in kommerziellen Silizium-Bildsensoren durch die hier entwickelten programmierbaren ersetzen, können Bildgebungsvorrichtungen überflüssige Daten intelligent ausschneiden. Dies könnte sowohl in Bezug auf Energie als auch auf Bandbreite effizienter gemacht werden, um die Anforderungen für die nächste Generation von Sensoranwendungen zu erfüllen”, sagte Jang.