Innovativer bio-inspirierter Sensor zur Erkennung von Bewegungen und Vorhersage von Traektorien für verschiedene Anwendungen

Forscher an der Aalto-Universität haben einen innovativen bio-inspirierten Sensor entwickelt, der sich bewegende Objekte in einem einzelnen Videoframe erkennen und ihre zukünftigen Bewegungen genau vorhersagen kann. In einem Nature Communications-Artikel beschriebenen Fortschritt hat dieser fortschrittliche Sensor zahlreiche potenzielle Anwendungen in Bereichen wie dynamischer Sehsinn, automatischer Inspektion, Prozesssteuerung in der Industrie, Roboterführung und autonome Fahrtechnologie.

Traditionelle Bewegungserkennungssysteme erfordern zahlreiche Komponenten und komplexe Algorithmen, die Frame-für-Frame-Analysen durchführen, was zu Ineffizienz und hohem Energieverbrauch führt. Um diese Einschränkungen zu überwinden, suchte das Team der Aalto-Universität Inspiration im menschlichen Sehsinn und entwickelte eine neuromorphe Sehtechnologie, die Wahrnehmung, Speicher und Verarbeitung in einem einzigen Gerät vereint, das in der Lage ist, Bewegungen zu erkennen und Traektorien vorherzusagen.

Photomemristoren: Der Kern der neuen Technologie

Die Technologie der Forscher basiert auf einem Array von Photomemristoren, elektrischen Geräten, die elektrischen Strom in Reaktion auf Licht erzeugen. Photomemristoren besitzen eine einzigartige Eigenschaft: Der Strom hört nicht sofort auf, wenn das Licht ausgeschaltet wird, sondern reduziert sich allmählich. Diese Eigenschaft ermöglicht es Photomemristoren, ihre kürzliche Belichtung effektiv “zu merken” und so ermöglicht ein Sensor, der aus einem Array dieser Geräte besteht, nicht nur momentane Informationen über eine Szene zu erfassen, sondern auch ein dynamisches Gedächtnis vorheriger Momente.
“Die einzigartige Eigenschaft unserer Technologie ist ihre Fähigkeit, eine Reihe von optischen Bildern in einem Frame zu integrieren”, erklärt Hongwei Tan, der Forschungsstipendiat, der die Studie leitete. “Die Information jedes Bildes ist in den folgenden Bildern als versteckte Information eingebettet. Mit anderen Worten, der letzte Frame in einem Video enthält auch Informationen über alle vorherigen Frames. Das ermöglicht es uns, Bewegungen früher im Video zu erkennen, indem wir nur den letzten Frame mit einem einfachen künstlichen neuronalen Netzwerk analysieren. Das Ergebnis ist eine kompakte und effiziente Sensoreinheit.”

Demonstration der Technologie

Um ihre Technologie zu demonstrieren, verwendeten die Forscher Videos, die die Buchstaben eines Wortes nacheinander anzeigten. Obwohl alle Wörter mit dem Buchstaben “E” endeten, konnten herkömmliche Sehsensoren nicht erkennen, ob das “E” auf dem Bildschirm den anderen Buchstaben in “APPLE” oder “GRAPE” gefolgt war. Der Photomemristor-Array konnte jedoch die versteckte Information im letzten Frame nutzen, um zu erraten, welche Buchstaben ihm vorausgegangen waren und das Wort mit fast 100%iger Genauigkeit vorherzusagen.

In einem weiteren Experiment zeigte das Team dem Sensor Videos einer simulierten Person, die sich mit drei verschiedenen Geschwindigkeiten bewegte. Das System konnte nicht nur Bewegungen erkennen, indem es einen einzelnen Frame analysierte, sondern auch genau die folgenden Frames vorhersagen.

Auswirkungen auf autonome Fahrzeuge und intelligente Verkehrssysteme

Genauere Bewegungserkennung und Traektorienvorhersage sind für die Technologie autonomer Fahrzeuge und intelligenter Verkehrssysteme von entscheidender Bedeutung. Autonome Fahrzeuge verlassen sich auf genaue Vorhersagen, wie sich Autos, Fahrräder, Fußgänger und andere Objekte bewegen werden, um informierte Entscheidungen zu treffen. Durch die Integration eines maschinellen Lernsystems in den Photomemristor-Array demonstrierten die Forscher, dass ihr integriertes System zukünftige Bewegungen auf der Grundlage der in-Sensor-Verarbeitung eines all-informativen Frames vorhersagen kann.

“Die Erkennung von Bewegungen und Vorhersage durch unsere kompakte In-Sensor-Speicher- und Recheneinheit bietet neue Möglichkeiten in autonomen Robotern und Mensch-Maschine-Interaktionen”, sagt Professor Sebastiaan van Dijken. “Die in-Frame-Information, die wir in unserem System mit Photomemristoren erzielen, vermeidet redundante Datenflüsse und ermöglicht energieeffizientes Entscheiden in Echtzeit.”