Innovative bio-inspirierter Sensor zur Erkennung von Bewegungen und Vorhersage von Traektorien für verschiedene Anwendungen

Forscher der Aalto-Universität haben einen innovativen bio-inspirierten Sensor entwickelt, der sich bewegende Objekte in einem einzigen Videoframe erkennen und ihre zukünftigen Bewegungen genau vorhersagen kann. In einem Nature Communications-Artikel beschriebenen Fortschritt hat dieser fortschrittliche Sensor zahlreiche potenzielle Anwendungen in Bereichen wie dynamische Sehsensoren, automatischer Inspektion, Prozesssteuerung in der Industrie, Roboterführung und autonome Fahrtechnologie.

Traditionelle Bewegungserkennungssysteme erfordern zahlreiche Komponenten und komplexe Algorithmen, die Frame-für-Frame-Analysen durchführen, was zu Ineffizienz und hohem Energieverbrauch führt. Um diese Einschränkungen zu überwinden, suchte das Team der Aalto-Universität Inspiration im menschlichen Sehsystem und entwickelte eine neuromorphe Sehtechnologie, die Sensing, Speicher und Verarbeitung in einem einzigen Gerät vereint, das in der Lage ist, Bewegungen zu erkennen und Traektorien vorherzusagen.

Photomemristoren: Der Kern der neuen Technologie

Die Technologie der Forscher basiert auf einem Array von Photomemristoren, elektrischen Geräten, die einen elektrischen Strom in Reaktion auf Licht erzeugen. Photomemristoren besitzen eine einzigartige Eigenschaft: Der Strom hört nicht sofort auf, wenn das Licht ausgeschaltet wird, sondern nimmt allmählich ab. Diese Funktion ermöglicht es Photomemristoren, ihre kürzliche Belichtung effektiv “zu merken” und ermöglicht es einem aus diesen Geräten bestehenden Sensor, nicht nur momentane Informationen über eine Szene zu erfassen, sondern auch ein dynamisches Gedächtnis vorheriger Momente.
“Die einzigartige Eigenschaft unserer Technologie ist ihre Fähigkeit, eine Reihe von optischen Bildern in einem Frame zu integrieren”, erklärt Hongwei Tan, der Forschungsstipendiat, der die Studie leitete. “Die Information jedes Bildes ist in den folgenden Bildern als versteckte Information eingebettet. Mit anderen Worten, der letzte Frame in einem Video enthält auch Informationen über alle vorherigen Frames. Das ermöglicht es uns, Bewegungen früher im Video zu erkennen, indem wir nur den letzten Frame mit einem einfachen künstlichen neuronalen Netzwerk analysieren. Das Ergebnis ist eine kompakte und effiziente Sensoreinheit.”

Demonstration der Fähigkeiten der Technologie

Um ihre Technologie zu demonstrieren, verwendeten die Forscher Videos, die die Buchstaben eines Wortes nacheinander anzeigten. Obwohl alle Wörter mit dem Buchstaben “E” endeten, konnten herkömmliche Sehsensoren nicht erkennen, ob das “E” auf dem Bildschirm dem “A” in “APFEL” oder dem “G” in “TRAUBE” gefolgt war. Der Photomemristor-Array konnte jedoch die versteckten Informationen im letzten Frame nutzen, um zu erraten, welche Buchstaben ihm vorangegangen waren und das Wort mit fast 100%iger Genauigkeit vorherzusagen.

In einem weiteren Experiment zeigte das Team dem Sensor Videos einer simulierten Person, die sich mit drei verschiedenen Geschwindigkeiten bewegte. Das System konnte nicht nur Bewegungen erkennen, indem es einen einzigen Frame analysierte, sondern auch genau die folgenden Frames vorhersagen.

Auswirkungen auf autonome Fahrzeuge und intelligente Verkehrssysteme

Genauere Bewegungserkennung und Traektorienvorhersage sind für die Selbstfahrfunktion und intelligente Verkehrssysteme von entscheidender Bedeutung. Autonome Fahrzeuge verlassen sich auf genaue Vorhersagen, wie sich Autos, Fahrräder, Fußgänger und andere Objekte bewegen werden, um informierte Entscheidungen zu treffen. Durch die Integration eines maschinellen Lernsystems in den Photomemristor-Array demonstrierten die Forscher, dass ihr integriertes System zukünftige Bewegungen auf der Grundlage der in-Sensor-Verarbeitung eines allinformierenden Frames vorhersagen kann.

“Die Erkennung von Bewegungen und Vorhersage durch unsere kompakte In-Sensor-Speicher- und Recheneinheit bietet neue Möglichkeiten in der autonomen Robotik und der Mensch-Maschine-Interaktion”, sagt Professor Sebastiaan van Dijken. “Die im Frame erhaltenen Informationen, die wir in unserem System mithilfe von Photomemristoren erhalten, vermeiden redundante Datenflüsse und ermöglichen energieeffizientes Entscheiden in Echtzeit.”