Innovatieve bio-geïnspireerde sensor detecteert beweging en voorspelt trajecten voor diverse toepassingen

Onderzoekers van de Aalto Universiteit hebben een innovatieve bio-geïnspireerde sensor ontwikkeld die bewegende objecten in één videoframe kan detecteren en hun toekomstige bewegingen nauwkeurig kan voorspellen. In een Nature Communications-artikel wordt deze geavanceerde sensor beschreven, die talloze potentiële toepassingen heeft in domeinen zoals dynamische visie-sensing, automatische inspectie, industriële procesbesturing, robotische geleiding en autonome rijtechnologie.

Traditionele bewegingsdetectiesystemen vereisen talrijke componenten en complexe algoritmen die frame-per-frame analyses uitvoeren, wat resulteert in inefficiëntie en hoge energieverbruik. Om deze beperkingen aan te pakken, keek het team van de Aalto Universiteit naar het menselijk visuele systeem voor inspiratie en creëerde een neuromorfische visietechnologie die sensing, geheugen en verwerking in één apparaat combineert, dat in staat is om beweging te detecteren en trajecten te voorspellen.

Fotomemristoren: De Kern van de Nieuwe Technologie

De technologie van de onderzoekers is gebaseerd op een array van fotomemristoren, elektrische apparaten die een elektrische stroom genereren in reactie op licht. Fotomemristoren hebben een unieke eigenschap: de stroom stopt niet onmiddellijk wanneer het licht wordt uitgeschakeld, maar neemt geleidelijk af. Deze functie stelt een sensor die bestaat uit een array van deze apparaten in staat om niet alleen instantane informatie over een scène te verzamelen, maar ook een dynamisch geheugen van voorgaande momenten.
“De unieke eigenschap van onze technologie is de mogelijkheid om een reeks optische beelden in één frame te integreren,” legt Hongwei Tan, de onderzoeker die de studie leidde, uit. “De informatie van elk beeld is ingebed in de volgende beelden als verborgen informatie. Met andere woorden, het laatste frame in een video bevat ook informatie over alle voorgaande frames. Dat stelt ons in staat om beweging eerder in de video te detecteren door alleen het laatste frame te analyseren met een eenvoudig neuronaal netwerk. Het resultaat is een compacte en efficiënte sensoreenheid.”

Demonstratie van de Technologie’s Capabilities

Om hun technologie te demonstreren, gebruikten de onderzoekers video’s die de letters van een woord een voor een weergaven. Hoewel alle woorden eindigden met de letter “E”, konden conventionele visiesensoren niet bepalen of de “E” op het scherm was gevolgd door de andere letters in “APPLE” of “GRAPE”. Echter, kon de fotomemristor-array verborgen informatie in het laatste frame gebruiken om te bepalen welke letters waren voorgegaan en het woord met bijna 100% nauwkeurigheid voorspellen.

In een ander experiment toonden de onderzoekers de sensor video’s van een gesimuleerde persoon die zich op drie verschillende snelheden bewoog. Het systeem kon niet alleen beweging herkennen door één frame te analyseren, maar ook de volgende frames nauwkeurig voorspellen.

Implicaties voor Autonome Voertuigen en Intelligente Transport

Nauwkeurige bewegingsdetectie en trajectvoorspelling zijn cruciaal voor zelfrijdende technologie en intelligente transportsystemen. Autonome voertuigen vertrouwen op nauwkeurige voorspellingen van hoe auto’s, fietsen, voetgangers en andere objecten zich zullen bewegen om geïnformeerde beslissingen te nemen. Door een machine learning-systeem in de fotomemristor-array te integreren, demonstreerden de onderzoekers dat hun geïntegreerde systeem toekomstige beweging kon voorspellen op basis van in-sensor verwerking van een all-informatief frame.

“Bewegingsherkenning en voorspelling door onze compacte in-sensor geheugen- en computersysteem biedt nieuwe kansen in autonome robotica en mens-machine interacties,” zegt professor Sebastiaan van Dijken. “De in-frame informatie die we verkrijgen in ons systeem met fotomemristoren voorkomt redundante gegevensstromen, waardoor energie-efficiënte besluitvorming in real-time mogelijk wordt.”