Innovativ bio-inspirert sensor oppdager bevegelse og forutsier baner for ulike bruksområder

Forskere ved Aalto-universitetet har utviklet en innovativ bio-inspirert sensor som kan oppdage bevegelige objekter i en enkelt videoramme og nøyaktig forutsi deres fremtidige bevegelser. Beskrevet i en Nature Communications papir, har denne avanserte sensoren en rekke potensielle bruksområder innen felt som dynamisk synsføling, automatisk inspeksjon, industriell prosesskontroll, robotveiledning og autonom kjøreteknologi.

Tradisjonelle bevegelsesdeteksjonssystemer krever en rekke komponenter og komplekse algoritmer som utfører bilde-for-bilde-analyser, noe som resulterer i ineffektivitet og høyt energiforbruk. For å adressere disse begrensningene, så Aalto University-teamet til det menneskelige visuelle systemet for inspirasjon og skapte en nevromorf synsteknologi som forener sansing, minne og prosessering til en enkelt enhet som er i stand til å oppdage bevegelse og forutsi baner.

Fotomemristorer: Kjernen i den nye teknologien

Forskernes teknologi er bygget på en rekke fotomemristorer, elektriske enheter som genererer elektrisk strøm som respons på lys. Fotomemristorer har en unik egenskap: strømmen stopper ikke umiddelbart når lyset slås av, men avtar gradvis. Denne funksjonen lar fotomemristorer effektivt "huske" deres nylige eksponering for lys, noe som gjør det mulig for en sensor sammensatt av en rekke av disse enhetene å fange ikke bare øyeblikkelig informasjon om en scene, men også et dynamisk minne fra foregående øyeblikk.

"Den unike egenskapen til teknologien vår er dens evne til å integrere en serie optiske bilder i en ramme," forklarer Hongwei Tan, stipendiat som ledet studien. "Informasjonen til hvert bilde er innebygd i de følgende bildene som skjult informasjon. Med andre ord, den siste framen i en video har også informasjon om alle de tidligere framene. Det lar oss oppdage bevegelse tidligere i videoen ved å analysere bare den endelige rammen med et enkelt kunstig nevralt nettverk. Resultatet er en kompakt og effektiv sensorenhet.»

Demonstrere teknologiens evner

For å vise frem teknologien deres brukte forskerne videoer som viste bokstavene i et ord en om gangen. Selv om alle ordene endte med bokstaven «E», kunne ikke konvensjonelle synssensorer se om «E» på skjermen hadde fulgt de andre bokstavene i «APPLE» eller «GRAPE». Imidlertid kunne fotomemristor-arrayen bruke skjult informasjon i den endelige rammen for å utlede hvilke bokstaver som hadde gått foran den og forutsi ordet med nesten 100 % nøyaktighet.

I et annet eksperiment viste teamet sensorvideoene av en simulert person som beveget seg i tre forskjellige hastigheter. Systemet kunne ikke bare gjenkjenne bevegelse ved å analysere en enkelt ramme, men det forutså også påfølgende bilder nøyaktig.

Implikasjoner for autonome kjøretøy og intelligent transport

Nøyaktig bevegelsesdeteksjon og baneprediksjon er avgjørende for selvkjørende teknologi og intelligente transportsystemer. Autonome kjøretøyer er avhengige av presise spådommer om hvordan biler, sykler, fotgjengere og andre objekter vil bevege seg for å ta informerte beslutninger. Ved å inkorporere et maskinlæringssystem i fotomemristor-arrayet, demonstrerte forskerne at deres integrerte system kunne forutsi fremtidig bevegelse basert på prosessering i sensoren av en alt-informativ ramme.

"Bevegelsesgjenkjenning og prediksjon av vårt kompakte in-sensor minne og databehandlingsløsning gir nye muligheter innen autonom robotikk og menneske-maskin interaksjoner," sier professor Sebastiaan van Dijken. "In-frame-informasjonen som vi oppnår i systemet vårt ved hjelp av fotomemristorer, unngår redundante dataflyter, noe som muliggjør energieffektiv beslutningstaking i sanntid."