Innovativ bio-inspirert sensor detekterer bevegelse og forutsier baner for ulike anvendelser

Forskere ved Aalto Universitet har utviklet en innovativ bio-inspirert sensor som kan detektere flyttingende objekter i en enkelt videoframe og nøyaktig forutsie deres fremtidige bevegelser. Beskrevet i en Nature Communications-artikkel, har denne avanserte sensoren mange potensielle anvendelser i felt som dynamisk visuell sanse, automatisk inspeksjon, industriell prosesskontroll, robotveiledning og autonom kjøringsteknologi.

Tradisjonelle bevegelsesdetekteringssystemer krever mange komponenter og komplekse algoritmer som utfører ramme-for-ramme-analyser, noe som resulterer i ineffektivitet og høy energiforbruk. For å løse disse begrensningene, så Aalto Universitet-teamet til den menneskelige visuelle systemet for inspirasjon og skapte en neuromorfisk visjonsteknologi som forener sanse, minne og prosessering i en enkelt enhet i stand til å detektere bevegelse og forutsie baner.

Fotomemristorer: Kjernen i den nye teknologien

Forskerne teknologi er bygget på en matrise av fotomemristorer, elektriske enheter som genererer elektrisk strøm i respons til lys. Fotomemristorer har en unik egenskap: strømmen stopper ikke umiddelbart når lyset slås av, men avtar gradvis. Denne funksjonen gjør det mulig for fotomemristorer å “huske” deres nylige eksponering for lys, og gjør det mulig for en sensor bestående av en matrise av disse enhetene å fange ikke bare øyeblikkelige informasjon om en scene, men også en dynamisk minne av foregående øyeblikk.

“Den unike egenskapen ved vår teknologi er dens evne til å integrere en rekke optiske bilder i ett ramme,” forklarer Hongwei Tan, forskningsfellow som ledet studien. “Informasjonen fra hvert bilde er innbygget i de påfølgende bildene som skjult informasjon. Med andre ord, inneholder den siste ramen i en video også informasjon om alle de foregående ramene. Dette gjør det mulig for oss å detektere bevegelse tidligere i videoen ved å analysere bare den siste ramen med et enkelt kunstig neuralt nettverk. Resultatet er en kompakt og effektiv sanseenhet.”

Demonstrering teknologiens muligheter

For å vise frem sin teknologi, brukte forskerne videoer som viste bokstaver i en ord en gang om gangen. Selv om alle ordene endte med bokstaven “E”, kunne konvensjonelle visuelle sensorer ikke skille om “E” på skjermen hadde fulgt de andre bokstavene i “APPLE” eller “GRAPE”. Imidlertid kunne fotomemristormatrisen bruke skjult informasjon i den siste ramen til å slutte seg til hvilke bokstaver som hadde forutgått den og forutsie ordet med nesten 100% nøyaktighet.

I en annen eksperiment, viste teamet sensoren videoer av en simulert person som beveget seg i tre forskjellige hastigheter. Systemet kunne ikke bare gjenkjenne bevegelse ved å analysere en enkelt ramme, men også nøyaktig forutsie påfølgende ramer.

Konsekvenser for autonome kjøretøy og intelligente transport

Nøyaktig bevegelsesdetektering og baneforutsielse er avgjørende for selvkjørende teknologi og intelligente transportsystemer. Autonome kjøretøy avhenger av nøyaktige forutsigelser av hvordan biler, sykler, fotgjengere og andre objekter vil bevege seg for å ta informerte beslutninger. Ved å inkorporere et maskinlæringssystem i fotomemristormatrisen, demonstrerte forskerne at deres integrerte system kunne forutsie fremtidig bevegelse basert på innsensor-prosessering av en all-informativ ramme.

“Bevegelsesgjenkjenning og forutsielse ved vår kompakte innsensor-minne- og beregningsløsning åpner opp nye muligheter i autonome robotikk og menneske-maskin-interaksjoner,” sier professor Sebastiaan van Dijken. “Den innsensor-informasjonen vi oppnår i vårt system ved hjelp av fotomemristorer unngår redundante datastrømmer, og muliggjør energieffektiv beslutningstakelse i sanntid.”