Innovativ bio-inspireret sensor kan detektere bevægelse og forudsige baner for forskellige formål

Forskere ved Aalto University har udviklet en innovativ bio-inspireret sensor, der kan detektere bevægelser i en enkelt video-frame og nøjagtigt forudsige deres fremtidige bevægelser. Beskrevet i en Nature Communications-artikel, har denne avancerede sensor mange potentielle anvendelser inden for områder som dynamisk visions-sensing, automatisk inspektion, industriprocesskontrol, robotstyring og selvkørende teknologi.

Traditionelle bevægelsesdetektionssystemer kræver mange komponenter og komplekse algoritmer, der udfører frame-for-frame-analyser, hvilket resulterer i ineffektivitet og høj energiforbrug. For at løse disse begrænsninger så Aalto University-holdet på det menneskelige synssystem for inspiration og skabte en neuromorfisk visionsteknologi, der integrerer sensing, hukommelse og behandling i en enkelt enhed, der kan detektere bevægelse og forudsige baner.

Fotomemristorer: Kernen i den nye teknologi

Forskernes teknologi er bygget på en matrix af fotomemristorer, elektriske enheder, der genererer elektrisk strøm i respons til lys. Fotomemristorer besidder en unik egenskab: strømmen stopper ikke øjeblikkeligt, når lyset slukkes, men aftager gradvist. Denne funktion giver fotomemristorer mulighed for effektivt at “huske” deres seneste eksponering for lys, hvilket muliggør, at en sensor bestående af en matrix af disse enheder kan fange ikke kun øjeblikkelige oplysninger om en scene, men også en dynamisk hukommelse af forudgående øjeblikke.

“Den unikke egenskab ved vores teknologi er dens evne til at integrere en række optiske billeder i en enkelt frame,” forklarer Hongwei Tan, den forskningsmedarbejder, der ledede studiet. “Oplysningerne fra hvert billede er indlejret i de følgende billeder som skjult information. Med andre ord indeholder den sidste frame i en video også oplysninger om alle forudgående frames. Det giver os mulighed for at detektere bevægelse tidligere i videoen ved at analysere kun den sidste frame med et simpelt kunstigt neuralt netværk. Resultatet er en kompakt og effektiv sensor-enhed.”

Demonstration af teknologiens muligheder

For at demonstrere deres teknologi brugte forskerne videoer, der viste bogstaverne i et ord en ad gangen. Selvom alle ordene sluttede med bogstavet “E”, kunne konventionelle visionsensorer ikke skelne, om “E”-bogstavet på skærmen var efterfulgt af de andre bogstaver i “APPLE” eller “GRAPE”. Men fotomemristor-matrixen kunne udnytte skjult information i den sidste frame til at slutte, hvilke bogstaver der var forudgået det, og forudsige ordet med næsten 100% nøjagtighed.

I et andet eksperiment viste holdet sensor videoer af en simuleret person, der bevægede sig i tre forskellige hastigheder. Systemet kunne ikke kun genkende bevægelse ved at analysere en enkelt frame, men også nøjagtigt forudsige efterfølgende frames.

Konsekvenser for selvkørende køretøjer og intelligente transportsystemer

Nøjagtig bevægelsesdetektion og baneforudsigelse er afgørende for selvkørende teknologi og intelligente transportsystemer. Selvkørende køretøjer afhænger af præcise forudsigelser af, hvordan biler, cyklister, fodgængere og andre objekter vil bevæge sig for at træffe informerede beslutninger. Ved at integrere et maskinelæringssystem i fotomemristor-matrixen demonstrerede forskerne, at deres integrerede system kunne forudsige fremtidig bevægelse baseret på in-sensor-behandling af en informativ frame.

“Bevægelsesgenkendelse og forudsigelse ved vores kompakte in-sensor-hukommelse og beregningsløsning åbner nye muligheder i selvstændig robotteknologi og menneske-maskine-interaktioner,” siger professor Sebastiaan van Dijken. “Den i-frame-information, vi opnår i vores system ved hjælp af fotomemristorer, undgår redundant datastrøm, hvilket muliggør energibesparende beslutningstagelse i realtid.”