Innovative bio-inspireret sensor kan detektere bevægelse og forudsige baner for forskellige formål

Forskere ved Aalto University har udviklet en innovativ bio-inspireret sensor, der kan detektere bevægelser i en enkelt video ramme og nøjagtigt forudsige fremtidige bevægelser. Beskrevet i en Nature Communications artikel, har denne avancerede sensor mange potentielle anvendelser inden for områder som dynamisk visions-sensing, automatisk inspektion, industrielt proceskontrol, robotstyring og selvkørende teknologi.

Traditionelle bevægelsesdetektionssystemer kræver mange komponenter og komplekse algoritmer, der udfører ramme-for-ramme-analyser, hvilket resulterer i ineffektivitet og høj energiforbrug. For at løse disse begrænsninger så Aalto University-holdet på det menneskelige synssystem for inspiration og skabte en neuromorfisk visions-teknologi, der integrerer sensing, hukommelse og procesning i en enkelt enhed, der kan detektere bevægelse og forudsige baner.

Fotomemristorer: Kernen i den nye teknologi

Forskernes teknologi er bygget på et array af fotomemristorer, elektriske enheder, der genererer elektrisk strøm i respons til lys. Fotomemristorer har en unik egenskab: strømmen stopper ikke med det samme, når lyset slukkes, men aftager gradvist. Denne funktion giver fotomemristorer mulighed for at “huske” deres nærmeste eksponering for lys, hvilket muliggør, at en sensor bestående af et array af disse enheder kan fange ikke kun øjeblikkelige oplysninger om en scene, men også en dynamisk hukommelse af forudgående øjeblikke.

“Den unikke egenskab ved vores teknologi er dens evne til at integrere en række optiske billeder i en ramme,” forklarer Hongwei Tan, den forsker, der ledede studiet. “Oplysningerne om hvert billede er indlejret i de følgende billeder som skjult information. Med andre ord har den sidste ramme i en video også information om alle forudgående rammes information. Det giver os mulighed for at detektere bevægelse tidligere i videoen ved at analysere kun den sidste ramme med et simpelt kunstigt neuralt netværk. Resultatet er en kompakt og effektiv sensor-enhed.”

Demonstration af teknologiens muligheder

For at demonstrere deres teknologi brugte forskerne videoer, der viste bogstaverne i et ord ét ad gangen. Selvom alle ordene sluttede med bogstavet “E”, kunne konventionelle visions-sensoren ikke skelne, om “E” på skærmen havde fulgt de andre bogstaver i “APPLE” eller “GRAPE”. Men fotomemristor-arrayet kunne udnytte skjult information i den sidste ramme til at slutte, hvilke bogstaver havde forudgået det, og forudsige ordet med næsten 100% nøjagtighed.

I et andet eksperiment viste holdet sensor-videoer af en simuleret person, der bevægede sig i tre forskellige hastigheder. Systemet kunne ikke kun genkende bevægelse ved at analysere en enkelt ramme, men også nøjagtigt forudsige efterfølgende rammes information.

Konsekvenser for selvkørende køretøjer og intelligente transportsystemer

Nøjagtig bevægelsesdetektion og baneforudsigelse er afgørende for selvkørende teknologi og intelligente transportsystemer. Selvkørende køretøjer afhænger af præcise forudsigelser af, hvordan biler, cykler, fodgængere og andre objekter vil bevæge sig, for at træffe informerede beslutninger. Ved at integrere et maskinelæringssystem i fotomemristor-arrayet demonstrerede forskerne, at deres integrerede system kunne forudsige fremtidig bevægelse baseret på in-sensor-procesning af en informativ ramme.

“Bevægelsesgenkendelse og -forudsigelse ved vores kompakte in-sensor hukommelse og beregningsløsning giver nye muligheder i selvstændig robotik og menneske-maskine-interaktioner,” siger professor Sebastiaan van Dijken. “Den in-ramme-information, vi opnår i vores system ved hjælp af fotomemristorer, undgår redundant datastrøm, hvilket muliggør energibesparende beslutningstagning i realtid.”