Innovativ bio-inspirerad sensor upptäcker rörelse och förutspår banor för olika tillämpningar

Forskare vid Aalto University har utvecklat en innovativ bio-inspirerad sensor som kan upptäcka rörliga föremål i en enda videobild och exakt förutspå deras framtida rörelser. Beskriven i en Nature Communications-artikel, har denna avancerade sensor många potentiella tillämpningar inom områden som dynamisk visionskänslighet, automatisk inspektion, industriell processkontroll, robotstyrning och autonom körteknik.

Traditionella rörelseupptäckningssystem kräver många komponenter och komplexa algoritmer som utför ram-för-ram-analyser, vilket resulterar i ineffektivitet och hög energiförbrukning. För att åtgärda dessa begränsningar tittade Aalto University-teamet på det mänskliga synsystemet för inspiration och skapade en neuromorfisk visions-teknologi som förenar känslighet, minne och bearbetning i en enda enhet som kan upptäcka rörelse och förutspå banor.

Fotomemristorer: Kärnan i den nya tekniken

Forskarnas teknologi bygger på en matris av fotomemristorer, elektriska enheter som genererar elektrisk ström i svar på ljus. Fotomemristorer har en unik egenskap: strömmen slutar inte omedelbart när ljuset slås av, utan avtar gradvis. Denna funktion gör att fotomemristorer effektivt “kommer ihåg” sin nyliga exponering för ljus, vilket möjliggör för en sensor bestående av en matris av dessa enheter att fånga inte bara ögonblicklig information om en scen, utan också en dynamisk minnesbild av föregående ögonblick.

“Den unika egenskapen hos vår teknik är dess förmåga att integrera en serie optiska bilder i en enda ram”, förklarar Hongwei Tan, den forskare som ledde studien. “Informationen från varje bild är inbäddad i de följande bilderna som dold information. Med andra ord, den sista ramen i en video har också information om alla föregående ramar. Det låter oss upptäcka rörelse tidigare i videon genom att analysera endast den sista ramen med ett enkelt konstgjort neuronnät. Resultatet är en kompakt och effektiv känslighetsenhet.”

Att demonstrera teknikens förmågor

För att visa upp sin teknik använde forskarna videor som visade bokstäverna i ett ord, en i taget. Även om alla orden slutade med bokstaven “E”, kunde konventionella visionsensorer inte avgöra om “E” på skärmen hade följt de andra bokstäverna i “ÄPPLE” eller “DRAPE”. Men fotomemristormatrisen kunde använda dold information i den sista ramen för att dra slutsatsen om vilka bokstäver som hade föregått den och förutspå ordet med nästan 100% noggrannhet.

I ett annat experiment visade teamet sensorer videor av en simulerad person som rörde sig i tre olika hastigheter. Systemet kunde inte bara känna igen rörelse genom att analysera en enda ram, utan också förutspå följande ramar.

Konsekvenser för autonoma fordon och intelligent transport

Exakt rörelseupptäckning och banaförutspåning är avgörande för självkörande teknik och intelligenta transportsystem. Autonoma fordon förlitar sig på precisa förutspåningar av hur bilar, cyklar, fotgängare och andra föremål kommer att röra sig för att fatta informerade beslut. Genom att inkorporera ett maskinlärningssystem i fotomemristormatrisen demonstrerade forskarna att deras integrerade system kunde förutspå framtida rörelse baserat på in-sensor-bearbetning av en all-informativ ram.

“Rörelseigenkänning och förutspåning med vår kompakta in-sensor-minne och beräkningslösning erbjuder nya möjligheter inom autonom robotik och människa-maskin-interaktioner”, säger professor Sebastiaan van Dijken. “Den in-ram-information som vi får i vårt system med hjälp av fotomemristorer undviker onödiga dataflöden, vilket möjliggör energieffektivt beslutsfattande i realtid.”