Inovativní bio-inspirovaný senzor detekuje pohyb a předpovídá trajektorie pro různé aplikace

Výzkumníci z Aalto University vyvinuli inovativní bio-inspirovaný senzor, který může detekovat pohyblivé objekty v jediném snímku videa a přesně předpovídat jejich budoucí pohyby. Popisovaný v článku Nature Communications, tento pokročilý senzor má řadu potenciálních aplikací v oblastech, jako je dynamické vidění, automatická inspekce, průmyslová procesní kontrola, robotické vedení a autonomní řízení.

Tradiční systémy detekce pohybu vyžadují řadu komponent a komplexních algoritmů, které provádějí analýzu snímku po snímku, což vede k neefektivitě a vysoké spotřebě energie. Aby se tyto omezení překonala, tým z Aalto University se inspiroval lidským zrakovým systémem a vytvořil neuromorfní technologii vidění, která sjednocuje snímání, paměť a zpracování do jednoho zařízení schopného detekovat pohyb a předpovídat trajektorie.

Fotomemristory: Jádro nové technologie

Technologie výzkumníků je založena na poli fotomemristorů, elektrických zařízeních, která generují elektrický proud v odpovědi na světlo. Fotomemristory mají jedinečnou vlastnost: proud nekončí okamžitě, když je světlo vypnuto, ale postupně se snižuje. Tato vlastnost umožňuje fotomemristorům “pamatovat” si jejich nedávnou expozici světlu, umožňující senzoru složenému z pole těchto zařízení zachytit nejen okamžité informace o scéně, ale také dynamickou paměť předchozích okamžiků.

“Unikátní vlastnost naší technologie je její schopnost integrovat řadu optických obrazů do jednoho snímku,” vysvětluje Hongwei Tan, výzkumný pracovník, který vedl studii. “Informace z každého obrazu jsou vloženy do následujících obrazů jako skrytá informace. Jinými slovy, poslední snímek ve videu také obsahuje informace o všech předchozích snímcích. To nám umožňuje detekovat pohyb dříve ve videu analýzou pouze posledního snímku pomocí jednoduché umělé neuronové sítě. Výsledkem je kompaktní a efektivní snímací jednotka.”

Demonstrace schopností technologie

Aby ukázali svou technologii, výzkumníci použili videa, která zobrazovala písmena slova jeden po druhém. Ačkoli všechna slova končila písmenem “E”, konvenční senzory vidění nemohly rozlišit, zda písmeno “E” na obrazovce následovalo po ostatních písmenech v “APPLE” nebo “GRAPE”. Avšak pole fotomemristorů mohlo využít skrytou informaci v posledním snímku k odvození, která písmena předcházela, a předpovědět slovo s téměř 100% přesností.

V další experimentu tým ukázal senzoru videa simulované osoby pohybující se třemi různými rychlostmi. Systém nejen rozpoznal pohyb analýzou jediného snímku, ale také přesně předpověděl následující snímky.

Důsledky pro autonomní vozidla a inteligentní dopravu

Přesná detekce pohybu a předpověď trajektorie jsou zásadní pro samořízená vozidla a inteligentní dopravní systémy. Autonomní vozidla se spoléhají na přesné předpovědi, jak se budou pohybovat vozy, kola, chodci a další objekty, aby mohly učinit informovaná rozhodnutí. Integrací systému strojového učení do pole fotomemristorů výzkumníci demonstrovali, že jejich integrovaný systém může předpovědět budoucí pohyb na základě zpracování informačního snímku.

“Rozpoznání pohybu a předpověď naší kompaktní in-senzorové paměti a výpočetní jednotky poskytuje nové příležitosti v autonomních robotických a člověko-strojových interakcích,” říká profesor Sebastiaan van Dijken. “Informace ve snímku, které získáme v našem systému pomocí fotomemristorů, zamezují redundantním tokům dat, umožňují energeticky efektivní rozhodování v reálném čase.”