Innowacyjny bio-inspirowany czujnik wykrywa ruch i przewiduje trajektorie dla różnych zastosowań

Naukowcy z Uniwersytetu Aalto opracowali innowacyjny bio-inspirowany czujnik, który może wykryć poruszające się obiekty w jednym klatce wideo i dokładnie przewidzieć ich przyszłe ruchy. Opisany w artykule Nature Communications, ten zaawansowany czujnik ma liczne potencjalne zastosowania w dziedzinach takich jak dynamiczne wykrywanie ruchu, automatyczna inspekcja, kontrola procesów przemysłowych, sterowanie robotami i technologia jazdy autonomicznej.

Tradycyjne systemy wykrywania ruchu wymagają licznych komponentów i złożonych algorytmów, które wykonują analizę klatka po klatce, co skutkuje niewydajnością i wysokim zużyciem energii. Aby rozwiązać te ograniczenia, zespół Uniwersytetu Aalto zainspirował się ludzkim systemem wzrokowym i stworzył technologię neuromorficzną, która łączy czujniki, pamięć i przetwarzanie w jednym urządzeniu zdolnym do wykrywania ruchu i przewidywania trajektorii.

Fotomemristory: rdzeń nowej technologii

Technologia badaczy oparta jest na macie fotomemristorów, urządzeń elektrycznych, które generują prąd elektryczny w odpowiedzi na światło. Fotomemristory posiadają unikalną cechę: prąd nie zatrzymuje się natychmiast, gdy światło jest wyłączone, ale stopniowo maleje. Ta cecha pozwala fotomemristorom skutecznie “pamiętać” ich niedawną ekspozycję na światło, umożliwiając czujnikowi złożonemu z macie tych urządzeń przechwytywanie nie tylko natychmiastowych informacji o scenie, ale także dynamicznej pamięci poprzednich momentów.

“Unikalną właściwością naszej technologii jest jej zdolność do integracji serii obrazów optycznych w jednej klatce” wyjaśnia Hongwei Tan, starszy asystent badawczy, który kierował badaniem. “Informacje z każdego obrazu są zakodowane w następnych obrazach jako ukryte informacje. Innymi słowy, ostatnia klatka wideo zawiera również informacje o wszystkich poprzednich klatkach. To pozwala nam wykryć ruch wcześniej w wideo, analizując tylko ostatnią klatkę za pomocą prostej sztucznej sieci neuronowej. Rezultatem jest kompaktowy i wydajny moduł czujnika.”

Demonstracja możliwości technologii

Aby zademonstrować swoją technologię, naukowcy użyli wideo, które wyświetlały litery słowa jeden po drugim. Chociaż wszystkie słowa kończyły się literą “E”, konwencjonalne czujniki wzrokowe nie mogły rozpoznać, czy “E” na ekranie poprzedziły litery w słowie “APPLE” czy “GRAPE”. Jednak macierz fotomemristorów mogła wykorzystać ukryte informacje w ostatniej klatce, aby dedukować, które litery ją poprzedziły i przewidzieć słowo z prawie 100% dokładnością.

W innym eksperymencie zespół pokazał czujnikowi wideo symulowanej osoby poruszającej się z trzech różnych prędkości. System mógł nie tylko rozpoznać ruch, analizując jedną klatkę, ale także dokładnie przewidzieć następne klatki.

Wnioski dla pojazdów autonomicznych i inteligentnego transportu

Dokładne wykrywanie ruchu i przewidywanie trajektorii są kluczowe dla technologii jazdy autonomicznej i systemów inteligentnego transportu. Pojazdy autonomiczne polegają na precyzyjnych przewidywaniach, jak samochody, rowery, piesi i inne obiekty będą się poruszać, aby podejmować świadome decyzje. Włączając system uczenia maszynowego w macierz fotomemristorów, naukowcy zademonstrowali, że ich zintegrowany system może przewidzieć przyszły ruch na podstawie przetwarzania wewnątrzczujnikowego informacji z jednej klatki.

“Rozpoznawanie ruchu i przewidywanie przez nasze kompaktowe rozwiązanie pamięci i obliczeń w czujniku zapewnia nowe możliwości w robotyce autonomicznej i interakcjach człowiek-maszyna” mówi profesor Sebastiaan van Dijken. “Informacje w klatce, które uzyskujemy w naszym systemie za pomocą fotomemristorów, unikają zbędnych przepływów danych, umożliwiając efektywne podejmowanie decyzji w czasie rzeczywistym.”