Wykrywanie “agresywnego prowadzenia” za pomocą uczenia maszynowego i obliczeń brzegowych

Niedawne zgłoszenie patentowe zaproponowało system identyfikacji “agresywnego zachowania podczas prowadzenia” na skrzyżowaniach za pomocą algorytmów uczenia maszynowego wdrożonych w urządzeniach obliczeń brzegowych.

W przeciwieństwie do ostatnich innowacji badań AI nad analizą “złości na drodze” w pojeździe (głównie przeznaczonej dla korzyści firm ubezpieczeniowych), proponowany system jest municipalny, a jego celem może być ułatwienie kar dla kierowców, którzy nie stosują się do norm “bezpiecznego” zachowania podczas prowadzenia. System ten ma również na celu dostarczanie kierowcom, którzy nie przestrzegają przepisów, powiadomień audio-wizualnych w pojeździe.

Patent został złożony w Urzędzie Patentów i Znaków Towarowych USA 29 kwietnia 2021 r. w imieniu Zarządu Regentów Uniwersytetu Michigan oraz korporacji Denso, japońskiego producenta części samochodowych należącego do Toyoty.

Patent Uniwersytetu Michigan nie jest systemem własnym, wdrożonym w pojeździe, ukierunkowanym na nadzór ubezpieczeniowy, ani nie jest przeznaczony wyłącznie do produkcji danych sądowych, lecz opiera się na dobrze wyposażonych węzłach obliczeń brzegowych rozmieszczonych na skrzyżowaniach, aby zapewnić natychmiastową i użyteczną informację zwrotną, poprzez zestawienie danych z zasobów obliczeń brzegowych i czujników zainstalowanych w pobliskich pojazdach. Źródło: https://pdfaiw.uspto.gov/76/2021/50/012/1.pdf

Proponowany system nie jest w pełni bierny ani zależny od sprzętu komunalnego, lecz wymaga również technologii w pojeździe, które mogą przekształcić samochody w sensory współpracujące z systemem. Skutecznie, każdy wyposażony pojazd staje się węzłem monitorowania ruchu, chociaż ten sam nadzór zostanie również skierowany na samego kierowcę, z dodatkową korzyścią w postaci dostępu do strumieni danych pokładowych. Schemat instalacji w pojeździe (przedstawiony poniżej) złożony w ramach patentu obejmuje bezpośrednie dane sensoryczne z hamulców, przyspieszenia, kierownicy i licznika, a także wymaga dostępu do danych mapowych.

Oba rodzaje instalacji, drogowe i w pojeździe, posiadają procesory CUDA oraz zasoby magazynowania lokalnego, a także łączność z chmurą.

Ostrzeżenia dla agresywnych kierowców

Według wniosku patentowego, system jest zaprojektowany do interakcji z kierowcą, który prowadzi agresywnie:

‘Gdy system do przewidywania agresywnego prowadzenia 1 przewiduje agresywne prowadzenie w danym pojeździe, może wyświetlić ostrzeżenie, takie jak ostrzeżenie w Rys. 8A, na urządzeniu audio-wizualnym 413 w danym pojeździe, aby ostrzec agresywnego kierowcę, aby zwolnił.’

Dodatkowe potencjalne ostrzeżenia obejmują powiadomienia w pojeździe dotyczące prędkości i nadjeżdżających pojazdów:

Ostrzeżenia przedstawione we wniosku patentowym. Źródło: https://pdfaiw.uspto.gov/fdd/76/2021/50/012/0.pdf

Wniosek patentowy stwierdza, że w innym możliwym scenariuszu, każde dostępne urządzenie audio-wizualne (w tym smartfony należące do kierowcy) w pojeździe może być użyte do ostrzegania, w tym ostrzeżeń audio.

Czerwone światła dla kierowców

Zmiana częstotliwości i zachowania sygnalizacji świetlnej na skrzyżowaniach była od dawna znana jako metoda redukcji wypadków, a proponowany system może być użyty do generowania danych, które mogą zmienić sposób funkcjonowania sygnalizacji świetlnej na skrzyżowaniach na bardzo szerokim poziomie.

Jednak głęboka integracja infrastruktury i danych pojazdu, przewidziana w propozycji Michigan, oferuje inną możliwość: czerwone światła, które są dyktowane przez zachowanie kierowcy, a nie przez rutynę lub harmonogram (patrz sekcja [0157] we wniosku patentowym).

‘Ponadto, jeśli wzorzec prowadzenia na jednym skrzyżowaniu (np. skrzyżowaniu 200a) przewiduje i/lub wskazuje agresywne prowadzenie w pojeździe 71, mogą być zastosowane środki zaradcze, takie jak kontrola elementów sterujących, w celu kontroli i łagodzenia agresywnego zachowania podczas prowadzenia. Na przykład, jeśli system do przewidywania agresywnego prowadzenia 1 przewiduje, że pojazd 71 może nieprzestrzegać czerwonego światła na skrzyżowaniu 200a, system do przewidywania agresywnego prowadzenia 1 może wygenerować sygnał sterujący dla sygnalizacji świetlnej 202b i 202c na skrzyżowaniach 200b i 200c. W ten sposób sygnalizacja świetlna 202b i 202c może zmienić się na czerwone, na przykład, zanim pojazd 71 przejedzie przez skrzyżowanie 200a, aby zachęcić pojazd 71 do zwolnienia i niepróbowania przyspieszenia, aby przejechać przez skrzyżowania 200b i 200c przed zmianą sygnalizacji 202b i 202c na czerwone.’

Wejścia w prywatność kierowców

Propozycje systemów monitorowania kierowców w pojeździe w ciągu ostatniej dekady wykorzystywały algorytmy rozpoznawania emocji i wzrokowych, wraz z innymi wskaźnikami biometrycznymi, w celu stworzenia systemów, które mają “ochładzający” wpływ na kierowców, ponieważ niewłaściwe zachowanie kierowcy mogłoby wpłynąć na premie ubezpieczeniowe w ramach takich systemów lub zostać wykorzystane jako dowód w śledztwie wypadku.

W przeciwieństwie do tego, propozycja Michigan/Denso wydaje się być przeznaczona do pewnej formy współpracy państwowej poprzez zmiany w obligatoryjnych standardach pojazdów. Jednakże, biorąc pod uwagę mobilność populacji USA w normalnych czasach i fakt, że taki system byłby najbardziej odpowiedni dla długodystansowych kierowców, takich jak kierowcy ciężarówek, trudno zobaczyć, jak cokolwiek mniej niż wdrożenie federalne byłoby wykonalne, chyba że ramy są zaprojektowane do wyłączenia się na granicach stanów lub hrabstw, które nie wspierają systemu.

Mimo że takie innowacje są zwykle napędzane przez rosnący trend firm ubezpieczeniowych, które nagradzają ubezpieczonych za instalację sprzętu monitorującego, potrzeba infrastruktury komunalnej nie pasuje dokładnie do tego modelu, co sugeruje, że taki system wymagałby wsparcia ustawowego i finansowania federalnego lub stanowego.

Ilustracja proponowanej architektury uczenia maszynowego, wykorzystującej sieci neuronowe rekurencyjne (RNN). Chociaż ramy również wykorzystują uczenie nienadzorowane i zapewniają informację zwrotną w czasie rzeczywistym, przewidują również szkolenie offline w celu poprawy algorytmów na podstawie danych i zdarzeń. Identyfikacja agresywnego zachowania podczas prowadzenia jest ułatwiona przez Dynamic Time Warping (DTW), algorytm stosowany w analizie szeregów czasowych do porównywania dwóch szeregów czasowych lub sekwencji obiektów, które mogą się różnić pod względem prędkości.

Strumień dochodów

System proponowany w patencie mógłby być pierwszym, który oferuje analizę w czasie rzeczywistym nieprawidłowego zachowania kierowców w ramach struktury komunalnej, która może automatycznie nakładać kary i mandaty, lub powiadamiać władze, w przypadku niebezpiecznych zdarzeń. Jednakże, wynalazcy przyznają, że mógłby być nadużywany jako źródło dochodu przez władze komunalne głodne dochodów.

Neda Masoud, asystentka profesora w Wydziale Inżynierii Lądowej i Środowiskowej Uniwersytetu Michigan, powiedziała The Academic Times, że ‘Fałszywe alarmy są niewielką ceną za zwiększony poziom bezpieczeństwa, który może zapewnić ta technologia. Powinna być zawsze możliwość obrony się przed fałszywymi oskarżeniami o agresywne prowadzenie,’.

Wniosek patentowy uznaje możliwość zdarzeń agresywnego prowadzenia, w których uczestniczą pojazdy nie wyposażone w jednostki pokładowe (OBUs), co może być rozwiązane przez obserwację zewnętrzną sąsiednich lub pobliskich pojazdów, które mają takie wyposażenie, a także przez instalacje na skrzyżowaniach. W takich przypadkach identyfikacja mogłaby domyślnie przejść do innych metod, takich jak automatyczne odczytywanie tablic rejestracyjnych (chociaż wniosek patentowy nie zajmuje się tym).

Skrzyżowania – wysokie ryzyko

Patent z Michigan zajmuje się bezprawnym zachowaniem na skrzyżowaniach, ponieważ są one miejscem zdarzeń drogowych i wykroczeń, podczas gdy poprzednie chińskie badania w tym samym kierunku wykorzystywały analizę wektorów nośnych (SVM) do identyfikacji zdarzeń w trakcie podróży, takich jak niebezpieczne zmiany pasa ruchu. Inicjatywa badawcza z Chin wykorzystywała sensory smartfonów w celu wykrycia nieregularnych zachowań podczas podróży.

Amerykański Urząd Bezpieczeństwa Ruchu Drogowego oszacował w 2010 r., że 40% wypadków, które miały miejsce w Stanach Zjednoczonych w 2008 r., było związanych z działaniami na skrzyżowaniach, takimi jak niebezpieczne zmiany pasa ruchu.