Identifikace zneužívání mobilních telefonů řidiči pomocí polarizačních filtrů a rozpoznávání objektů

Výzkumníci ve Spojeném království navrhli systém pro automatizované rozpoznávání nelegálního používání mobilních telefonů řidiči, který využívá klasické foto-optické filtry a infra-červenou capturu. V závislosti na kvalitě capturovacího zařízení systém prokázal přesnost až 95,81 % v reálných zkušebních podmínkách.

Jeden z modelů výzkumníků v akci. Oblast předního skla je nejprve identifikována a izolována jako oblast pro AI-pomocné vyhledávání obrazů mobilního telefonu. Systém je navržen tak, aby ignoroval připevněné mobilní telefony a vyhledával zařízení, která jsou aktivně držena řidičem. Zdroj: https://www.youtube.com/watch?v=PErIUr3Cxvg

Výzkum je nazvaný Identifikace porušování pravidel používání mobilního telefonu řidiči pomocí pokročilého rozpoznávání objektů s sledováním a pochází ze Školy informatiky na Novocastleské univerzitě.

Překonání odrazivosti předních skel

Předchozí přístupy k detekci používání mobilních telefonů řidiči byly znesnadněny vysokou odrazivostí předních skel během denních hodin, které byly ještě více zhoršeny odrazy od skupin velkých mraků, které dále znesnadňovaly pohled do interiéru vozidla. Tyto případy nelze realisticky řešit pomocí infra-červených světelných zdrojů, protože by bylo nutné použít velké množství IR osvětlení, aby se proniklo do přirozeného denního světla.

Proto výzkumníci z Novocastleské univerzity navrhli velmi starou trik z knihy (datující se zpět do roku 1812) pro odstranění odrazů z vnímané skleněné plochy – levný, fyzický polarizační filtr, který by mohl být připojen k silničním kamerám, kalibrován jednou a poté by umožnil jasný pohled do interiéru vozidla.

Nahoře, nefiltrovaný pohled na přední sklo. Dole, stejný pohled s fyzickým polarizačním filtrem připojeným ke kameře. Zdroj: https://arxiv.org/pdf/2109.02119.pdf

S populárním přechodem od specializovaných kamer k mobilním senzorům se přítomnost polarizačního filtru ve veřejné kultuře značně snížila, a to zejména ve slušivé kvalitě slunečních brýlí, kde nositel může pozorovat jeho vlastnosti odrazů změnou úhlu pohledu nebo změnou pohledu na odrazový předmět.

Sluneční světlo je rozptýleno kyslíkovými a dusíkovými molekulami, přičemž modré světlo je více rozptýleno než jiné vlnové délky, což činí modrou barvu původní barvou jasného nebe ve dne. Modré světlo je polarizováno, a lineární nebo kruhový polarizační čočka může účinně odstranit toto polarizované světlo, čímž se odstraní odrazy.

Práce uznává, že ztmavená přední skla by mohla zmařit nebo dokonce zmařit tuto metodu prohlížení do vozidla. Nicméně, jelikož je toto omezeno britským zákonem, s předpisy, které se liší podle státu ve Spojených státech, práce tuto skutečnost nepovažuje za primární překážku.

YOLO

Systém, který práce navrhuje, je navržen tak, aby byl integrován do občanské infrastruktury, jako jsou silniční kamerové systémy instalované vládou. Vědomi možných překážek z hlediska nákladů, výzkumníci otestovali různé konfigurace systémů rozpoznávání objektů napříč různými úrovněmi kvality capturovacího zařízení a nabízejí minimální náklady scénář, ve kterém by se mohly levné polarizační filtry přidat k existujícím kamerám, se všemi ostatními aspekty systému vzdálenými.

Byly testovány čtyři rámce rozpoznávání objektů: You-Only-Look-Once (YOLO) verze 3 a 4; SSD základní síť; Faster R-CNN; a CenterNet. V testech byly získány nejpreciznější výsledky s YOLO V3, pomocí dvoustupňového workflow, který nejprve lokalizuje oblast předního skla a poté hledá mobilní zařízení v tomto prostoru.

Nicméně, potřeba projít video dvěma sítěmi vede k méně než optimální frekvenci rámců 13,15fps, ve srovnání s blízkými 30fps na jednodušších systémech. Kvalita výsledků závisí na vstupním zařízení, a výzkumníci zjistili, že když vstup byl rozdělen mezi nízkoúrovňová kamera a lepší vybavení, dosáhla se přesnost až 96 % na lepší vybavení a 74,35 % na levnějších kamerách.

Omezení rozpoznaných přestupků

Kromě toho, aby se systém stal ekonomicky životaschopným, výzkumníci se snaží vyvinout plně automatizovaný systém s minimálním lidským dohledem, a systém byl navržen tak, aby automaticky vydával pokuty. Nicméně, jelikož zákony týkající se používání mobilních telefonů při řízení se stávají přísnější po celém světě, s pokutami, které mohou přesáhnout pouhé pokuty nebo body na řidičském průkazu (tj. ve Spojeném království), zdá se, že by lidská verifikace zůstala faktorem při nasazení takového systému.

Přestože se používá optický tok a další metody pro zohlednění celého obsahu videa, algoritmy rozpoznávání objektů, jako je YOLO, považují každý snímek za “úplný příběh”, a následující snímek za následující projekt. Proto musí být systém tohoto typu zabránit vydání (například) 128 samostatných pokut za 128 snímků videa, které zachycují přestupek.

Aby se tomu zabránilo, systém zahrnuje algoritmus sledování objektů Deep SORT, který přidává jedinečný “ID incidentu” k каждému rozpoznání přestupku, a zajišťuje, že ID není duplikováno napříč snímky v rámci jedné sekvence.

Zpracování noční surveillance

Pro noční podmínky se výzkumníci uchylují k infra-červené captuře, jako v předchozích výzkumných projektech, které zkoumají stejnou výzvu. Otestovali IR vlnové délky 850 a 730 nanometrů a zjistili, že nejlepší detaily byly zachyceny při 730 nm.

Práce tvrdí, že je zapotřebí dalšího zkoumání, aby se určilo, do jaké míry by se mohla infra-červená captura použít za denních podmínek.

Data

Pro ekonomičtější jednostupňovou verzi systému výzkumníci použili 2 235 obrázků registračních značek z Google Open Images Dataset a 2150 obrázků mobilních telefonů ze stocku a vlastních obrázků. Jelikož bylo nutné zahrnout obrázky telefonů držených řidiči, 1 700 obrázků telefonů bylo pořízeno speciálně pro projekt.

Dvoustupňový systém vyžadoval anotaci 487 předních skel, které se použily pro výcvik prvního stupně procesu, kromě dat použitých v jednostupňovém procesu.

Jelikož neexistoval přístup k oficiální silniční infrastruktuře, všechny obrázky byly pořízeny dobrovolníky, aby se přiblížily podobným podmínkám.

Kompromisy

Konečné výsledky nabízejí řadu standardů přesnosti, které by bylo nutné obchodovat proti nákladům na implementaci, s lepším capturačním zařízením a výsledky zpracování, které nabízejí největší přesnost, a zřejmě “přijatelnou” přesnost, která může být dosažena levným retrofitováním stávajícího městského dohlížecího vybavení.

Levnější, “jednostupňová” pipeline dosahuje něco blízkého 75% přesnosti, s nejnižšími náklady na implementaci (tj. instalace levného polarizačního filtru), zatímco složitější dvoustupňový systém (který izoluje oblast předního skla před hledáním mobilního zařízení drženého řidičem) dosahuje vyšších přesností, ale může být vhodný pouze pro novou infrastrukturu, v závislosti na dostupném rozpočtu. V obou případech je kvalita capturačního zařízení další proměnnou.

Jako je uvedeno výše, vnímání životaschopnosti projektu výzkumníků se zdá být ovlivněno předpokladem, že systém by měl fungovat zcela autonomně – sporným požadavkem.

Vezměte prosím pohled na oficiální video projektu níže pro více informací o implementaci a přístupech, které byly použity.