Identifiera förarens missbruk av mobiltelefon med polariserande filter och objekterkänning

Forskare i Storbritannien har föreslagit ett vägkantsystem för att automatisera upptäckten av olagligt mobiltelefonanvändning bland förare, med hjälp av klassiska foto-optiska filter och infraröd upptagning. Beroende på kvaliteten på upptagningsutrustningen har systemet visat en noggrannhetsgrad på upp till 95,81 % i verkliga världens tester.

En av forskarnas modeller i aktion. Vindrutans område identifieras och isoleras först som ett upptagningsområde för en AI-assisterad sökning efter bilder av en mobiltelefon. Systemet är utformat för att ignorera monterade mobiltelefoner och leta efter enheter som hålls aktivt av föraren. Källa: https://www.youtube.com/watch?v=PErIUr3Cxvg

Forskningen heter Identifiering av förarens mobiltelefonanvändningsbrott via state-of-the-art-objekterkänning med spårning och kommer från School of Computing vid Newcastle University.

Att övervinna reflektivitet hos vindrutor

Tidigare tillvägagångssätt för att upptäcka mobiltelefonanvändning bland förare har hindrats av vindrutors höga reflektivitet under dagtid, förvärrat när reflektioner från grupper av stora moln ytterligare skymmer insidan av fordonet. Sådana fall kan inte realistiskt hanteras med infraröd belysning, eftersom mängden IR-belysning som krävs för att tränga igenom naturligt dagsljus skulle vara resurskrävande.

Därför föreslår Newcastle-forskarna den äldsta knepet i boken (som går tillbaka till 1812) för att eliminera reflektioner från ett uppfattat glasyta – ett billigt, fysiskt polariseringsfilter som kan fästas på vägkameror, kalibreras en gång och därefter möjliggöra en tydlig vy in i fordonens insida.

Ovan, en ofiltrerad vy av en bilruta. Nedan, samma vy med ett fysiskt polariseringsfilter fäst på kameran. Källa: https://arxiv.org/pdf/2109.02119.pdf

Med den allmänna övergången från dedikerade kameror till mobilbaserade sensorer har polariseringsfilterns närvaro i populärkultur till stor del minskat till dess inkludering i rimliga solglasögon, där bäraren kan observera dess reflektionsdödande egenskaper genom att luta sin vy eller ändra sin vy på det reflekterande föremålet.

Solens strålar sprids av syre- och kvävemolekyler, med blått ljus mer omfattande spridd än andra våglängder, vilket gör blått till den klara himmelns naturliga färg på dagen. Blått ljus är polariserat, och ett linjärt eller cirkulärt polariserat linser kan effektivt eliminera detta polariserade ljus, vilket tar bort reflektioner i processen.

Artikeln erkänner att rökta vindrutor kan hindra eller till och med sabotera denna metod för att se in i bilen. Men eftersom detta begränsas av brittisk lag, med regler som varierar från stat till stat i USA, anses detta inte vara ett primärt hinder i artikeln.

YOLO

Systemet som artikeln föreslår är avsett att integreras i den offentliga infrastrukturen, såsom regeringsinstallerade vägkameror. Medvetna om möjliga hinder över kostnad, testade forskarna olika objekterkänningskonfigurationer över en mängd olika kvalitetsnivåer på upptagningsutrustning och erbjuder ett minimalt kostnadsscenario där billiga polariseringsfilter kan läggas till befintliga kameror, med alla andra aspekter av systemet på distans.

Fyra objekterkänningsramverk testades: You-Only-Look-Once (YOLO) versioner 3 och 4; SSD basnätverk; Faster R-CNN; och CenterNet. I tester fick man de mest precisa resultaten med YOLO V3, med en tvåstegsarbetsflöde som först lokaliserar vindrutan och sedan söker en mobil enhet i det utrymmet.

Men behovet av att köra videon genom två nätverk resulterar i en mindre än optimal bildfrekvens på 13,15 fps, jämfört med närmare 30 fps på det enklare systemet. Kvaliteten på resultaten beror på indatautrustningen, och forskarna fann att när indata delades mellan lågkvalitetskameror och högkvalitetsutrustning, kunde en noggrannhetsgrad på nästan 96 % uppnås på den bättre utrustningen, och 74,35 % på de billigare kamerorna.

Begränsning av erkända brott

Förutom att göra systemet ekonomiskt livskraftigt, är forskarna angelägna om att utveckla ett fullständigt automatiserat system med minimal mänsklig tillsyn, och systemet har utformats för att automatiskt leverera böter. Men eftersom lagar om mobiltelefonanvändning medan man kör blir allt strängare runt om i världen, med straff som kan överstiga enkla böter eller körkortspunkter (t.ex. i Storbritannien), verkar det troligt att informell mänsklig verifiering fortfarande skulle vara en faktor i distributionen av ett sådant system.

Trots användningen av optisk flöde och andra metoder för att ta hänsyn till hela videoinnehållet, betraktar objekterkänningsalgoritmer som YOLO varje bildruta som en “komplett historia”, och nästa bildruta som ett efterföljande projekt. Därför måste ett system av detta slag förhindras från att utfärda (t.ex.) 128 separata böter som täcker 128 bildrutor av brottsupptagande video.

För att undvika detta, integrerar systemet objektsökningsalgoritmen Deep SORT, som lägger till ett unikt “incident-ID” till varje brottsupptäckt, och ser till att ID:t inte dupliceras över bildrutor inom en enda upptagningssekvens.

Hantering av nattliga övervakningar

För nattliga förhållanden, använder forskarna som standard infraröd upptagning, som användes i tidigare forskningsprojekt som undersökte samma utmaning. De testade IR-våglängder på 850 och 730 nanometer, och fann att de bästa detaljerna fångades med 730 nm.

Artikeln hävdar att ytterligare utredning är nödvändig för att avgöra i vilken utsträckning infraröd upptagning kunde användas under dagtid.

Data

För den mer ekonomiska enstegsversionen av systemet, använde forskarna 2 235 registreringsskyltsbilder från Google Open Images Dataset, och 2150 aktie- och specialtillverkade mobiltelefonbilder. Eftersom det var nödvändigt att inkludera bilder av telefoner som hålls av förare, togs 1 700 av telefonbilderna specifikt för projektet.

Den tvåstegsprocessen krävde annotering av 487 vindrutor, som användes för att träna den första steget i processen, utöver de data som användes i enstegsprocessen.

Eftersom det inte fanns någon tillgång till officiell vägövervakningsinfrastruktur, togs alla bilder av volontärer för att approximera liknande förhållanden.

Avvägningar

De slutliga resultaten erbjuder en mängd olika noggrannhetsstandarder som måste avvägas mot implementeringskostnader, med bättre upptagningsutrustning och bearbetningsresultat som erbjuder den högsta noggrannheten, och “acceptabel” noggrannhet som kan uppnås genom billigt ombyggnad av befintlig urban övervakningsutrustning.

Den billigare, “enstegs”-pipelinen uppnår något nära 75 % noggrannhet, med de lägsta implementeringskostnaderna (dvs. montering av ett billigt polariseringsfilter), medan den mer komplexa tvåstegssystemet (som isolerar vindrutan innan den söker en mobil enhet som hålls av föraren) uppnår högre noggrannhetsgrader, men kan bara vara lämplig för ny infrastruktur, beroende på tillgänglig budget. I båda fallen är kvaliteten på upptagningsutrustningen en ytterligare variabel.

Som nämnts ovan, verkar forskarnas uppfattning om projektets livskraft vara informerad av antagandet att systemet bör fungera helt autonomt – ett tvivelaktigt krav.

Ta en titt på projektets officiella video nedan för mer information om implementeringen och tillvägagångssätten som användes.