Identifikation af chaufførers misbrug af mobiltelefoner med polariserende filtre og objektgenkendelse

Forskere i Storbritannien har foreslået et vejside-system til at automatisere opdækningen af ulovlig mobiltelefonbrug blandt chauffører, ved hjælp af klassiske foto-optiske filtre og infrarød optagelse. Afhængigt af kvaliteten af optageudstyret, har systemet demonstreret en nøjagtighed på op til 95,81% i virkelige tests.

En af forskernes modeller i aktion. Forruden området identificeres først og isoleres som et opfangningsområde for en AI-baseret søgning efter billeder af en mobiltelefon. Systemet er designet til at ignorere monterede mobiltelefoner og søge efter enheder, der er aktivt holdt af chaufføren. Kilde: https://www.youtube.com/watch?v=PErIUr3Cxvg

Forskningen hedder Identification of Driver Phone Usage Violations via State-of-the-Art Object Detection with Tracking og kommer fra School of Computing på Newcastle University.

Overvindelse af forruden refleksion

Tidligere tilgange til mobiltelefonbrugsdetektion blandt chauffører er blevet hindret af den høje refleksion af forruder under dagtimer, forværret når reflekser fra grupper af store skyer yderligere skjuler bilens indre. Sådanne tilfælde kan ikke realistisk løses med infrarød lyskilder, da mængden af IR-belysning nødvendig for at trænge igennem naturligt dagslys ville være ressourcekrævende.

Derfor foreslår Newcastle-forskerne den ældste trick i bogen (fra 1812) for at eliminere reflekser fra et opfattet glasoverflade – en billig, fysisk polariseringsfilter, der kan monteres på vejside-overvågningskameraer, justeres én gang og derefter give en klar indsigt i bilens indre.

Ovenfor, en ufiltreret udsigt over en forrude. Nedenfor, samme udsigt med et fysisk polariseringsfilter monteret på kameraet. Kilde: https://arxiv.org/pdf/2109.02119.pdf

Med den populære overgang fra dedikerede kameraer til mobilbaserede sensorer, er polariseringsfilterets tilstedeværelse i populærkulturen blevet reduceret til dets inklusion i rimelige solbriller, hvor brugeren kan observere dets refleksionsdræbende egenskaber ved at ændre sin synsvinkel eller synspunkt på det reflekterende objekt.

Sollyset spredes af ilt- og kvælstofmolekyler, med blåt lys spredt mere omfattende end andre bølgelængder, hvilket gør blåt til den naturlige farve af en klar himmel i dagslys. Blåt lys er polariseret, og en lineær eller cirkulær polariseret linse kan effektivt eliminere dette polariserede lys, fjerner reflekser i processen.

Artiklen erkender, at røgede forruder kunne forhindre eller endda sabotere denne metode til at se ind i bilen. Men da dette er begrænset af britisk lovgivning, med regler, der varierer fra stat til stat i USA, betragter artiklen dette ikke som en primær hindring.

YOLO

Systemet, som artiklen foreslår, er designet til at integreres i offentlig infrastruktur, såsom regeringsinstalleret vejside-overvågningskameraer. Bevidst om mulige hindringer over omkostninger, testede forskerne forskellige objektgenkendelsessystemkonfigurationer på tværs af forskellige kvalitetsniveauer af optageudstyr og tilbød en minimal-kostscenarie, hvor billige polariseringsfiltre kunne tilføjes til eksisterende kameraer, med alle andre aspekter af systemet fjernstyrede.

Fire objektgenkendelsesrammer blev testet: You-Only-Look-Once (YOLO) versioner 3 og 4; SSD basisnetværk; Faster R-CNN; og CenterNet. I tests, blev de mest nøjagtige resultater opnået med YOLO V3, ved hjælp af en to-trins arbejdsproces, der først lokaliserer forrudeområdet og derefter søger efter en mobil enhed i det rum.

Men, behovet for at køre videoen gennem to netværk resulterer i en mindre end optimal rammehastighed på 13,15fps, sammenlignet med nærmere 30fps på det enklere system. Kvaliteten af resultaterne afhænger af input-udstyret, og forskerne fandt, at når input var fordelt mellem lavendekameraer og højere kvalitetsudstyr, var en nøjagtighed på næsten 96% mulig på det bedre udstyr, og 74,35% på de billigere kameraer.

Begrænsning af erkendte overtrædelser

Ud over at gøre systemet økonomisk bæredygtigt, er forskerne også bekymrede for at udvikle et fuldt automatiseret system med en minimum af nødvendig menneskelig overvågning, og systemet er designet til at automatisk udstede bøder. Men, da love omkring mobiltelefonbrug under kørsel bliver mere strenge verden over, med straffe, der kan overstige blot bøder eller kørekortpoint (f.eks. i Storbritannien), synes det sandsynligt, at menneskelig verificering ville forblive en faktor i udrulningen af et sådant system.

På trods af brugen af optisk flow og andre metoder til at tage hensyn til hele videoindholdet, betragter objektgenkendelsesalgoritmer som YOLO hver ramme som en “komplet historie”, og den næste ramme som et efterfølgende projekt. Derfor skal et system af denne art forhindres i at udstede (f.eks.) 128 separate bøder, der dækker 128 rammes infraction-fangende video.

For at undgå dette, inkorporerer systemet objektsporingsalgoritmen Deep SORT, der tilføjer en unik “incident-ID” til hver overtrædelsesgenkendelse, og sikrer, at ID’et ikke er dupliceret på tværs af rammes inden for en enkelt optagelsesekvens.

Håndtering af natovervågning

Til natlige betingelser, falder forskerne tilbage til infrarød optagelse, som bruges i tidligere forskningsprojekter, der undersøger samme udfordring. De testede IR-bølgelængder på 850 og 730 nanometer og fandt, at de bedste detaljer blev fanget med 730nm.

Artiklen påstår, at yderligere undersøgelse er nødvendig for at bestemme, i hvilken udstrækning infrarød optagelse kunne bruges under daglige betingelser.

Data

Til den mere økonomiske enkelt-trins version af systemet, brugte forskerne 2.235 nummerpladebilleder fra Google Open Images Dataset og 2150 aktie- og selvlavet mobiltelefonbilleder. Da det var nødvendigt at inkludere billeder af telefoner, der blev holdt af chauffører, blev 1.700 af telefonbillederne taget specifikt til projektet.

Den to-trins version krævede annotation af 487 forruder, brugt til at træne den første del af processen, samt data brugt i den enkelt-trins proces.

Da der ikke var adgang til officiel vejovervågningsinfrastruktur, blev alle billeder taget af frivillige for at approksimere lignende betingelser.

Kompromiser

De endelige resultater tilbyder en række nøjagtighedsstandarder, der skal afvejes mod implementeringsomkostninger, med bedre optageudstyr og procesresultater, der tilbyder den største nøjagtighed, og “acceptabel” nøjagtighed kan opnås ved billigt tilføjelse af eksisterende byovervågningsudstyr.

Den billigere, ‘enkelt-trins’ pipeline opnår noget nær 75% nøjagtighed, med de laveste implementeringsomkostninger (f.eks. montering af et billigt polariseringsfilter), mens den mere komplekse to-trins system (der isolerer forrudeområdet før søgning efter en mobil enhed holdt af chaufføren) opnår højere nøjagtighedsrater, men kan kun være egnet til ny infrastruktur, afhængigt af tilgængelig budget. I begge tilfælde er kvaliteten af optageudstyret en yderligere variabel.

Som nævnt ovenfor, synes forskernes opfattelse af projektets gennemførlighed at være informeret af antagelsen, at systemet skal fungere fuldstændigt autonomt – et tvivlsomt krav.

Se projektets officielle video nedenfor for mere information om implementeringen og tilgangene, der er brugt.