Identifisering av sjåførenes mobiltelefonmisbruk med polariseringsfilter og objektgjenkjenning

Forskere i Storbritannia har foreslått et vegsidig system for å automatisere oppdaging av ulovlig mobiltelefonbruk blant sjåfører, ved hjelp av klassiske foto-optiske filter og infrarød opptak. Avhengig av kvaliteten på opptaksutstyret, har systemet vist en nøyaktighetsrate på opptil 95,81 % i virkelige verdenstester.

En av forskernes modeller i aksjon. Vindusområdet identifiseres og isoleres først som et innfangningsområde for en AI-basert søkning etter bilder av en mobiltelefon. Systemet er designet for å ignorere monterte mobiltelefoner og søke etter enheter som holdes aktivt av sjåføren. Kilde: https://www.youtube.com/watch?v=PErIUr3Cxvg

Forskningen heiter Identification of Driver Phone Usage Violations via State-of-the-Art Object Detection with Tracking, og kommer fra School of Computing ved Newcastle University.

Overvinning av refleksivitet i vinduer

Tidligere tilnærminger til å oppdage mobiltelefonbruk blant sjåfører har vært hemmet av den høye refleksiviteten i vinduer under dagslys, forverret når refleksjoner fra grupper av store skyer ytterligere skjuler bilens indre. Slike tilfeller kan ikke realistisk håndteres med infrarød lys, siden mengden IR-belysning nødvendig for å trenge gjennom naturlig dagslys ville være ressurskrevende.

Derfor foreslår Newcastle-forskerne den eldste trikset i boken (fra 1812) for å eliminere refleksjoner fra et glassoverflate – et billig, fysisk polariseringsfilter som kan monteres på vegsidige overvåkingskameraer, kalibrert en gang, og deretter enable en klar innblick i bilens indre.

Ovenfor, en ufiltret visning av en bilvindu. Under, samme visning med et fysisk polariseringsfilter montert på kameraet. Kilde: https://arxiv.org/pdf/2109.02119.pdf

Med den populære overgangen fra dedikerte kameraer til mobilbaserte sensorer, har polariseringsfilterets tilstedeværelse i populærkulturen i stor grad blitt redusert til dens inklusjon i rimelige solbriller, hvor bæreren kan observere dets refleksjonsdrepende egenskaper ved å vippe sin synsvinkel eller endre sin synsvinkel på det reflekterende objektet.

Sollys spres av oksygen- og nitrogenmolekyler, med blått lys som spres mer omfattende enn andre bølgelengder, noe som gjør blått til den naturlige fargen på en klar himmel om dagen. Blått lys er polarisert, og et lineært eller sirkulært polarisert linse kan effektivt eliminere dette polariserte lyset, og dermed fjerne refleksjoner.

Artikkelen erkjenner at røykte vinduer kan hindre eller til og med sabotere denne metoden for å se inn i bilen. Imidlertid, siden dette begrenses av britisk lov, med forskjellige regler i forskjellige stater i USA, betrakter artikkelen ikke dette som en primær hindring.

YOLO

Systemet som artikkelen foreslår, er ment å integreres i offentlig infrastruktur, som for eksempel vegsidige overvåkingskameraer installert av myndighetene. Forskerne var klar over mulige hindringer når det gjelder kostnader, og testet ulike objektgjenkjenningssystemkonfigurasjoner over en rekke kvalitetsnivåer på opptaksutstyret, og tilbød en minimalt kostnadsscenarie hvor billig polariseringsfilter kunne legges til eksisterende kameraer, med alle andre aspekter av systemet fjern.

Forskere testet fire objektgjenkjenningssystemer: You-Only-Look-Once (YOLO) versjoner 3 og 4; SSD basisnettverk; Faster R-CNN; og CenterNet. I tester, ble de mest nøyaktige resultater oppnådd med YOLO V3, som bruker en to-trinns arbeidsflyt som først lokaliserer vindusområdet og deretter søker etter en mobiltelefon i det området.

Imidlertid resulterer behovet for å kjøre videoen gjennom to nettverk i en mindre enn optimal rammerate på 13,15fps, sammenlignet med nærmere 30fps på det enklere systemet. Kvaliteten på resultater avhenger av innputtutstyret, og forskerne fant at når innputt var delt mellom lavkvalitetskameraer og høykvalitetsutstyr, var en nøyaktighetsrate på nær 96 % mulig på det bedre utstyret, og 74,35 % på de billigere kameraene.

Begrensning av kjente overtredelser

I tillegg til å gjøre systemet økonomisk levedyktig, er forskerne også opptatt av å utvikle et fullstendig automatisert system med minimalt menneskelig tilsyn, og systemet er konseptualisert for å automatisk levere bot. Imidlertid, siden lovene omkring mobiltelefonbruk mens man kjører blir mer strenge over hele verden, med straffer som kan overstige bare bot eller poengtrekk (for eksempel i Storbritannia), synes det sannsynlig at enkel menneskelig verifisering ville forbli en faktor i utrullingen av et slikt system.

Til tross for bruk av optisk flyt og andre metoder for å ta hensyn til hele videoinnholdet, betrakter objektgjenkjenningssystemer som YOLO hver ramme som en “fullstendig historie”, og den neste ramen som et påfølgende prosjekt. Derfor må et system av denne typen forhindres i å utstede (for eksempel) 128 separate boter som dekker 128 ramer av overtredelseskapt video.

For å unngå dette, inkorporerer systemet objektsporingssystemet Deep SORT, som legger til en unik “hendelses-ID” til hver overtredelsesgjenkjenning, og sikrer at ID-en ikke dupliseres over ramer i en enkelt opptaksekvens.

Håndtering av nattlige overvåkninger

For nattlige forhold, defaulter forskerne til infrarød opptak, som brukes i tidligere forskningsprosjekter som undersøker samme utfordring. De testet IR-bølgelengder på 850 og 730 nanometer, og fant at de beste detaljene ble fanget med 730nm.

Artikkelen hevder at videre undersøkelser er nødvendige for å bestemme i hvilken utstrekning infrarød opptak kan brukes under dagsforhold.

Data

For den mer økonomiske enkelt-trinnsversjonen av systemet, brukte forskerne 2 235 bilnummerbilder fra Google Open Images Dataset, og 2 150 lager- og selvlagde mobiltelefonbilder. Ettersom det var nødvendig å inkludere bilder av telefoner som holdes av sjåfører, ble 1 700 av telefonbildene tatt spesifikt for prosjektet.

Den to-trinns systemet krevde annotering av 487 vinduer, brukt til å trene den første delen av prosessen, i tillegg til dataene brukt i enkelt-trinnsprosessen.

Ettersom det ikke var tilgang til offisiell vegovervåkingsinfrastruktur, ble alle bilder tatt av frivillige for å approksimere lignende forhold.

Kompromisser

De endelige resultater tilbyr en rekke nøyaktighetsstandarder som må veies mot implementeringskostnader, med bedre opptaksutstyr og prosessresultater som tilbyr den største nøyaktigheten, og “akseptabel” nøyaktighet som kan oppnås ved billig retrofittning av eksisterende byovervåkingsutstyr.

Den billigere, ‘enkelt-trinns’ pipeline oppnår noe nær 75 % nøyaktighet, med de laveste implementeringskostnadene (dvs. montering av et billig polariseringsfilter), mens den mer komplekse to-trinns systemet (som isolerer vindusområdet før det søker etter en mobiltelefon holdt av sjåføren) oppnår høyere nøyaktighetsrater, men kan kun være egnet for ny infrastruktur, avhengig av tilgjengelig budsjett. I begge tilfeller er kvaliteten på opptaksutstyret en ekstra variabel.

Som nevnt ovenfor, synes forskernes oppfatning av prosjektets levedyktighet å være informert av antagelsen om at systemet må fungere fullstendig autonomt – et tvilsomt krav.

Se prosjektets offisielle video nedenfor for mer informasjon om implementeringen og tilnærmingene som er brukt.