Het identificeren van bestuurders die misbruik maken van mobiele telefoons met polariserende filters en objectherkenning

Onderzoekers in het VK hebben een systeem voorgesteld om het illegale gebruik van mobiele telefoons door bestuurders langs de weg te automatiseren, met behulp van klassieke foto-optische filters en infraroodopname. Afhankelijk van de kwaliteit van de opname-apparatuur, heeft het systeem een nauwkeurigheidspercentage van maximaal 95,81% aangetoond in reële wereldproeven.

Een van de onderzoekermodellen in actie. Het gebied van de voorruit wordt eerst geïdentificeerd en geïsoleerd als een verzamelgebied voor een AI-geassisteerde zoekopdracht naar afbeeldingen van een mobiele telefoon. Het systeem is ontworpen om gemonteerde mobiele telefoons te negeren en apparaten te zoeken die actief door de bestuurder worden vastgehouden. Bron: https://www.youtube.com/watch?v=PErIUr3Cxvg

Het onderzoek heeft de titel Identificatie van schendingen van mobiele telefoongebruik door bestuurders via state-of-the-art objectdetectie met tracking en komt van de School of Computing van de Universiteit van Newcastle.

Overcoming Reflectivity of Windshields

Eerdere benaderingen van detectie van mobiele apparaatgebruik door bestuurders zijn gehinderd door de hoge reflectiviteit van voorruiten tijdens de daglichturen, verergerd wanneer reflecties van grote wolken de binnenkant van het voertuig nog verder verduisteren. Dergelijke gevallen kunnen niet realistisch worden aangepakt met infrarood lichtbronnen, aangezien de hoeveelheid IR-verlichting die nodig is om natuurlijk daglicht te doorboren, bronintensief zou zijn.

Daarom stellen de onderzoekers van Newcastle voor om de oudste truc in het boek (daterend uit 1812) te gebruiken om reflecties van een waargenomen glasoppervlak te elimineren – een goedkope, fysieke polariserende filter die aan wegkantcamera’s kan worden bevestigd, eenmalig gekalibreerd en vervolgens een helder zicht in de interieurs van voertuigen mogelijk maakt.

Boven, een ongefilterde weergave van een voorruit. Onder, dezelfde weergave met een fysieke polariserende filter bevestigd aan de camera. Bron: https://arxiv.org/pdf/2109.02119.pdf

Met de populaire overstap van gewone camera’s naar mobiele sensoren, is de aanwezigheid van polariserende filters in de popcultuur grotendeels teruggebracht tot hun opname in redelijke kwaliteit zonnebrillen, waar de drager hun reflectie-dodende eigenschappen kan observeren door hun gezichtspunt te kantelen of te veranderen op het reflecterende object.

Zonlicht wordt verstrooid door zuurstof- en stikstofmoleculen, met blauw licht dat meer uitgebreid wordt verstrooid dan andere golflengten, waardoor blauw de native kleur is van een heldere hemel overdag. Blauw licht is gepolariseerd en een lineaire of circulaire gepolariseerde lens kan dit gepolariseerde licht effectief elimineren, waardoor reflecties worden verwijderd.

Het artikel erkent dat gerookte voorruiten deze methode om in de auto te kijken kunnen belemmeren of zelfs verhinderen. Echter, aangezien dit beperkt is door de Britse wet, met regels die per staat in de VS variëren, beschouwt het artikel dit niet als een primair obstakel.

YOLO

Het systeem dat in het artikel wordt voorgesteld, is bedoeld om te worden geïntegreerd in civiele infrastructuur, zoals door de overheid geïnstalleerde wegkantcamera’s. Bewust van mogelijke obstakels over kosten, hebben de onderzoekers verschillende configuraties van objectherkenningssystemen getest over een reeks kwaliteitsniveaus van opname-apparatuur en bieden een minimale kosten-scenario waarin goedkope polariserende filters aan bestaande camera’s kunnen worden toegevoegd, met alle andere aspecten van het systeem op afstand.

Vier objectherkenningframeworks zijn getest: You-Only-Look-Once (YOLO) versies 3 en 4; SSD basenetwerk; Faster R-CNN; en CenterNet. In tests zijn de meest nauwkeurige resultaten behaald met YOLO V3, met een tweestapsworkflow die eerst het gebied van de voorruit lokaliseert en vervolgens een mobiel apparaat in die ruimte zoekt.

Echter, de noodzaak om de video door twee netwerken te laten lopen, resulteert in een minder dan optimale framefrequentie van 13,15 fps, in vergelijking met bijna 30 fps op het eenvoudigere systeem. De kwaliteit van de resultaten hangt af van de invoerapparatuur, en de onderzoekers vonden dat wanneer de invoer werd verdeeld tussen lage camera’s en betere apparatuur, een nauwkeurigheidspercentage van bijna 96% mogelijk was op de betere apparatuur, en 74,35% op de goedkopere camera’s.

Beperking van herkende inbreuken

Naast het maken van het systeem economisch haalbaar, zijn de onderzoekers bezorgd om een volledig geautomatiseerd systeem te ontwikkelen met een minimum aan noodzakelijke menselijke toezicht, en het systeem is bedoeld om automatisch boetes te verstrekken. Echter, aangezien de wetten rond het gebruik van mobiele telefoons tijdens het rijden over de hele wereld strenger worden, met straffen die meer kunnen omvatten dan alleen boetes of intrekking van het rijbewijs (bijv. in het VK), lijkt het waarschijnlijk dat menselijke verificatie nog steeds een factor zal zijn in de implementatie van een dergelijk systeem.

Ondanks het gebruik van optische stroom en andere methoden om rekening te houden met de gehele video-inhoud, beschouwen objectherkenningalgoritmes zoals YOLO elke frame als een ‘volledig verhaal’, en de volgende frame als een volgend project. Daarom moet een systeem van deze aard worden voorkomen om (bijv.) 128 afzonderlijke boetes uit te vaardigen voor 128 frames van video die een inbreuk vastleggen.

Om dit te voorkomen, omvat het systeem de objectvolg-algoritme Deep SORT, die een unieke ‘incident-ID’ toevoegt aan elke herkenning van een inbreuk, en ervoor zorgt dat de ID niet wordt gedupliceerd over frames binnen een enkele opnamevolgorde.

Aanpak van nachtelijke surveillance

Voor nachtelijke omstandigheden valt het systeem terug op infraroodopname, zoals gebruikt in eerdere onderzoeksprojecten die dezelfde uitdaging onderzochten. Zij testten IR-golflengten van 850 en 730 nanometer en vonden dat de beste details werden vastgelegd met 730 nm.

Het artikel stelt dat verdere onderzoek nodig is om te bepalen in hoeverre infraroodopname tijdens daglichtomstandigheden kan worden gebruikt.

Gegevens

Voor de meer economische enkelvoudige versie van het systeem, gebruikten de onderzoekers 2.235 afbeeldingen van nummerborden uit de Google Open Images Dataset en 2.150 voorraad- en zelfgemaakte afbeeldingen van mobiele telefoons. Aangezien het nodig was om afbeeldingen van telefoons te includeren die door bestuurders werden vastgehouden, werden 1.700 van de telefoonafbeeldingen specifiek voor het project gemaakt.

De tweestapsversie van het systeem vereiste de annotatie van 487 voorruiten, die werden gebruikt om de eerste stap van het proces te trainen, naast de gegevens die werden gebruikt in de enkelvoudige versie.

Aangezien er geen toegang was tot officiële wegkant-surveillance-infrastructuur, werden alle afbeeldingen gemaakt door vrijwilligers om vergelijkbare omstandigheden te benaderen.

Afwegingen

De definitieve resultaten bieden een reeks nauwkeurigheidsnormen die moeten worden afgewogen tegen de implementatiekosten, met betere opname-apparatuur en verwerkingsresultaten die de grootste nauwkeurigheid bieden, en ‘aanvaardbare’ nauwkeurigheid die kan worden behaald door het goedkope retrofitten van bestaande stedelijke surveillance-apparatuur.

Het goedkopere, ‘enkelvoudige’ pipeline bereikt een nauwkeurigheid van ongeveer 75%, met de laagste implementatiekosten (d.w.z. het monteren van een goedkope polariserende filter), terwijl het complexere tweestapsysteem (dat het gebied van de voorruit isoleert voordat het een mobiel apparaat zoekt dat door de bestuurder wordt vastgehouden) hogere nauwkeurigheidspercentages bereikt, maar mogelijk alleen geschikt is voor nieuwe infrastructuur, afhankelijk van de beschikbare begroting. In beide gevallen is de kwaliteit van de opname-apparatuur een extra variabele.

Like vermeld, lijkt de perceptie van de onderzoekers van de haalbaarheid van het project te worden geïnformeerd door de veronderstelling dat het systeem volledig autonoom moet functioneren – een twijfelachtige vereiste.

Neem een kijkje naar de officiële video van het project hieronder voor meer details over de implementatie en benaderingen die worden gebruikt.