Identifizierung von Missbrauch von Mobiltelefonen durch Fahrer mit polarisierenden Filtern und Objekterkennung

Forscher im Vereinigten Königreich haben ein System zur automatischen Erkennung von illegaler Nutzung von Mobiltelefonen durch Fahrer vorgeschlagen, das klassische photo-optische Filter und Infrarot-Aufnahmen verwendet. Abhängig von der Qualität der Aufnahmegeräte hat das System in realen Welttests eine Genauigkeitsrate von bis zu 95,81% demonstriert.

Ein Modell der Forscher in Aktion. Der Bereich der Windschutzscheibe wird zuerst identifiziert und isoliert als Auffangbereich für eine AI-gestützte Suche nach Bildern von Mobiltelefonen. Das System ist so konzipiert, dass es montierte Mobiltelefone ignoriert und nach Geräten sucht, die vom Fahrer aktiv gehalten werden. Quelle: https://www.youtube.com/watch?v=PErIUr3Cxvg

Die Forschung trägt den Titel Identifizierung von Verstößen gegen die Nutzung von Mobiltelefonen durch Fahrer mittels State-of-the-Art-Objekterkennung mit Verfolgung und stammt von der School of Computing an der Newcastle University.

Überwindung der Reflexion von Windschutzscheiben

Frühere Ansätze zur Erkennung der Nutzung von Mobilgeräten durch Fahrer wurden durch die hohe Reflexion von Windschutzscheiben während der Tageslichtstunden behindert, die durch Reflexionen von großen Wolken noch verstärkt werden. Solche Fälle können realistisch nicht mit Infrarot-Lichtquellen angegangen werden, da die Menge an IR-Beleuchtung, die notwendig wäre, um das Tageslicht zu durchdringen, ressourcenintensiv wäre.

Daher schlagen die Forscher der Newcastle University den ältesten Trick im Buch (der auf 1812 zurückgeht) vor, um Reflexionen von einer wahrgenommenen Glasoberfläche zu eliminieren – einen billigen, physikalischen polarisierenden Filter, der an Straßenüberwachungskameras angebracht werden könnte, einmal kalibriert und dann einen klaren Blick in die Fahrzeuginterieurs ermöglichen würde.

Oben, eine unfilterte Ansicht einer Windschutzscheibe. Unten, dieselbe Ansicht mit einem physikalischen polarisierenden Filter, der an der Kamera angebracht ist. Quelle: https://arxiv.org/pdf/2109.02119.pdf

Mit dem beliebten Wechsel von dedizierten Kameras zu mobilbasierten Sensoren ist die Präsenz des polarisierenden Filters in der populären Kultur größtenteils auf seine Aufnahme in vernünftige Sonnenbrillen reduziert worden, wo der Träger seine reflexionsmörderischen Eigenschaften beobachten kann, indem er seinen Blickwinkel ändert oder seinen Blickwinkel auf das reflektierende Objekt ändert.

Sonnenlicht wird von Sauerstoff- und Stickstoffmolekülen gestreut, wobei blaues Licht mehr als andere Wellenlängen gestreut wird, was blau zur natürlichen Farbe eines klaren Himmels bei Tageslicht macht. Blaues Licht ist polarisiert, und eine lineare oder zirkulare polarisierte Linse kann dieses polarisierte Licht effektiv eliminieren und somit Reflexionen entfernen.

Die Studie erkennt an, dass getönte Windschutzscheiben diese Methode, in das Auto zu schauen, behindern oder sogar vereiteln könnten. Allerdings wird dies durch das Vereinigte Königreich-Gesetz begrenzt, wobei die Vorschriften je nach Bundesland in den USA variieren, und die Studie betrachtet dies nicht als primäres Hindernis.

YOLO

Das System, das die Studie vorschlägt, soll in die zivile Infrastruktur integriert werden, wie z.B. in von der Regierung installierte Straßenüberwachungskameras. Angesichts möglicher Hindernisse bei den Kosten haben die Forscher verschiedene Objekterkennungssystemkonfigurationen auf verschiedenen Qualitätsniveaus der Aufnahmegeräte getestet und bieten ein minimalistisches Szenario, bei dem billige polarisierende Filter an bestehende Kameras angebracht werden können, während alle anderen Aspekte des Systems remote sind.

Vier Objekterkennungsframeworks wurden getestet: You-Only-Look-Once (YOLO) Versionen 3 und 4; SSD Basisnetzwerk; Faster R-CNN; und CenterNet. In den Tests wurden die genauesten Ergebnisse mit YOLO V3 erzielt, die einen zweistufigen Arbeitsablauf verwenden, der zuerst den Bereich der Windschutzscheibe lokalisiert und dann ein Mobilgerät in diesem Bereich sucht.

Allerdings führt die Notwendigkeit, das Video durch zwei Netzwerke zu führen, zu einer weniger als optimalen Bildfrequenz von 13,15 Bildern pro Sekunde, im Vergleich zu etwa 30 Bildern pro Sekunde bei dem einfacheren System. Die Qualität der Ergebnisse hängt von der Eingabegeräte ab, und die Forscher fanden heraus, dass bei einer Aufteilung der Eingabe zwischen Low-End-Kameras und höherwertiger Ausrüstung eine Genauigkeitsrate von fast 96% auf der besseren Ausrüstung und 74,35% auf den billigeren Kameras möglich war.

Begrenzung der erkannten Verstöße

Neben der Entwicklung eines wirtschaftlich tragbaren Systems sind die Forscher bestrebt, ein vollautomatisches System mit minimaler menschlicher Überwachung zu entwickeln, und das System ist so konzipiert, dass es automatisch Bußgelder ausstellt. Allerdings, da die Gesetze zur Nutzung von Mobiltelefonen während der Fahrt weltweit strenger werden, mit Strafen, die über Bußgelder oder Punkte auf dem Führerschein hinausgehen (z.B. im Vereinigten Königreich), ist es wahrscheinlich, dass eine lockere menschliche Überprüfung bei der Implementierung eines solchen Systems ein Faktor bleiben wird.

Trotz der Verwendung von optischem Fluss und anderen Methoden, um den gesamten Videoinhalt zu berücksichtigen, betrachten Objekterkennungsalgorithmen wie YOLO jedes Bild als eine “vollständige Geschichte” und das nächste Bild als ein nachfolgendes Projekt. Daher muss ein System dieser Art verhindern, dass (z.B.) 128 separate Bußgelder für 128 Bilder eines Videos, das einen Verstoß aufzeichnet, ausgestellt werden.

Um dies zu vermeiden, integriert das System den Objektverfolgungsalgorithmus Deep SORT, der eine eindeutige “Vorfall-ID” zu jeder Verstoßerkennung hinzufügt und sicherstellt, dass die ID nicht innerhalb eines einzigen Aufnahmesequenz über Frames dupliziert wird.

Nachtsüberwachung

Für Nachtbedingungen greifen die Forscher auf Infrarot-Aufnahmen zurück, wie in früheren Forschungsprojekten zur gleichen Herausforderung verwendet. Sie testeten IR-Wellenlängen von 850 und 730 Nanometern und fanden heraus, dass die besten Details mit 730 nm aufgenommen wurden.

Die Studie behauptet, dass weitere Untersuchungen notwendig sind, um zu bestimmen, inwieweit Infrarot-Aufnahmen während der Tagesbedingungen verwendet werden könnten.

Daten

Für die wirtschaftlichere Ein-Schritt-Version des Systems verwendeten die Forscher 2.235 Lizenzplattenbilder aus dem Google Open Images Dataset und 2.150 Stock- und selbstgemachte Mobiltelefonbilder. Da es notwendig war, Bilder von Mobiltelefonen, die von Fahrern gehalten wurden, einzubeziehen, wurden 1.700 der Mobiltelefonbilder speziell für das Projekt aufgenommen.

Das Zwei-Schritt-System erforderte die Annotation von 487 Windschutzscheiben, die zur Schulung des ersten Schritts des Prozesses verwendet wurden, zusätzlich zu den Daten, die im Ein-Schritt-Prozess verwendet wurden.

Da kein Zugang zu offizieller Straßenüberwachungsinfrastruktur bestand, wurden alle Bilder von Freiwilligen aufgenommen, um ähnliche Bedingungen zu simulieren.

Kompromisse

Die endgültigen Ergebnisse bieten eine Reihe von Genauigkeitsstandards, die gegen die Implementierungskosten getauscht werden müssen, wobei bessere Aufnahmegeräte und Verarbeitungsergebnisse die höchste Genauigkeit bieten und eine “akzeptable” Genauigkeit durch kostengünstige Nachrüstung bestehender städtischer Überwachungsausrüstung erreichbar ist.

Die billigeren, ‘Ein-Schritt’-Pipeline erreicht eine Genauigkeit von fast 75%, mit den niedrigsten Implementierungskosten (z.B. der Anbringung eines billigen polarisierenden Filters), während das komplexere Zwei-Schritt-System (das den Bereich der Windschutzscheibe isoliert, bevor es nach einem Mobilgerät sucht, das vom Fahrer gehalten wird) höhere Genauigkeitsraten erreicht, aber möglicherweise nur für neue Infrastruktur geeignet ist, abhängig von der verfügbaren Budgets. In beiden Fällen ist die Qualität der Aufnahmegeräte eine zusätzliche Variable.

Wie oben erwähnt, scheint die Wahrnehmung der Forscher von der Machbarkeit des Projekts von der Annahme beeinflusst zu sein, dass das System vollständig autonom arbeiten sollte – eine fragwürdige Anforderung.

Werfen Sie einen Blick auf das offizielle Video des Projekts unten, um mehr über die Implementierung und die verwendeten Ansätze zu erfahren.