Identifizierung von Fahrern, die ihr Mobiltelefon missbrauchen, mit polarisierenden Filtern und Objekterkennung

Forscher im Vereinigten Königreich haben ein System zur automatischen Erkennung von illegaler Nutzung von Mobiltelefonen durch Fahrer vorgeschlagen, das klassische photo-optische Filter und Infrarot-Aufnahmen verwendet. Abhängig von der Qualität der Aufnahmegeräte hat das System in realen Welttests eine Genauigkeitsrate von bis zu 95,81 % erreicht.

Eines der Modelle der Forscher im Einsatz. Der Bereich der Windschutzscheibe wird zunächst identifiziert und isoliert als Auffangbereich für eine künstliche Intelligenz-gestützte Suche nach Bildern von Mobiltelefonen. Das System ist so konzipiert, dass es montierte Mobiltelefone ignoriert und nach Geräten sucht, die aktiv von dem Fahrer gehalten werden. Quelle: https://www.youtube.com/watch?v=PErIUr3Cxvg

Die Forschung trägt den Titel Identifizierung von Verstößen gegen die Nutzung von Mobiltelefonen durch Fahrer mittels State-of-the-Art-Objekterkennung mit Verfolgung und stammt von der School of Computing an der Newcastle University.

Überwindung der Reflexion von Windschutzscheiben

Frühere Ansätze zur Erkennung der Nutzung von Mobilgeräten durch Fahrer wurden durch die hohe Reflexion von Windschutzscheiben während der Tageslichtstunden behindert, die durch Reflexionen von großen Wolken noch verstärkt werden. Solche Fälle können nicht realistisch mit Infrarot-Lichtquellen angegangen werden, da die erforderliche Menge an IR-Beleuchtung, um das Tageslicht zu durchdringen, ressourcenintensiv wäre.

Daher schlagen die Forscher der Newcastle University den ältesten Trick im Buch vor (der auf 1812 zurückgeht), um Reflexionen von einer wahrgenommenen Glasfläche zu eliminieren – einen billigen, physischen Polarisationsfilter, der an Straßenüberwachungskameras angebracht werden könnte, einmal kalibriert und dann einen klaren Blick in die Innenräume von Fahrzeugen ermöglichen würde.

Oben, eine unverarbeitete Ansicht einer Windschutzscheibe. Unten, dieselbe Ansicht mit einem physischen Polarisationsfilter, der an der Kamera angebracht ist. Quelle: https://arxiv.org/pdf/2109.02119.pdf

Bei dem Übergang von dedizierten Kameras zu mobilbasierten Sensoren ist die Präsenz des Polarisationsfilters in der populären Kultur größtenteils auf seine Verwendung in vernünftigen Sonnenbrillen reduziert worden, wo der Träger seine reflexionsmindernden Eigenschaften beobachten kann, indem er seinen Blickwinkel ändert oder den Blickwinkel auf das reflektierende Objekt ändert.

Sonneneinstrahlung wird durch Sauerstoff- und Stickstoffmoleküle gestreut, wobei blaues Licht stärker gestreut wird als andere Wellenlängen, was blau zur natürlichen Farbe eines klaren Himmels bei Tageslicht macht. Blaues Licht ist polarisiert, und ein linearer oder zirkularer Polarisationslinsen kann dieses polarisierte Licht effektiv eliminieren und somit Reflexionen entfernen.

Die Studie erkennt an, dass getönte Windschutzscheiben diese Methode behindern oder sogar vereiteln könnten. Allerdings ist dies durch das britische Gesetz begrenzt, wobei die Vorschriften je nach Bundesstaat in den USA variieren, und die Studie betrachtet dies nicht als primäres Hindernis.

YOLO

Das System, das in der Studie vorgeschlagen wird, soll in die zivile Infrastruktur integriert werden, wie z.B. in von der Regierung installierte Straßenüberwachungskameras. Angesichts möglicher Hindernisse bei den Kosten testeten die Forscher verschiedene Konfigurationen von Objekterkennungssystemen auf verschiedenen Qualitätsniveaus der Aufnahmegeräte und bieten ein kostengünstiges Szenario, bei dem billige Polarisationsfilter an bestehenden Kameras angebracht werden könnten, während alle anderen Aspekte des Systems remote sind.

Vier Objekterkennungsframeworks wurden getestet: You-Only-Look-Once (YOLO) Versionen 3 und 4; SSD Basisnetzwerk; Faster R-CNN; und CenterNet. In den Tests wurden die genauesten Ergebnisse mit YOLO V3 erzielt, das einen zweistufigen Arbeitsablauf verwendet, der zunächst den Bereich der Windschutzscheibe lokalisieren und dann ein Mobiltelefon in diesem Bereich suchen lässt.

Allerdings führt die Notwendigkeit, das Video durch zwei Netzwerke zu führen, zu einer weniger als optimalen Bildfrequenz von 13,15 Bildern pro Sekunde, im Vergleich zu etwa 30 Bildern pro Sekunde bei dem einfacheren System. Die Qualität der Ergebnisse hängt von der Qualität der Eingabegeräte ab, und die Forscher fanden heraus, dass bei einer Aufteilung der Eingabe zwischen Low-End-Kameras und höherwertiger Ausrüstung eine Genauigkeitsrate von fast 96 % bei der besseren Ausrüstung und 74,35 % bei den billigeren Kameras erreichbar war.

Begrenzung der erkannten Verstöße

Zusätzlich zu der Notwendigkeit, das System wirtschaftlich tragbar zu machen, sind die Forscher bestrebt, ein vollautomatisches System mit minimaler menschlicher Überwachung zu entwickeln, und das System ist so konzipiert, dass es automatisch Bußgelder ausstellt. Allerdings ist es, da die Gesetze über die Nutzung von Mobiltelefonen während der Fahrt weltweit strenger werden, mit Strafen, die über bloße Bußgelder oder Punkteabzüge hinausgehen (z.B. im Vereinigten Königreich), wahrscheinlich, dass eine lockere menschliche Überprüfung bei der Einrichtung eines solchen Systems verbleiben wird.

Trotz der Verwendung von optischem Fluss und anderen Methoden, um den gesamten Videoinhalt zu berücksichtigen, betrachten Objekterkennungsalgorithmen wie YOLO jedes Bild als eine “vollständige Geschichte” und das nächste Bild als ein nachfolgendes Projekt. Daher muss ein System dieser Art verhindern, dass (z.B.) 128 separate Bußgelder für 128 Bilder eines Verstoßes ausgestellt werden.

Um dies zu vermeiden, integriert das System den Objektverfolgungsalgorithmus Deep SORT, der jedem Verstoß eine eindeutige “Vorfall-ID” zuweist und sicherstellt, dass die ID nicht innerhalb eines einzelnen Aufnahmesequenz dupliziert wird.

Behandlung von Nachtsurveillance

Für Nachtsurveillance greifen die Forscher auf Infrarot-Aufnahmen zurück, wie in früheren Forschungsprojekten zur Untersuchung derselben Herausforderung. Sie testeten Infrarot-Wellenlängen von 850 und 730 Nanometern und fanden heraus, dass die besten Details mit 730 Nanometern aufgenommen wurden.

Die Studie behauptet, dass weitere Untersuchungen notwendig sind, um zu bestimmen, inwieweit Infrarot-Aufnahmen während der Tageslichtstunden verwendet werden können.

Daten

Für die wirtschaftlichere Ein-Schritt-Version des Systems verwendeten die Forscher 2.235 Lizenzplattenbilder aus dem Google Open Images Dataset und 2.150 Aktien- und selbstgemachte Mobiltelefonbilder. Da es notwendig war, Bilder von Telefonen aufzunehmen, die von Fahrern gehalten wurden, wurden 1.700 der Telefonbilder speziell für das Projekt aufgenommen.

Das Zwei-Schritt-System erforderte die Annotation von 487 Windschutzscheiben, die zur Schulung des ersten Schritts des Prozesses verwendet wurden, zusätzlich zu den Daten, die im Ein-Schritt-Prozess verwendet wurden.

Da es keinen Zugang zu offizieller Straßenüberwachungsinfrastruktur gab, wurden alle Bilder von Freiwilligen aufgenommen, um ähnliche Bedingungen zu simulieren.

Kompromisse

Die endgültigen Ergebnisse bieten eine Reihe von Genauigkeitsstandards, die gegen die Implementierungskosten abgewogen werden müssen, wobei bessere Aufnahmegeräte und Verarbeitungsergebnisse die höchste Genauigkeit bieten und eine “akzeptable” Genauigkeit durch billige Nachrüstung von bestehender städtischer Überwachungsausrüstung erreichbar ist.

Die billigeren, “Ein-Schritt”-Pipeline erreicht eine Genauigkeit von fast 75 %, mit den niedrigsten Implementierungskosten (z.B. der Anbringung eines billigen Polarisationsfilters), während das komplexere Zwei-Schritt-System (das den Bereich der Windschutzscheibe isoliert, bevor es nach einem von dem Fahrer gehaltenen Mobiltelefon sucht) höhere Genauigkeitsraten erreicht, aber möglicherweise nur für neue Infrastruktur geeignet ist, abhängig von den verfügbaren Mitteln. In beiden Fällen ist die Qualität der Aufnahmegeräte eine zusätzliche Variable.

Wie oben erwähnt, scheint die Wahrnehmung der Forscher über die Machbarkeit des Projekts von der Annahme beeinflusst zu sein, dass das System vollständig autonom arbeiten sollte – eine fragwürdige Anforderung.

Schauen Sie sich das offizielle Video des Projekts unten an, um weitere Details über die Implementierung und die verwendeten Ansätze zu erhalten.