Augenkontakt erkennen durch Körperhaltung mit Machine Learning

Forscher aus Frankreich und der Schweiz haben ein Computer-Vision-System entwickelt, das schätzen kann, ob eine Person direkt in die “Ego”-Kamera eines KI-Systems schaut, basierend allein auf der Art und Weise, wie die Person steht oder sich bewegt.

Das neue Framework verwendet sehr reduzierte Informationen, um diese Bewertung vorzunehmen, in Form semantischer Schlüsselpunkte (siehe Bild unten), anstatt primär die Augenposition in Gesichtsbildern zu analysieren. Dies macht die resultierende Erkennungsmethode sehr leicht und agil im Vergleich zu datenintensiveren Objekterkennungsarchitekturen wie YOLO.

Das neue Framework bewertet, ob eine Person auf der Straße in die Kamera des KI-Systems schaut, basierend allein auf der Körperhaltung. Hier sind Personen, die mit Grün hervorgehoben sind, wahrscheinlich in die Kamera schauen, während diejenigen, die mit Rot hervorgehoben sind, eher weg schauen. Quelle: https://arxiv.org/pdf/2112.04212.pdf

Obwohl die Arbeit durch die Entwicklung besserer Sicherheitssysteme für autonome Fahrzeuge motiviert ist, geben die Autoren des neuen Papiers zu, dass es allgemeinere Anwendungen in anderen Branchen haben könnte, indem sie bemerken ‘sogar in intelligenten Städten kann die Erkennung von Augenkontakt nützlich sein, um das Verhalten von Fußgängern besser zu verstehen, z.B. um zu erkennen, wohin ihre Aufmerksamkeit geht oder welche öffentlichen Schilder sie ansehen’.

Um die weitere Entwicklung dieses und nachfolgender Systeme zu unterstützen, haben die Forscher eine neue und umfassende Datenbank namens LOOK erstellt, die direkt die spezifischen Herausforderungen der Augenkontakterkennung in willkürlichen Szenarien wie Straßenszenen, die von der Kamera eines selbstfahrenden Fahrzeugs wahrgenommen werden, oder lockeren Menschenmengen, durch die ein Roboter navigieren und auf den Weg von Fußgängern achten muss, adressiert.

Ergebnisse des Frameworks, mit ‘Blickern’ in Grün identifiziert.

Die Forschung trägt den Titel Beachten Fußgänger? Augenkontakterkennung in der Wildnis und stammt von vier Forschern der Visual Intelligence for Transportation (VITA)-Forschungsinitiative in der Schweiz und einem Forscher der Sorbonne Université.

Architektur

Die meisten vorherigen Arbeiten auf diesem Gebiet konzentrierten sich auf die Aufmerksamkeit des Fahrers, indem sie maschinelles Lernen verwendet, um die Ausgabe von fahrergerichteten Kameras zu analysieren und sich auf eine konstante, feste und nahe Ansicht des Fahrers verlassen – ein Luxus, der in den oft niedrigauflösenden Feeds von öffentlichen TV-Kameras, in denen Menschen zu weit entfernt sind, um ihre Augenposition zu erkennen, und in denen andere Verdeckungen (wie Sonnenbrillen) auch im Weg sind, nicht immer verfügbar ist.

Wichtiger für das erklärte Ziel des Projekts ist, dass die nach außen gerichteten Kameras in autonomen Fahrzeugen nicht unbedingt in einer optimalen Situation sein werden, was ‘niedrigstufige’ Schlüsselpunkte ideal als Grundlage für ein Blickanalyse- Framework macht. Autonome Fahrzeuge benötigen eine sehr responsive und blitzschnelle Möglichkeit, um zu verstehen, ob ein Fußgänger – der möglicherweise von der Straße in den Weg des Fahrzeugs tritt – das Fahrzeug gesehen hat. In einer solchen Situation kann die Latenz den Unterschied zwischen Leben und Tod bedeuten.

Die modulare Architektur, die von den Forschern entwickelt wurde, nimmt ein (in der Regel) vollständiges Körperbild einer Person, aus dem 2D-Gelenke in eine Basis-, skelettartige Form extrahiert werden.

Die Architektur des neuen französisch-schweizerischen Augenkontakterkennungssystems.

Die Haltung wird normalisiert, um Informationen auf der Y-Achse zu entfernen, um eine ‘flache’ Darstellung der Haltung zu erstellen, die mit den Tausenden von bekannten Haltungen, die vom Algorithmus gelernt wurden (die ebenfalls ‘flattened’ wurden), und ihren zugehörigen binären Flags/Labels (d.h. 0: Nicht schauen oder 1: Schauen) in Übereinstimmung gebracht wird.

Die Haltung wird mit dem internen Wissen des Algorithmus verglichen, um zu bestimmen, wie gut diese Haltung mit Bildern von anderen Fußgängern übereinstimmt, die als ‘in die Kamera schauen’ identifiziert wurden – Annotationen, die mit benutzerdefinierten Browser-Tools erstellt wurden, die von den Autoren für die Amazon Mechanical Turk-Arbeiter entwickelt wurden, die an der Entwicklung der LOOK-Datenbank teilgenommen haben.

Jedes Bild in LOOK wurde von vier AMT-Arbeitern untersucht, und nur Bilder, bei denen drei von vier Arbeitern mit dem Ergebnis übereinstimmten, wurden in die endgültige Sammlung aufgenommen.

Kopf-Crop-Informationen, die den Kern viel vorheriger Arbeiten bilden, sind unter den wenigsten zuverlässigen Indikatoren für Blickrichtung in willkürlichen städtischen Szenarien und werden als optionaler Datenstrom in der Architektur integriert, wenn die Aufnahmqualität und -abdeckung ausreichend sind, um eine Entscheidung darüber zu treffen, ob die Person in die Kamera schaut oder nicht. Im Falle sehr entfernter Menschen wird dies nicht hilfreiche Daten sein.

Daten

Die Forscher leiteten LOOK aus mehreren vorherigen Datenbanken ab, die nicht von Natur aus für diese Aufgabe geeignet sind. Die einzigen beiden Datenbanken, die direkt den Umfang des Projekts teilen, sind JAAD und PIE, und jede hat Einschränkungen.

JAAD ist ein Angebot von 2017 der York University in Toronto, das 390.000 markierte Beispiele von Fußgängern enthält, einschließlich Begrenzungsboxen und Verhaltensannotationen. Davon sind nur 17.000 als In die Fahrer schauen (d.h. die Ego-Kamera) markiert. Die Datenbank enthält 346 30fps-Clips, die bei 5-10 Sekunden On-Board-Kamera-Footage aufgenommen wurden, die in Nordamerika und Europa aufgezeichnet wurden. JAAD hat eine hohe Rate von Wiederholungen, und die Gesamtzahl der eindeutigen Fußgänger beträgt nur 686.

Die neuere (2019) PIE, von der York University in Toronto, ist ähnlich wie JAAD, da sie On-Board-30fps-Footage enthält, diesmal abgeleitet von sechs Stunden Fahrt durch das Zentrum von Toronto, was 700.000 annotierte Fußgänger und 1.842 eindeutige Fußgänger ergibt, von denen nur 180 in die Kamera schauen.

Stattdessen haben die Forscher für das neue Papier die geeignetsten Daten aus drei vorherigen autonomen Fahrzeug-Datenbanken zusammengestellt: KITTI, JRDB und NuScenes, jeweils von der Universität Karlsruhe in Deutschland, Stanford und Monash University in Australien und einem ehemaligen MIT-Spin-off Nutonomy.

Diese Kuration resultierte in einer breit gefächerten Sammlung von Aufnahmen aus vier Städten – Boston, Singapur, Tübingen und Palo Alto. Mit etwa 8000 markierten Fußgängerperspektiven behaupten die Autoren, dass LOOK die vielfältigste Datenbank für die Erkennung von Augenkontakt in der Wildnis ist.

Schulung und Ergebnisse

Extraktion, Schulung und Bewertung wurden alle auf einem einzigen NVIDIA GeForce GTX 1080ti mit 11 GB VRAM durchgeführt, der auf einem Intel Core i7-8700-Prozessor mit 3,20 GHz läuft.

Die Autoren fanden heraus, dass ihre Methode nicht nur die SOTA-Baselines um mindestens 5% verbessert, sondern auch, dass die resultierenden Modelle, die auf JAAD trainiert wurden, sehr gut auf unbekannte Daten verallgemeinern, ein Szenario, das durch das Mischen einer Reihe von Datenbanken getestet wurde.

Da die durchgeführten Tests komplex waren und Vorkehrungen für crop-basierte Modelle treffen mussten (während Face-Isolation und -Cropping nicht zentral für die Architektur des neuen Initiativs sind), siehe das Papier für detaillierte Ergebnisse.

Ergebnisse für die durchschnittliche Genauigkeit (AP) als Prozentsatz und Funktion der Begrenzungsbox-Höhe in Pixeln für die Tests über die JAAD-Datenbank, mit den Ergebnissen der Autoren in Bold.

Die Forscher haben ihren Code öffentlich veröffentlicht, mit der Datenbank, die hier verfügbar ist, und dem Quellcode auf GitHub.

Die Autoren schließen mit der Hoffnung, dass ihre Arbeit weitere Forschungsbemühungen in diesem Bereich inspirieren wird, den sie als ‘wichtiges, aber übersehenes Thema’ beschreiben.

Die Forscher haben ihren Code öffentlich veröffentlicht, mit der Datenbank, die hier verfügbar ist, und dem Quellcode auf GitHub. Die Autoren schließen mit der Hoffnung, dass ihre Arbeit weitere Forschungsbemühungen in diesem Bereich inspirieren wird, den sie als ‘wichtiges, aber übersehenes Thema’ beschreiben. Die Forscher haben ihren Code und die Datenbank veröffentlicht, um weitere Forschung zu ermöglichen. Die Datenbank ist hier verfügbar und der Quellcode auf GitHub. Die Autoren hoffen, dass ihre Arbeit weitere Forschung in diesem Bereich inspirieren wird.