Oogcontact detecteren vanuit lichaamshouding met Machine Learning

Onderzoekers uit Frankrijk en Zwitserland hebben een computervision-systeem ontwikkeld dat kan inschatten of iemand rechtstreeks naar de ‘ego’-camera van een AI-systeem kijkt, enkel en alleen op basis van de manier waarop de persoon staat of beweegt.

Het nieuwe kader gebruikt zeer reductieve informatie om deze beoordeling te maken, in de vorm van semantische sleutelpunten (zie onderstaande afbeelding), in plaats van voornamelijk te proberen om oogpositie in afbeeldingen van gezichten te analyseren. Dit maakt de resulterende detectiemethode zeer licht en behendig, in vergelijking met meer gegevensintensieve objectdetectie-architecturen, zoals YOLO.

Het nieuwe kader beoordeelt of een persoon op straat naar de AI-camera kijkt, enkel en alleen op basis van de houding van hun lichaam. Hier zijn personen die groen zijn gemarkeerd, waarschijnlijk naar de camera kijken, terwijl die met rood zijn gemarkeerd, waarschijnlijk wegkijken. Bron: https://arxiv.org/pdf/2112.04212.pdf

Hoewel het werk gemotiveerd is door de ontwikkeling van betere veiligheidssystemen voor autonome voertuigen, geven de auteurs van het nieuwe artikel toe dat het breder toepasbaar kan zijn in andere industrieën, waarbij ze opmerken ‘zelfs in slimme steden kan oogcontactdetectie nuttig zijn om het gedrag van voetgangers beter te begrijpen, bijvoorbeeld om te identificeren waar hun aandacht naartoe gaat of welke openbare tekens ze bekijken’.

Om verdere ontwikkeling van dit en latere systemen te ondersteunen, hebben de onderzoekers een nieuwe en uitgebreide dataset samengesteld genaamd LOOK, die rechtstreeks de specifieke uitdagingen aanpakt van oogcontactdetectie in willekeurige scenario’s, zoals straatbeelden die worden waargenomen door de bewegende camera van een zelfrijdende auto, of informele menigtes waar een robot doorheen moet navigeren en moet uitwijken voor het pad van voetgangers.

Resultaten van het kader, met ‘kijkers’ gemarkeerd in groen.

Het onderzoek heet Letten voetgangers op? Oogcontactdetectie in het wild en komt van vier onderzoekers bij het Visual Intelligence for Transportation (VITA)-onderzoeksinitiatief in Zwitserland en één aan de Sorbonne Université.

Architectuur

De meeste eerdere werk in dit veld is gericht op bestuurdersaandacht, met behulp van machine learning om de uitvoer van bestuurdersgerichte camera’s te analyseren en afhankelijk te zijn van een constante, vaste en dichtbij gelegen weergave van de bestuurder – een luxe die niet waarschijnlijk beschikbaar zal zijn in de vaak lage-resolutiefeeds van openbare tv-camera’s, waar mensen te ver weg kunnen zijn voor een gezichtsanalyse-systeem om hun oogpositie te bepalen, en waar andere obstakels (zoals zonnebrillen) ook in de weg zitten.

Centraal in het project staat de ontwikkeling van een modulair kader dat een (meestal) volledig lichaamsbeeld van een persoon in neemt, waaruit 2D-gewrichten worden geëxtraheerd in een basis, skeletvorm.

De architectuur van het nieuwe Franse/Zwitserse oogcontactdetectiesysteem.

De houding wordt genormaliseerd om informatie over de Y-as te verwijderen, om een ‘plat’ voorstelling van de houding te creëren die in overeenstemming is met de duizenden bekende houdingen die door het algoritme zijn geleerd (die eveneens zijn ‘geplat’), en hun geassocieerde binaire vlaggen/labels (d.w.z. 0: Niet kijkend of 1:Kijkend).

De houding wordt vergeleken met de interne kennis van het algoritme over hoe goed die houding overeenkomt met afbeeldingen van andere voetgangers die zijn geïdentificeerd als ‘naar de camera kijkend’ – annotaties gemaakt met behulp van aangepaste browsertools die door de auteurs zijn ontwikkeld voor de Amazon Mechanical Turk-werkers die hebben deelgenomen aan de ontwikkeling van de LOOK-dataset.

Elke afbeelding in LOOK werd onderworpen aan een grondige analyse door vier AMT-werkers, en alleen afbeeldingen waar drie van de vier het eens waren over het resultaat, werden opgenomen in de definitieve verzameling.

Kopinformatie, het centrum van veel eerdere werk, is een van de minst betrouwbare indicatoren van blik in willekeurige stedelijke scenario’s en wordt opgenomen als een optionele gegevensstroom in de architectuur waar de opnamekwaliteit en -dekking voldoende zijn om een beslissing te nemen over of de persoon naar de camera kijkt of niet. In het geval van zeer verre mensen zal dit geen bruikbare gegevens zijn.

Gegevens

De onderzoekers hebben LOOK afgeleid van verschillende eerdere datasets die niet van nature geschikt zijn voor deze taak. De enige twee datasets die rechtstreeks het bereik van het project delen, zijn JAAD en PIE, en elk heeft beperkingen.

JAAD is een aanbod uit 2017 van de York University in Toronto, met 390.000 gelabelde voorbeelden van voetgangers, inclusief begrenzingsvakken en gedragsannotatie. Hiervan zijn er slechts 17.000 gelabeld als Naar de bestuurder kijken (d.w.z. de ego-camera). De dataset bevat 346 clips van 30 fps die 5-10 seconden duren van opname van een camerabeeld van een voertuig dat in Noord-Amerika en Europa is opgenomen. JAAD heeft een hoog aantal herhalingen en het totale aantal unieke voetgangers is slechts 686.

Het meer recente (2019) PIE, van de York University in Toronto, is vergelijkbaar met JAAD, aangezien het ook opname van 30 fps bevat, deze keer afgeleid van zes uur rijden door het centrum van Toronto, wat resulteert in 700.000 aangemerkte voetgangers en 1.842 unieke voetgangers, waarvan er slechts 180 naar de camera kijken.

In plaats daarvan hebben de onderzoekers voor het nieuwe artikel de meest geschikte gegevens verzameld uit drie eerdere autonome rijdatasets: KITTI, JRDB en NuScenes, respectievelijk van de Karlsruhe Institute of Technology in Duitsland, Stanford en Monash University in Australië, en een voormalige MIT-spin-off Nutonomy.

Deze curatie resulteerde in een breed divers aanbod van opnames uit vier steden – Boston, Singapore, Tübingen en Palo Alto. Met ongeveer 8000 gelabelde voetgangersperspectieven, beweren de auteurs dat LOOK de meest diverse dataset is voor ‘in het wild’ oogcontactdetectie.

Training en resultaten

Extractie, training en evaluatie werden allemaal uitgevoerd op een enkele NVIDIA GeForce GTX 1080ti met 11gb VRAM, die werkte op een Intel Core i7-8700 CPU die op 3,20GHz draaide.

De auteurs ontdekten dat hun methode niet alleen de SOTA-baselines met ten minste 5% verbetert, maar ook dat de resulterende modellen die zijn getraind op JAAD zeer goed generaliseren naar ongeziene gegevens, een scenario dat werd getest door een reeks datasets te combineren.

Aangezien de uitgevoerde tests complex waren en voorzieningen moesten treffen voor op-crop-gebaseerde modellen (terwijl gezichtsisolatie en -bewerking niet centraal staan in de architectuur van het nieuwe initiatief), zie het artikel voor gedetailleerde resultaten.

Resultaten voor gemiddelde precisie (AP) als percentage en functie van de hoogte van de begrenzingsvak in pixels voor testen over de JAAD-dataset, met resultaten van de auteurs in vet.

De onderzoekers hebben hun code openbaar gemaakt, met de dataset beschikbaar hier, en de broncode op GitHub.

De auteurs concluderen met de hoop dat hun werk verdere onderzoeksinspanningen zal inspireren in wat zij beschrijven als een ‘belangrijk maar over het hoofd gezien onderwerp’.