Detektion af øjenkontakt fra kropsholdning med maskinlæring

Forskere fra Frankrig og Schweiz har udviklet et computersynssystem, der kan estime, om en person ser direkte på ‘ego’-kameraet i et AI-system udelukkende på basis af, hvordan personen står eller bevæger sig.

Det nye framework bruger meget reduceret information til at foretage denne vurdering, i form af semantiske nøglepunkter (se billedet nedenfor), snarere end at forsøge primært at analysere øjestilling i billeder af ansigter. Dette gør den resulterende detektionsmetode meget letvægts og agil i forhold til mere dataintensive objektdetektionsarkitekturer, såsom YOLO.

Det nye framework vurderer, om en person på gaden ser på AI-systemets optageenhed, udelukkende på basis af personens kropsholdning. Her er personer, der er markeret med grøn, sandsynligvis kigginge på kameraet, mens de, der er markeret med rød, er mere sandsynlig at kigge væk. Kilde: https://arxiv.org/pdf/2112.04212.pdf

Selvom arbejdet er motiveret af udviklingen af bedre sikkerhedssystemer til autonome køretøjer, erkender forfatterne af den nye artikel, at det kunne have mere generelle anvendelser på tværs af andre brancher, og bemærker ‘even i smarte byer kan øjenkontaktdetektion være nyttig til bedre at forstå fodgængeres adfærd, f.eks. identificere, hvor deres opmærksomhed går eller hvilke offentlige skilte de ser på’.

For at hjælpe med yderligere udvikling af dette og efterfølgende systemer har forskerne samlet en ny og omfattende dataset kaldet LOOK, der direkte adresserer de specifikke udfordringer i forbindelse med øjenkontaktdetektion i arbitrære scenarier, såsom gadescener set fra en selvkørende bil eller afslappede menneskemængder, som en robot må navigere igennem og give plads til fodgængeres vej.

Resultater fra frameworket, med ‘kiggere’ identificeret med grøn.

Forskningen er titlen Do Pedestrians Pay Attention? Eye Contact Detection in the Wild, og kommer fra fire forskere ved Visual Intelligence for Transportation (VITA) forskningsinitiativet i Schweiz og en ved Sorbonne Université.

Arkitektur

De fleste tidligere arbejder på dette område har været centreret omkring chaufførernes opmærksomhed, ved at bruge maskinlæring til at analysere output fra chaufførrettede kameraloggere og afhænge af en konstant, fast og tæt udsigt over chaufføren – en luksus, der sandsynligvis ikke vil være tilgængelig i de ofte lavopløselige feeds fra offentlige tv-kameraloggere, hvor personer kan være for fjerne til, at en ansigtsanalyse kan løse deres øjestilling, og hvor andre forhindringer (såsom solbriller) også kommer i vejen.

Meget mere centralt for projektets erklærede formål er, at de udadrettede kameraloggere i autonome køretøjer ikke nødvendigvis vil være i en optimal situation heller, hvilket gør ‘lav-niveau’-nøglepunktsinformation ideel som grundlag for et blikanalyseframework. Autonome køretøjsystemer har brug for en meget responsiv og lynhurtig måde at forstå, om en fodgænger – der måske træder af fortovet ind i køretøjsbanen – har set AV. I en sådan situation kan forsinkelse betyde forskellen mellem liv og død.

Den modulære arkitektur, der er udviklet af forskerne, tager imod et (som regel) fuldkropsbillede af en person, hvorfra 2D-leder er udtrukket til en basis, skeletform.

Arkitekturen for det nye fransk-schweiziske øjenkontaktdetektionssystem.

Kropsholdningen er normaliseret for at fjerne information om Y-aksen, for at skabe en ‘flad’ repræsentation af kropsholdningen, der bringer den i lighed med de tusinder af kendte kropsholdninger, som algoritmen har lært (der også er blevet ‘fladet’), og deres associerede binære flags/mærker (dvs. 0: Ikke kigginge eller 1: Kigginge).

Kropsholdningen sammenlignes med algoritmens interne viden om, hvor godt denne kropsholdning svarer til billeder af andre fodgængere, der er identificeret som ‘kigginge på kamera’ – annoteringer, der er lavet med brug af brugerdefinerede browserværktøjer, som forfatterne har udviklet til Amazon Mechanical Turk-arbejderne, der deltog i udviklingen af LOOK-datasættet.

Hver billed i LOOK var underlagt undersøgelse af fire AMT-arbejdere, og kun billeder, hvor tre ud af fire var enige om resultatet, blev inkluderet i den endelige samling.

Hovedudskærningsinformation, der er kernen i meget tidligere arbejde, er blandt de mindst pålidelige indikatorer for blik i arbitrære byscenarier og er inkluderet som en valgfri datastrøm i arkitekturen, hvor optagekvaliteten og dækningen er tilstrækkelig til at støtte en beslutning om, hvorvidt personen ser på kameraet eller ej. I tilfælde af meget fjerne personer vil dette ikke være nyttig information.

Data

Forskerne har udledt LOOK fra flere tidligere datasæt, der ikke som standard er egnede til denne opgave. De to eneste datasæt, der direkte deler projektets ambition, er JAAD og PIE, og hver har begrænsninger.

JAAD er et tilbud fra 2017 fra York University i Toronto, der indeholder 390.000 mærkede eksempler på fodgængere, herunder begrænsningsbokse og adfærdsannotering. Af disse er kun 17.000 mærket som Kigginge på chaufføren (dvs. ego-kameraet). Datasættet indeholder 346 30fps-klip, der kører i 5-10 sekunders on-board kameraoptagelse, optaget i Nordamerika og Europa. JAAD har en høj forekomst af gentagelser, og det totale antal unikke fodgængere er kun 686.

Den mere nyere (2019) PIE fra York University i Toronto ligner JAAD, idet den indeholder on-board 30fps-optagelse, denne gang afledt fra seks timers kørsel gennem downtown Toronto, hvilket giver 700.000 mærkede fodgængere og 1.842 unikke fodgængere, hvoraf kun 180 kigger på kameraet.

I stedet har forskerne bag den nye artikel samlet den mest egnede data fra tre tidligere datasæt for autonome køretøjer: KITTI, JRDB og NuScenes, hhv. fra Karlsruhe Institute of Technology i Tyskland, Stanford og Monash University i Australien, og en tidligere MIT-spin-off Nutonomy.

Denne kuratering resulterede i et bredt diversificeret sæt af optagelser fra fire byer – Boston, Singapore, Tübingen og Palo Alto. Med omkring 8000 mærkede fodgængerperspektiver påstår forfatterne, at LOOK er det mest diverse datasæt for ‘i det vilde’ øjenkontaktdetektion.

Træning og resultater

Udtræk, træning og evaluering blev alle udført på en enkelt NVIDIA GeForce GTX 1080ti med 11gb VRAM, der kørte på en Intel Core i7-8700 CPU med en hastighed på 3,20GHz.

Forfatterne fandt ud af, at deres metode ikke kun forbedrer SOTA-baselines med mindst 5%, men også, at de resulterende modeller, der er trænet på JAAD, generaliserer meget godt til usete data, en scenarie, der er testet ved at kombinere en række datasæt.

Da testen var kompleks og skulle tage hensyn til crop-baserede modeller (mens ansigtsisolering og beskæring ikke er centrale for det nye initiativs arkitektur), se artiklen for detaljerede resultater.

Resultater for gennemsnitlig præcision (AP) som procentdel og funktion af begrænsningsboksens højde i pixels for test af hele JAAD-datasættet, med forfatternes resultater i fed skrift.

Forskerne har offentliggjort deres kode, med datasættet tilgængeligt her, og kildekoden på GitHub.

Forfatterne afslutter med håb om, at deres arbejde vil inspirere til yderligere forskningsindsats i, hvad de beskriver som et ‘vigtigt men overset emne’.

JAAD-datasættet, med forfatternes resultater i fed skrift.[/caption] Forskerne har offentliggjort deres kode offentligt, med datasættet tilgængeligt her, og kildekoden på GitHub. Forfatterne afslutter med håb om, at deres arbejde vil inspirere til yderligere forskningsindsats i, hvad de beskriver som et ‘vigtigt men overset emne’.