Upptäcka ögonkontakt från kroppsställning med maskinlärande

Forskare från Frankrike och Schweiz har utvecklat ett datorsystem som kan uppskatta om en person tittar direkt på “ego”-kameran i ett AI-system baserat enbart på hur personen står eller rör sig.

Det nya ramverket använder mycket reducerad information för att göra denna bedömning, i form av semantiska nyckelpunkter (se bild nedan), snarare än att försöka analysera ögonpositionen i bilder av ansikten. Detta gör att den resulterande upptäcktsmetoden blir mycket lätt och smidig, i jämförelse med mer dataintensiva objektupptäcktsarkitekturer, såsom YOLO.

Det nya ramverket utvärderar om en person på gatan tittar på AI-sensorn, baserat enbart på kroppsställningen. Här är personer som är markerade i grönt sannolikt att titta på kameran, medan de som är markerade i rött är mer benägna att titta bort. Källa: https://arxiv.org/pdf/2112.04212.pdf

Även om arbetet är motiverat av utvecklingen av bättre säkerhetssystem för autonoma fordon, medger författarna till den nya artikeln att det kan ha mer allmänna tillämpningar inom andra branscher, och observerar ‘även i smarta städer kan ögonkontaktdetektion vara användbar för att bättre förstå fotgängares beteende, t.ex. identifiera var deras uppmärksamhet går eller vilka offentliga skyltar de tittar på’.

För att underlätta ytterligare utveckling av detta och efterföljande system har forskarna sammanställt en ny och omfattande dataset som kallas LOOK, som direkt tar itu med de specifika utmaningarna för ögonkontaktdetektion i godtyckliga scenarier, såsom gatubilder som uppfattas från en självkörande bil eller en robot som måste navigera och ge vika för fotgängares väg.

Resultat från ramverket, med ‘tittare’ identifierade i grönt.

Forskningen heter Do Pedestrians Pay Attention? Eye Contact Detection in the Wild och kommer från fyra forskare vid Visual Intelligence for Transportation (VITA) forskningsinitiativ i Schweiz och en vid Sorbonne Université.

Arkitektur

De flesta tidigare arbeten inom detta område har fokuserat på förarens uppmärksamhet, med maskinlärande för att analysera utdata från förarriktade kameror och förlita sig på en konstant, fast och nära vy av föraren – en lyx som sannolikt inte kommer att finnas tillgänglig i de ofta lågupplösta strömmarna från offentliga TV-kameror, där människor kan vara för långt borta för att en ansiktsanalys-system ska kunna lösa deras ögonställning, och där andra hinder (såsom solglasögon) också kommer i vägen.

Mer central för projektets uttalade syfte är de utåtriktade kamerorna i autonoma fordon som inte nödvändigtvis kommer att vara i en optimal situation heller, vilket gör ‘lågnivå’ nyckelpunktsinformation idealisk som grund för en blickanalysram. Autonoma fordonssystem behöver ett mycket responsivt och blixtsnabbt sätt att förstå om en fotgängare – som kan kliva av trottoaren in i bilens väg – har sett AV. I en sådan situation kan fördröjning betyda skillnaden mellan liv och död.

Den modulära arkitekturen som utvecklats av forskarna tar in en (vanligtvis) fullkroppsbild av en person från vilken 2D-leder extraheras till en bas, skelettform.

Arkitekturen för det nya fransk-schweiziska ögonkontaktdetekteringssystemet.

Kroppsställningen normaliseras för att ta bort information på Y-axeln, för att skapa en ‘platt’ representation av kroppsställningen som sätter den i paritet med de tusentals kända kroppsställningar som algoritmen har lärt sig (som också har ‘plattats’), och deras associerade binära flaggor/etiketter (dvs. 0: Inte tittande eller 1: Tittande).

Kroppsställningen jämförs med algoritmens interna kunskap om hur väl den här kroppsställningen motsvarar bilder av andra fotgängare som har identifierats som ‘tittande på kamera’ – annoteringar som gjorts med hjälp av anpassade webbläsartillägg som utvecklats av författarna för Amazon Mechanical Turk-arbetarna som deltog i utvecklingen av LOOK-databasen.

<p.Varje bild i LOOK var föremål för granskning av fyra AMT-arbetare, och endast bilder där tre av fyra var överens om resultatet inkluderades i den slutliga samlingen.

Huvudbeskärningsinformation, som är kärnan i mycket tidigare arbete, är en av de minst tillförlitliga indikatorerna för blick i godtyckliga urbana scenarier, och ingår som en valfri dataström i arkitekturen där inspelningskvaliteten och täckningen är tillräcklig för att stödja ett beslut om huruvida personen tittar på kameran eller inte. I fallet med mycket avlägsna personer kommer detta inte att vara användbar data.

Data

Forskarna har härlett LOOK från flera tidigare dataset som inte är lämpade för denna uppgift. De enda två dataset som direkt delar projektets syfte är JAAD och PIE, och var och en har begränsningar.

JAAD är ett erbjudande från 2017 från York University i Toronto, som innehåller 390 000 märkta exempel på fotgängare, inklusive begränsningsrutor och beteendeanotering. Av dessa är endast 17 000 märkta som Tittar på föraren (dvs. ego-kameran). Databasen innehåller 346 30fps-klipp som körs i 5-10 sekunder av on-board kamerabild som spelats in i Nordamerika och Europa. JAAD har en hög förekomst av upprepningar, och det totala antalet unika fotgängare är endast 686.

Den senaste (2019) PIE, från York University i Toronto, är liknande JAAD, eftersom den innehåller on-board 30fps-bild, den här gången hämtad från sex timmars körning genom centrala Toronto, vilket ger 700 000 annoterade fotgängare och 1 842 unika fotgängare, varav endast 180 tittar på kameran.

I stället har forskarna för den nya artikeln sammanställt den mest lämpliga datan från tre tidigare autonoma körningsdataset: KITTI, JRDB och NuScenes, från Karlsruhe Institute of Technology i Tyskland, Stanford och Monash University i Australien, och en tidigare MIT-spinoff Nutonomy.

Denna kurering resulterade i en mycket varierad uppsättning fångster från fyra städer – Boston, Singapore, Tübingen och Palo Alto. Med cirka 8000 märkta fotgängarperspektiv hävdar författarna att LOOK är den mest varierade databasen för ‘i det vilda’ ögonkontaktdetektion.

Träning och resultat

Extrahering, träning och utvärdering utfördes alla på en enda NVIDIA GeForce GTX 1080ti med 11 GB VRAM, som körde på en Intel Core i7-8700 CPU som körde vid 3,20 GHz.

Författarna fann att deras metod inte bara förbättrar SOTA-baslinjer med minst 5%, utan också att de resulterande modellerna som tränats på JAAD generaliserar mycket väl till osett data, en scenario som testades genom att blanda en mängd olika dataset.

Eftersom testningen som utfördes var komplex och måste ta hänsyn till grödor-baserade modeller (medan ansiktsisolering och beskärning inte är centrala för det nya initiativets arkitektur), se artikeln för detaljerade resultat.

Resultat för genomsnittlig precision (AP) som procent och funktion av begränsningsrutaens höjd i pixlar för testning över JAAD-databasen, med författarnas resultat i fetstil.

Forskarna har släppt sin kod offentligt, med databasen tillgänglig här, och källkoden på GitHub.

Författarna avslutar med förhoppningar om att deras arbete kommer att inspirera till ytterligare forskningsinsatser inom vad de beskriver som ett ‘viktigt men försummat ämne’.