Detectarea contactului vizual din poza corpului cu învățare automată

Cercetători din Franța și Elveția au dezvoltat un sistem de viziune computerizată care poate estima dacă o persoană se uită direct la camera “ego” a unui sistem de inteligență artificial, bazându-se doar pe modul în care persoana stă sau se mișcă.

Noul cadru utilizează informații foarte reduse pentru a face această evaluare, sub forma unor puncte cheie semantice (a se vedea imaginea de mai jos), și nu încearcă în primul rând să analizeze poziția ochilor în imagini de fețe. Acest lucru face ca metoda de detectare rezultată să fie foarte ușoară și agilă, în comparație cu arhitecturile de detectare a obiectelor mai intensive din punct de vedere al datelor, cum ar fi YOLO.

Noul cadru evaluează dacă o persoană din stradă se uită la senzorul de captură al IA, bazându-se doar pe dispunerea corpului său. Aici, oamenii evidențiați cu verde sunt mai probabil să se uite la cameră, în timp ce cei cu roșu sunt mai probabil să se uite departe. Sursă: https://arxiv.org/pdf/2112.04212.pdf

Deși lucrarea este motivată de dezvoltarea unor sisteme de siguranță mai bune pentru vehiculele autonome, autorii noului articol admit că ar putea avea aplicații mai generale în alte industrii, observând ‘chiar și în orașele inteligente, detectarea contactului vizual poate fi utilă pentru a înțelege mai bine comportamentul pietonilor, de exemplu, pentru a identifica unde se îndreaptă atenția lor sau ce semne publice sunt privite’.

Pentru a ajuta la dezvoltarea ulterioară a acestui sistem și a altor sisteme, cercetătorii au compilat o nouă bază de date cuprinzătoare numită LOOK, care abordează direct provocările specifice detectării contactului vizual în scenarii arbitrare, cum ar fi scenele stradale percepute de la camera unui vehicul autonom sau scenele de mulțime prin care un robot poate trebui să navigheze și să se îndrepte spre calea pietonilor.

Rezultatele cadrului, cu ‘privitorii’ identificați în verde.

Cercetarea este intitulată Do Pedestrians Pay Attention? Eye Contact Detection in the Wild și provine de la patru cercetători de la inițiativa de cercetare Visual Intelligence for Transportation (VITA) din Elveția și unul de la Universitatea Sorbona.

Arhitectură

Majoritatea lucrărilor anterioare în acest domeniu s-au concentrat pe atenția șoferului, utilizând învățarea automată pentru a analiza ieșirile camerelor orientate către șofer și bazându-se pe o vedere constantă, fixă și apropiată a șoferului – un lux care nu este probabil să fie disponibil în fluxurile de televiziune publică de calitate scăzută, unde oamenii pot fi prea departe pentru a fi rezolvați de un sistem de analiză a feței, și unde alte obstacole (cum ar fi ochelarii de soare) se interpun și ele.

Mai centrală pentru obiectivul proiectului, camerele orientate către exterior din vehiculele autonome nu vor fi neapărat într-un scenariu optim, făcând ca informațiile “de nivel scăzut” despre punctele cheie să fie ideale ca bază pentru un cadru de analiză a privirii. Sistemele de vehicule autonome au nevoie de o modalitate foarte receptivă și rapidă de a înțelege dacă un pieton – care poate păși de pe trotuar în calea mașinii – a văzut vehiculul autonom. Într-o astfel de situație, întârzierea ar putea însemna diferența dintre viață și moarte.

Arhitectura modulară dezvoltată de cercetători primește o imagine (de obicei) a întregului corp al unei persoane, din care se extrag articulațiile 2D într-o formă scheletică de bază.

Arhitectura noului sistem de detectare a contactului vizual francezo-elvețian.

Poza este normalizată pentru a elimina informațiile de pe axa Y, pentru a crea o reprezentare “plată” a pozei care o pune în paritate cu mii de poze cunoscute învățate de algoritm (care au fost, de asemenea, “aplatizate”), și cu steagurile binare asociate (de exemplu, 0: Nu se uită sau 1: Se uită).

Poza este comparată cu cunoștințele interne ale algoritmului despre cât de bine corespunde acea poziție cu imagini ale altor pietoni care au fost identificați ca “privind camera” – anotări făcute utilizând unelte personalizate de browser dezvoltate de autori pentru lucrătorii Amazon Mechanical Turk care au participat la dezvoltarea bazei de date LOOK.

Fiecare imagine din LOOK a fost supusă unei examinări de către patru lucrători AMT, și doar imaginile în care trei din patru au fost de acord cu rezultatul au fost incluse în colecția finală.

Informațiile despre tăierea capului, nucleul multor lucrări anterioare, sunt printre cele mai puțin fiabile indicatori ai privirii în scenarii urbane arbitrare și sunt incorporate ca un flux de date opțional în arhitectură, acolo unde calitatea și acoperirea sunt suficiente pentru a susține o decizie cu privire la faptul că persoana se uită la cameră sau nu. În cazul în care oamenii sunt foarte departe, acestea nu vor fi informații utile.

Date

Cercetătorii au derivat LOOK din mai multe seturi de date anterioare care nu sunt, în mod implicit, potrivite pentru această sarcină. Doar două seturi de date care împărtășesc direct obiectivul proiectului sunt JAAD și PIE, și ambele au limitări.

JAAD este o ofertă din 2017 de la Universitatea York din Toronto, care conține 390.000 de exemple etichetate de pietoni, inclusiv cutii delimitatoare și anotări de comportament. Dintre acestea, doar 17.000 sunt etichetate ca Privind șoferul (de exemplu, camera “ego”). Setul de date prezintă 346 de clipuri de 30 de cadre pe secundă care rulează la 5-10 secunde de filmări de la bord, înregistrate în America de Nord și Europa. JAAD are un incident ridicat de repetări, și numărul total de pietoni unici este doar 686.

Setul de date PIE, mai recent (2019), de la Universitatea York din Toronto, este similar cu JAAD, în sensul că prezintă filmări de la bord de 30 de cadre pe secundă, de data aceasta derivate din șase ore de condus prin centrul orașului Toronto, ceea ce produce 700.000 de pietoni anotați și 1.842 de pietoni unici, doar 180 dintre aceștia privind camera.

În schimb, cercetătorii pentru noul articol au compilat cele mai potrivite date din trei seturi de date anterioare pentru conducerea autonomă: KITTI, JRDB și NuScenes, respectiv de la Institutul de Tehnologie din Karlsruhe în Germania, Stanford și Universitatea Monash din Australia, și odată o spin-off MIT, Nutonomy.

Această curare a rezultat într-un set divers de capturi din patru orașe – Boston, Singapore, Tübingen și Palo Alto. Cu aproximativ 8000 de perspective de pietoni etichetate, autorii susțin că LOOK este cel mai divers set de date pentru detectarea “în sălbăticie” a contactului vizual.

Antrenare și Rezultate

Extracția, antrenarea și evaluarea au fost efectuate pe o singură placă grafică NVIDIA GeForce GTX 1080ti cu 11 GB de VRAM, care rulează pe un procesor Intel Core i7-8700 la 3,20 GHz.

Autorii au constatat că metoda lor nu numai că îmbunătățește rezultatele de referință cu cel puțin 5%, dar și că modelele rezultate antrenate pe JAAD generalizează foarte bine pe date nevizionate, un scenariu testat prin amestecarea unor seturi de date.

Deoarece testarea efectuată a fost complexă și a trebuit să facă provizii pentru modele bazate pe tăiere (în timp ce izolarea și tăierea feței nu sunt centrale pentru arhitectura noii inițiative), consultați articolul pentru rezultate detaliate.

Rezultate pentru precizia medie (AP) ca procent și funcție a înălțimii cutiei delimitatoare în pixeli pentru testarea pe setul de date JAAD, cu rezultatele autorilor în bold.

Cercetătorii au lansat codul lor public, cu setul de date disponibil aici, și codul sursă pe GitHub.

Autorii concluzionează cu speranța că lucrarea lor va inspira eforturi de cercetare ulterioară în ceea ce ei descriu ca un ‘subiect important, dar neglijat’.