Un “detectiv” AI poate identifica persoane obscure din multiple surse

Cercetătorii de la Universitatea Oxford au dezvoltat un sistem bazat pe inteligență artificială care poate identifica în mod cuprinzător persoanele din videoclipuri prin efectuarea unor investigații multidisciplinare, asemenea detectivilor, pentru a stabili cine ar putea fi, din context și dintr-o varietate de surse secundare disponibile public, inclusiv potrivirea surselor audio cu materialul vizual de pe internet.

Deși cercetarea se concentrează pe identificarea persoanelor publice, cum ar fi persoanele care apar în programe de televiziune și filme, principiul de a infera identitatea din context este teoretic aplicabil oricui al cărui chip, voce sau nume apare în surse online.

Într-adevăr, articolul definește faima ca fiind persoane cu multe imagini ale lor online, cercetătorii declarând ‘Noi denumim persoanele cu multe imagini ale lor online ca celebre‘.

Direct la video

Cercetătorii de la Grupul de Geometrie Vizuală al Departamentului de Știință și Inginerie de la Oxford descriu abordarea de investigație în stil uman care a inspirat lucrarea:

‘Imaginați-vă că urmăriți un videoclip și întâlniți o persoană nouă. Pentru a o identifica cu încredere, ați căuta mai întâi indicii ale numelui său, fie în videoclip, cum ar fi textul de pe ecran, numele său fiind menționat în discurs sau într-o listă de membri ai distribuției de pe un arhiv de internet. Apoi ați găsi dovezi pentru a confirma că acest nume este corect, căutând persoana online.’

Metodologia propusă de articol este complet automatizată și elimină toate etichetările manuale suplimentare (cu excepția celor efectuate de furnizorii de surse online). Sistemul a fost dovedit a funcționa bine pe trei seturi de date nelegate, fără a necesita adaptare de domeniu.

Discutând despre aplicarea lucrării, cercetătorii notează creșterea exponențială a datelor video nelabelate și neclare, și nevoia de sisteme noi care pot deriva informații de identificare din ele, fără annotări umane scumpe:

‘[Volumul] imens de date, combinat cu lipsa de metadate relevante, face ca indexarea, analiza și navigarea în acest conținut să devină o sarcină din ce în ce mai dificilă. A te baza pe annotări manuale suplimentare nu mai este fezabil, și fără o modalitate eficientă de a naviga în aceste videoclipuri, această bancă de cunoștințe este în mare măsură inaccesibilă.’

Un motor de indexare de acest tip deschide posibilitatea pentru legături de rezultate de căutare care ajung direct la un punct în videoclipul în care subiectul căutat apare, așa cum este demonstrat în motorul de căutare web oferit de proiect.

Sistemul Oxford permite căutarea instanțelor unei persoane identificate. Rezultatul căutării duce direct la punctul din videoclip în care persoana identificată apare, și videoclipul poate fi redat de acolo. Source: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Una dintre modalitățile în care sistemul identifică persoane “obscure” este prin contextul asocierii lor cu alții. Prin urmare, motorul de căutare este bine echipat pentru a căuta multiple identități care apar în același videoclip:

Pescărușii mari și mici

Sistemul abordează inițial “roadele de pe pom”, adică persoane ale căror fețe sunt atât de bine indexate în resursele de rețea publică încât identificarea lor este relativ trivială, prin potrivirea metadatelor sau a textului OCR din videoclipuri împotriva resurselor de date publice, cum ar fi listele IMDB. Textul interpretat de AI din subtitrări, genericuri și alte forme de text rasterizat în videoclipuri este, de asemenea, utilizat pentru a face identificarea.

Numele de candidat pentru căutare pot fi descoperite automat de sistem, pe baza recunoașterii optice a caracterelor (OCR) a textului rasterizat sau a textului real din alte surse, cum ar fi listele de distribuție. Astfel, persoanele pot fi indexate automat fără a fi necesare interogări prealabile asupra numelor lor de către utilizatorii individuali, și fără participarea prealabilă la rețele sociale bazate pe AI. Source: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

În cazul în care imaginile și videoclipurile care confruntă internetul confirmă identitatea persoanei, ancheta confirmă o identitate. Dar atunci când persoana este mai obscură, se utilizează alte metode, inclusiv sunetele de pe benzile video, care pot fi utilizate ca confirmare a unei identități. Deși nu este acoperit în lucrare, în mod logic, nu există nimic care să împiedice un cadru de acest fel să utilizeze și surse audio pure, precum și componente audio în videoclipuri.

Un panopticon de identitate care se autopropagă

Pe lângă generarea de nume de candidat din text rasterizat sau pur, tehnologiile de recunoaștere a vorbirii sunt utilizate în proiectul Oxford pentru a recunoaște numele care sunt doar vorbite în conținutul audio. Astfel, o identitate poate fi inițializată de una sau două persoane care menționează o a treia persoană care nu este prezentă.

Măsura de siguranță pe care proiectul Oxford o introduce este că candidatul trebuie să apară în baza de date IMDB, dar eliminarea acestei stipulări arbitrare extinde considerabil sfera posibilă a capacităților sistemului, deoarece se bazează în întregime pe resurse web-scrapabile.

Prin urmare, cu o combinație de surse, inclusiv nume derivate din text rasterizat, text real, menționări bazate pe vorbire și material vizual limitat, devine posibilă identificarea persoanelor cu o prezență vizuală de rețea scăzută.

Din punct de vedere tehnic, devine, de asemenea, posibilă crearea unui profil al unei persoane la care nu a fost asociat încă niciun material vizual, dar la care se poate atașa ulterior un material vizual atunci când alte factori se corelează cu o sursă de videoclip nou ingestată.

Seturi de date de test

Cercetătorii au utilizat trei seturi de date pentru a evalua eficacitatea sistemului: MediaEval, care prezintă resurse de social media derivate din Creative Commons și comunitate, capturate între 2010-2015; setul de date Sherlock din 2017 al grupului Oxford, care prezintă date video annotate din adaptarea modernă a personajului Conan Doyle; și un set de date nou de videoclipuri BBC, creat special pentru proiect, care utilizează diverse secvențe de știri annotate de la BBC.

Sistemul reușește într-o gamă largă de medii de date, inclusiv în cazurile în care fața este ocluzată de reflexii sau întuneric.

Procesul utilizează, de asemenea, clasamentele de căutare live de imagini.

Rezultatele sistemului au produs o acuratețe ridicată pe cele trei modele. În cazul setului de date Sherlock, cercetătorii au fost surprinși să constate că noul sistem a îmbunătățit cu 3-6% o metodă anterioară care a utilizat mașini de suport vectorial (SVM) într-un clasificator multi-căi, chiar dacă clasificatorul cel mai apropiat utilizat în noua lucrare este un instrument mai puțin puternic.

Implicații

Majoritatea constrângerilor etice sau practice în proiectul Oxford sunt impuse de cercetători, cum ar fi definirea “famei” prin cerința ca identitățile descoperite să aibă o prezență în IMDB și testarea sistemului exclusiv împotriva seturilor de date academice stabilite care respectă licențierea Creative Commons.

Însă, arhitectura esențială a proiectului descrie o metodă generică nu numai pentru a identifica “persoane obscure” care au o prezență vizuală scăzută sau zero pe internet (deoarece o simplă menționare a unui nume poate genera un token de identitate care poate fi dezvoltat în timp, după cum este necesar), ci și pentru a crea o matrice de persoane condusă de curiozitate mecanică și recursivă, mai degrabă decât de cerere sau de prezența explicită a datelor etichetate (cum ar fi încărcările de fotografii de pe rețelele de socializare care conțin metadate PII).

Proiectul nu utilizează date de geolocalizare sau alte forme de metadate disponibile pe scară largă care ar putea fi găsite în documente contributive, cum ar fi informațiile de localizare geografică încorporate prin default în încărcările pe rețelele de socializare (unde acestea nu sunt șterse ca o preferință a utilizatorului). Cu toate acestea, nu există niciun obstacol aparent în utilizarea unor dimensiuni suplimentare de date pentru a consolida procesul de coroborare.

În timp ce proiectul Oxford taie valorile outlier (identități care au o prezență aproape zero, pe lângă faptul că nu sunt listate în IMDB) într-un mod care este comun în proiectele de învățare automată, astfel de informații minimale pot identifica, de fapt, o persoană necunoscută mai eficient decât ar fi cazul dacă ar fi disponibile informații reprezentative mai mari despre aceasta. Dacă valorile outlier sunt exact ceea ce căutați (de exemplu, persoane cu o amprentă de rețea mică), datele rare pot fi foarte indicative.

Disponibilitate

Cercetătorii de la Oxford au encapsulat funcționalitatea proiectului într-un motor de căutare similar cu cel al Google, care poate fi descărcat și instalat pe o mașină locală prin Docker (deși instrucțiunile de instalare pentru articolul din mai 2021 conțin informații învechite pentru o cerință a uneltei Docker, ceea ce poate împiedica procesul).

Nu există aparent nicio versiune live online care să acopere implementarea proiectului pe toate cele trei seturi de date, deși rezultatele pentru setul de date al știrilor BBC pot fi interogate gratuit la http://zeus.robots.ox.ac.uk/bbc_search/.