Fețe sintetice “degradate” ar putea îmbunătăți recunoașterea imaginilor faciale

Cercetătorii de la Universitatea de Stat din Michigan au conceput o modalitate prin care fețele sintetice să ia o pauză de la scena deepfake și să facă bine în lume – ajutând sistemele de recunoaștere a imaginilor să devină mai precise.

Noul modul de sinteză facială controlabil (CFSM) pe care l-au conceput este capabil să regenereze fețe în stilul filmărilor de supraveghere din lumea reală, și nu se bazează pe imaginile de calitate superioară utilizate în seturile de date deschise populare de celebrități, care nu reflectă toate defectele și limitările sistemelor CCTV reale, cum ar fi blurul facial, rezoluția scăzută și zgomotul senzorilor – factori care pot afecta precizia recunoașterii.

Arhitectura conceptuală pentru Modulul de sinteză facială controlabil (CFSM). Sursă: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

CFSM nu este destinat în mod special să simuleze autentic pozițiile capului, expresiile sau alte trăsături obișnuite care sunt obiectivul sistemelor deepfake, ci mai degrabă să genereze o varietate de vederi alternative în stilul sistemului de recunoaștere țintă, utilizând transfer de stil.

Sistemul este proiectat pentru a imita domeniul de stil al sistemului țintă și pentru a adapta ieșirea în funcție de rezoluție și de “excentricitățile” acestuia. Utilizarea sa include sisteme legacy care nu sunt susceptibile de a fi actualizate din cauza costurilor, dar care pot contribui în prezent puțin la noua generație de tehnologii de recunoaștere facială, din cauza calității scăzute a ieșirii care ar fi putut fi odată de ultimă generație.

La testarea sistemului, cercetătorii au constatat că a obținut câștiguri notabile față de stadiul actual al sistemelor de recunoaștere a imaginilor care trebuie să facă față acestui tip de date zgomotoase și de calitate scăzută.

Antrenarea modelelor de recunoaștere facială pentru a se adapta la limitările sistemelor țintă. Sursă: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Ei au descoperit, de asemenea, un produs util al procesului – că seturile de date țintă pot fi acum caracterizate și comparate între ele, făcând compararea, evaluarea și generarea de seturi de date personalizate pentru sisteme CCTV variate mai ușoară în viitor.

În plus, metoda poate fi aplicată seturilor de date existente, realizând de fapt adaptare de domeniu și făcându-le mai potrivite pentru sistemele de recunoaștere facială.

Articolul nou se intitulează Sinteză facială controlabilă și ghidată pentru recunoaștere facială nelimitată, este susținut în parte de Biroul Directorului Național al Informațiilor (ODNI, la IARPA) și provine de la patru cercetători de la Departamentul de Știință și Inginerie a Calculatoarelor de la MSU.

Conținut selectat

Recunoașterea facială de calitate scăzută (LQFR) a devenit o zonă notabilă de studiu în ultimii ani. Deoarece autoritățile civile și municipale au construit sisteme de supraveghere video pentru a fi rezistente și de durată (nu dorind să realoce resurse pentru problema periodică), multe rețele de supraveghere “legacy” au devenit victime ale datoriei tehnice, în ceea ce privește adaptabilitatea lor ca surse de date pentru învățarea automată.

Niveluri variate de rezoluție facială într-o gamă de sisteme de supraveghere video istorice și mai recente. Sursă: https://arxiv.org/pdf/1805.11519.pdf

În mod norocos, aceasta este o sarcină la care modelele de difuzie și alte modele bazate pe zgomot sunt neobișnuit de bine adaptate să o rezolve. Multe dintre cele mai populare și eficiente sisteme de sinteză a imaginilor din ultimii ani efectuează upscale a imaginilor de rezoluție scăzută ca parte a pipeline-ului lor, în timp ce acest lucru este absolut esențial pentru tehnici de compresie neurală (metode de a salva imagini și filme ca date neurale în loc de date bitmap).

Parte a provocării recunoașterii faciale constă în a obține precizia maximă posibilă din numărul minim de caracteristici care pot fi extrase din imaginile de rezoluție scăzută și mai puțin promițătoare. Această constrângere există nu numai pentru că este util să poți identifica (sau crea) o față la rezoluție scăzută, ci și din cauza limitărilor tehnice ale dimensiunii imaginilor care pot trece prin spațiul latent emergent al unui model care este antrenat în VRAM-ul disponibil pe un GPU local.

În acest sens, termenul “caracteristici” este înșelător, deoarece astfel de caracteristici pot fi obținute și dintr-un set de date de bănci din parcuri. În sectorul viziunii calculate, “caracteristici” se referă la caracteristicile distinctive obținute din imagini – orice imagini, indiferent dacă este vorba de liniamentele unei biserici, un munte sau dispunerea caracteristicilor faciale într-un set de date de fețe.

Deoarece algoritmii de viziune calculată sunt acum pricepuți să upscaleze imagini și filme, au fost propuse diverse metode pentru a “îmbunătăți” materialul de supraveghere de calitate scăzută sau degradat, astfel încât ar fi posibil să se utilizeze astfel de îmbunătățiri pentru scopuri legale, cum ar fi plasarea unei persoane la locul unei crime.

Pe lângă posibilitatea de identificare greșită, care a făcut uneori titluri, în teorie nu ar trebui să fie necesar să se hyper-resolveze sau să se transforme în alt mod imaginile de calitate scăzută pentru a face o identificare pozitivă a unei persoane, deoarece un sistem de recunoaștere facială care se concentrează pe caracteristici de nivel scăzut nu ar trebui să aibă nevoie de acel nivel de rezoluție și claritate. În plus, astfel de transformări sunt scumpe în practică și ridică întrebări suplimentare, recurente despre valabilitatea și legalitatea lor potențială.

Necesitatea unor “celebrități” mai “în declin”

Ar fi mai util dacă un sistem de recunoaștere facială ar putea deriva caracteristici (adică caracteristici de învățare automată ale caracteristicilor umane) din ieșirea sistemelor legacy așa cum sunt, prin înțelegerea mai bună a relației dintre “înaltă rezoluție” și imaginile degradate care sunt disponibile în cadrul sistemelor de supraveghere video istorice și adesea de neînlocuit.

Problema aici este una de standarde: seturile de date comune colectate de pe web, cum ar fi MS-Celeb-1M și WebFace260M (printre altele), au fost agățate de comunitatea de cercetare deoarece oferă repere consistente împotriva cărora cercetătorii pot măsura progresul lor incremental sau major față de stadiul actual al tehnologiei.

Exemple din setul de date popular MS-Celeb1m. Sursă: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Cu toate acestea, autorii susțin că algoritmii de recunoaștere facială (FR) antrenați pe aceste seturi de date sunt material nesatisfăcător pentru “domeniile” vizuale ale ieșirii multor sisteme de supraveghere mai vechi.

Articolul afirmă*:

‘[Stadiul actual] (SoTA) modelele FR nu funcționează bine pe imagini de supraveghere din lumea reală (nelimitate) din cauza problemei de schimbare a domeniului, adică seturile de date mari de antrenare (semilimitate) obținute prin fețe de celebrități colectate de pe web lipsesc variații din sălbăticie, cum ar fi zgomotul senzorului inerent, rezoluția scăzută, blurul de mișcare, efectul de turbulență etc.

‘De exemplu, acuratețea de verificare 1:1 raportată de unul dintre modelele SoTA pe setul de date IJB-S nelimitat este cu aproximativ 30% mai mică decât pe setul de date LFW semilimitat.

‘O posibilă soluție pentru o astfel de diferență de performanță este să se assembleze un set de date de fețe nelimitate de mare anvergură. Cu toate acestea, construirea unui astfel de set de date de antrenare cu zeci de mii de subiecți este prohibitiv de dificilă din cauza costului manual de etichetare ridicat.’

Articolul relatează diverse metode anterioare care au încercat să “potrivească” tipurile variate de ieșiri ale sistemelor de supraveghere istorice sau de calitate scăzută, dar observă că acestea au avut de-a face cu “îmbunătățiri oarbe”. În contrast, CFSM primește feedback direct de la ieșirea reală a sistemului țintă în timpul antrenamentului și se adaptează prin transfer de stil pentru a imita acel domeniu.

Actrița Natalie Portman, nu o străină a seturilor de date care domină comunitatea de viziune calculată, apare printre identitățile din acest exemplu de CFSM care efectuează adaptare de domeniu ghidată de stil pe baza feedback-ului de la domeniul modelului țintă.

Arhitectura concepută de autori utilizează Metoda Semnului Gradient Rapid (FGSM) pentru a individua și “importa” stilurile și caracteristicile obținute din ieșirea reală a sistemului țintă. Partea pipeline-ului dedicată generării de imagini se va îmbunătăți și va deveni mai fidelă sistemului țintă odată cu antrenamentul. Acest feedback din spațiul de stil de joasă dimensiune al sistemului țintă este de natură de jos și corespunde descriptorilor vizuali derivați mai largi.

Autorii comentează:

‘Cu feedback-ul de la modelul FR, imaginile sintetizate sunt mai benefice pentru performanța FR, ceea ce conduce la o îmbunătățire semnificativă a capacităților de generalizare ale modelelor FR antrenate cu ele.’

Teste

Cercetătorii au utilizat lucrarea anterioară a MSU ca șablon pentru testarea sistemului lor. Pe baza acelorași protocoale experimentale, au utilizat MS-Celeb-1m, care constă exclusiv din fotografii de celebrități colectate de pe web, ca set de date de antrenare etichetate. Pentru echitate, au inclus și MS1M-V2, care conține 3,9 milioane de imagini cu 85.700 de clase.

Datele țintă au fost setul de date WiderFace de la Universitatea din Hong Kong. Acesta este un set de imagini deosebit de divers, conceput pentru sarcini de detectare a feței în situații dificile. Au fost utilizate 70.000 de imagini din acest set.

Pentru evaluare, sistemul a fost testat împotriva a patru repere de recunoaștere facială: IJB-B, IJB-C, IJB-S și TinyFace.

CFSM a fost antrenat cu aproximativ 10% din datele de antrenare de la MS-Celeb-1m, aproximativ 0,4 milioane de imagini, timp de 125.000 de iterații la o dimensiune a lotului de 32 sub optimizatorul Adam la o rată de învățare foarte scăzută de 1e-4.

Modelul de recunoaștere facială țintă a utilizat o modificare a ResNet-50 pentru spatele său, cu funcția de pierdere ArcFace activată în timpul antrenamentului. În plus, un model a fost antrenat cu CFSM ca o exercițiu de ablație și comparație (notat ca “ArcFace” în tabela de rezultate de mai jos).

Rezultatele testelor principale pentru CFSM. Numerele mai mari sunt mai bune.

Autorii comentează asupra rezultatelor principale:

‘Modelul ArcFace depășește toate reperele atât în sarcinile de identificare, cât și de verificare a feței și atinge o performanță nouă de stat.

Capacitatea de a extrage domenii din diversele caracteristici ale sistemelor de supraveghere legacy sau sub-dotate permite autorilor să compare și să evalueze similaritatea de distribuție între aceste cadre și să prezinte fiecare sistem în termeni de stil vizual care ar putea fi utilizat în lucrări ulterioare.

Exemple din diverse seturi de date prezintă diferențe clare de stil.

Autorii observă, de asemenea, că sistemul lor ar putea face uz de unele tehnologii care, până în prezent, au fost privite doar ca probleme de rezolvat de comunitatea de cercetare și viziune:

‘[CFSM] arată că manipularea adversă poate merge dincolo de a fi un atacator și poate crește precizia recunoașterii în sarcinile de viziune. Între timp, definim o metrică de similaritate a setului de date pe baza bazelor de stil învățate, care capturează diferențele de stil într-un mod agnostic față de etichetă sau predictor.’

‘Credem că cercetarea noastră a prezentat puterea unui model de sinteză facială controlabil și ghidat pentru recunoaștere facială nelimitată și oferă o înțelegere a diferențelor de set de date.’

* Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată pe 1 august 2022.