Unghiul lui Anderson
Detectoarele de deepfake explorează noi direcții: modele de difuzie latentă și GAN-uri

Puncte cheieCercetarea privind detectarea deepfake-urilor își mută atenția către modelele de…
Vezi mai mult
- Cercetarea privind detectarea deepfake-urilor își mută atenția către modelele de difuzie latentă, precum Stable Diffusion și DALL-E 2.
- Blade Runner oferă un detector GAN de tip plug-and-play, care utilizează modele de repere faciale, destinat organizațiilor cu resurse limitate.
- DE-FAKE își propune să detecteze și să atribuie universal imaginile provenite de la modelele de difuzie text-imagine, folosind înglobări CLIP.
Opinie În ultima vreme, comunitatea de cercetare a detectării deepfake, care a fost ocupată aproape exclusiv de la sfârșitul anului 2017 cu cadrul bazat pe autoencoder care a debutat atunci spre uimirea (și consternarea) publicului, a început să ia un interes criminalistic în arhitecturi mai puțin stagnante, inclusiv modele de difuzie latentă precum DALL-E 2 și Stable Diffusion, precum și ieșirile Rețelelor Adversative Generative (GAN). De exemplu, în iunie, UC Berkeley a publicat rezultatele cercetării sale privind dezvoltarea unui detector pentru ieșirile DALL-E 2.
Ceea ce pare să conducă la acest interes crescând este saltul evolutiv brusc în capacitatea și disponibilitatea modelelor de difuzie latentă în 2022, cu lansarea închisă și cu acces limitat a DALL-E 2 în primăvară, urmată în vara târzie de deschiderea codului sursă a Stable Diffusion de către stability.ai.
GAN-urile au fost, de asemenea, studiate îndelung în acest context, deși mai puțin intens, deoarece este foarte dificil să le folosiți pentru recreări video convingătoare și elaborate ale persoanelor; cel puțin, comparativ cu pachetele de autoencoder deja vechi, cum ar fi FaceSwap și DeepFaceLab – și ruda sa care transmite în timp real, DeepFaceLive.
Imagini în mișcare
În orice caz, factorul care pare să galvanizeze interesul este perspectiva unui sprint de dezvoltare ulterioare pentru sinteza video. Începutul lunii octombrie – și sezonul major de conferințe din 2022 – a fost caracterizat de o avalanșă de soluții neașteptate și rapide la diverse probleme vechi de sinteză video: abia după ce Facebook a lansat mostre ale platformei sale de text-la-video, Google Research a anunțat rapid arhitectura sa nouă Imagen-to-Video T2V, capabilă să producă imagini video de înaltă rezoluție (chiar dacă doar prin intermediul unei rețele de șapte straturi de rețele de mărire a rezoluției).
Dacă credeți că astfel de lucruri vin în trei, luați în considerare și promisiunea enigmatică a stability.ai că “video este pe cale să apară” în Stable Diffusion, aparent mai târziu în acest an, în timp ce co-dezvoltatorul Runway a făcut o promisiune similară, deși nu este clar dacă se referă la același sistem. Mesajul de pe Discord de la CEO-ul Stability, Emad Mostaque, a promis de asemenea ‘audio, video [și] 3D’.
Odată cu apariția neașteptată a mai multor cadre noi de generare audio, unele bazate pe difuzie latentă, și a unui nou model de difuzie care poate genera mișcări autentice ale personajelor, capătă tot mai multă susținere ideea că sistemele statice precum GAN-urile și modelele de difuzie își vor găsi în cele din urmă locul ca elemente auxiliare ale unor cadre externe de animație.
Pe scurt, pare probabil că lumea încetinită a deepfake-urilor bazate pe autoencoder, care poate înlocui doar eficient porțiunea centrală a unui chip, ar putea fi eclipsată în acest moment anul viitor de o nouă generație de tehnologii de deepfake bazate pe difuzie – abordări deschise și populare, cu potențialul de a falsifica în mod fotorealist nu numai corpuri întregi, ci și scene întregi.
Pentru acest motiv, poate, comunitatea de cercetare anti-deepfake începe să ia în serios sinteza de imagini și să realizeze că ar putea servi mai multor scopuri decât doar generarea de fotografii false de profil LinkedIn; și că, dacă toate spațiile latente intractabile pot face în ceea ce privește mișcarea temporală este să acționeze ca un renderer de textură foarte bun, aceasta ar putea fi de fapt suficient.
Blade Runner
Cele mai recente două articole care abordează, respectiv, detectarea deepfake bazată pe difuzie latentă și GAN, sunt, respectiv, DE-FAKE: Detectarea și atribuirea imaginilor false generate de modelele de difuzie text-la-imagini, o colaborare între CISPA Helmholtz Center for Information Security și Salesforce (CRM ); și BLADERUNNER: Contramăsuri rapide pentru fețe sintetice (generate de IA) StyleGAN, de la Adam Dorian Wong de la Laboratorul Lincoln al MIT.
Înainte de a explica noua sa metodă, articolul examinează mai întâi abordările anterioare pentru determinarea dacă o imagine a fost generată de un GAN (articolul se ocupă în special de familia StyleGAN a NVIDIA ).
Metoda “Brady Bunch” – poate o referință fără sens pentru oricine nu a urmărit televizorul în anii 1970 sau a ratat adaptările de film din anii 1990 – identifică conținutul fals GAN pe baza pozițiilor fixe pe care anumite părți ale unui chip GAN sunt sigure că le vor ocupa, datorită naturii ritualice și standardizate a “procesului de producție”.

Metoda Brady Bunch, prezentată într-o transmisiune online a Institutului SANS în 2022: un generator GAN de fețe amplasează anumite trăsături faciale într-un mod improbabil de uniform, dezvăluind în unele cazuri originea fotografiei. Sursă: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
O altă indicație cunoscută utilă este incapacitatea frecventă a StyleGAN de a reda multiple fețe (prima imagine de mai jos), dacă este necesar, precum și lipsa de talent în coordonarea accesorilor (a doua imagine de mai jos), și o tendință de a folosi o linie de păr ca punct de plecare pentru o pălărie improvizată (a treia imagine de mai jos).

Al treilea procedeu evidențiat de cercetător este suprapunerea fotografiilor, ilustrat și în articolul nostru din august despre diagnosticarea asistată de AI a tulburărilor de sănătate mintală. Acesta folosește programe de combinare a imaginilor, precum seria CombineZ, pentru a reuni mai multe imagini într-una singură, dezvăluind adesea trăsături structurale comune, un posibil indiciu al sintezei.

Arhitectura propusă în noul articol se numește (posibil împotriva oricărui sfat de SEO) Blade Runner, făcând referire la testul Voight-Kampff care determină dacă antagoniștii din franciza științifico-fantastică sunt “falsi” sau nu.
Pipeline-ul este compus din două faze, prima dintre care este analizorul PapersPlease, care poate evalua date extrase de pe site-uri de fețe GAN cunoscute, cum ar fi thispersondoesnotexist.com sau generated.photos.

Deși o versiune redusă a codului poate fi inspectată pe GitHub (a se vedea mai jos), puține detalii sunt furnizate despre acest modul, cu excepția faptului că OpenCV și DLIB sunt utilizate pentru a contura și detecta fețele în materialul colectat.
Al doilea modul este detectorul AmongUs. Sistemul este proiectat pentru a căuta plasarea coordonată a ochilor în fotografii, o caracteristică persistentă a ieșirii de fețe StyleGAN, tipificată în scenariul “Brady Bunch” detaliat mai sus. AmongUs este alimentat de un detector standard de 68 de puncte de reper.

Marcarea punctelor faciale realizată de Intelligent Behaviour Understanding Group (IBUG), al cărui cod de trasare a reperelor faciale este utilizat în pachetul Blade Runner.
AmongUs depinde de repere pre-antrenați pe baza coordonatelor “Brady Bunch” cunoscute de la PapersPlease și este destinat utilizării împotriva mostrelor live, web-orientate, de imagini de fețe bazate pe StyleGAN.
Blade Runner, sugerează autorul, este o soluție “plug-and-play” destinată companiilor sau organizațiilor care nu au resurse pentru a dezvolta soluții proprii pentru detectarea deepfake, și o “măsură de stop-gap pentru a cumpăra timp pentru măsuri mai permanente”.
În fapt, într-un sector de securitate atât de volatil și în creștere rapidă, nu există multe soluții personalizate sau de pe raft de la furnizorii de cloud la care o companie sub-resursată se poate baza cu încredere.
Deși Blade Runner se descurcă prost împotriva persoanelor în ochelari cu fețe falsificate StyleGAN, aceasta este o problemă relativ comună în sisteme similare, care se așteaptă să poată evalua delimitările ochilor ca puncte de referință de bază, ascunse de ochelari în astfel de cazuri.
O versiune redusă a Blade Runner a fost lansată ca sursă deschisă pe GitHub. O versiune mai bogată și proprietară există, care poate prelucra multiple fotografii, și nu doar o singură fotografie pe operație, ca depozitul de cod deschis. Autorul intenționează, spune el, să actualizeze versiunea de pe GitHub la același standard, când timpul îi va permite. El conchide, de asemenea, că StyleGAN este probabil să evolueze dincolo de slăbiciunile sale cunoscute sau actuale, și că software-ul va trebui să se dezvolte în tandem.
DE-FAKE
Arhitectura DE-FAKE își propune nu numai să realizeze o “detectare universală” pentru imagini produse de modele de difuzie text-la-imagini, ci și să ofere o metodă pentru a discerne care model de difuzie latentă a produs imaginea.

Cadrul universal de detectare DE-FAKE tratează imagini locale, un cadru hibrid (verde) și imagini din lumea deschisă (albastru). Sursă: http://export.arxiv.org/pdf/2210.06998
Pentru a fi sincer, în acest moment, aceasta este o sarcină relativ ușoară, deoarece toate modelele de difuzie latentă populare – închise sau cu sursă deschisă – au caracteristici distinctive notabile.
În plus, majoritatea împărtășesc anumite slăbiciuni comune, cum ar fi o predispoziție de a tăia capete, din cauza modului arbitrar în care imaginile non-pătrate extrase din web sunt ingerate în seturile masive de date care alimentează sisteme precum DALL-E 2, Stable Diffusion și MidJourney:

Modelele de difuzie latentă, ca toate modelele de vedere computerizată, necesită intrări pătrate. Colectarea automată de pe web care alimentează LAION5B nu oferă însă funcții suplimentare de recunoaștere și focalizare pe fețe sau alte elemente. În schimb, imaginile sunt decupate drastic, nu completate cu margini, ceea ce ar păstra întreaga imagine originală la o rezoluție mai mică. După învățare, aceste decupări devin obișnuite și apar frecvent în imaginile produse de sisteme precum Stable Diffusion. Surse: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac and Stable Diffusion.
DE-FAKE este destinat să fie algoritmic-agnostic, un obiectiv de dorit de multă vreme de către cercetătorii anti-deepfake de autoencoder, și, în acest moment, destul de realizabil în ceea ce privește sistemele LD.
Arhitectura utilizează biblioteca multimodală de pre-antrenare a limbajului și imaginii Contrastive de la OpenAI (CLIP) – un element esențial în Stable Diffusion și care devine rapid inima noului val de sisteme de sinteză de imagini și video – pentru a extrage încorporări din imagini LD “false” și pentru a antrena un clasificator pe modelele și clasele observate.
Într-un scenariu mai “cutie neagră”, în care bucățile PNG care conțin informații despre procesul de generare au fost demult eliminate de procesele de încărcare și din alte motive, cercetătorii utilizează cadrul BLIP de la Salesforce (BLIP) (care este, de asemenea, o componentă a cel puțin unei distribuții a Stable Diffusion) pentru a analiza imaginile fără informații prealabile pentru structura semantică probabilă a instrucțiunilor text care le-au creat.

Cercetătorii au folosit Stable Diffusion, Latent Diffusion (un produs distinct), GLIDE și DALL-E 2 pentru a construi un set de date de antrenare și testare folosind MSCOCO și Flickr30k.
În mod normal, am face o examinare extinsă a rezultatelor experimentelor cercetătorilor pentru un cadru nou; dar, în realitate, rezultatele DE-FAKE par să fie mai utile ca reper de evaluare pentru iterații și proiecte ulterioare, decât ca o metrică semnificativă a succesului proiectului, având în vedere mediul volatil în care operează și că sistemul cu care se confruntă în încercările din articol este vechi de aproape trei ani – de la începuturile scenei de sinteză de imagini.

Cele două imagini din extrema stângă: cadrul anterior, din 2019, obține previzibil rezultate mai slabe decât DE-FAKE (cele două imagini din extrema dreaptă) pentru cele patru sisteme LD testate.
Rezultatele echipei sunt în mod covârșitor pozitive din două motive: există puține cercetări anterioare cu care să fie comparate și niciuna care să permită o comparație echitabilă, adică să acopere cele numai douăsprezece săptămâni de la publicarea Stable Diffusion cu sursă deschisă; și, în al doilea rând, așa cum s-a menționat mai sus, deși domeniul sintezei de imagini LD se dezvoltă la o viteză exponențială, conținutul ieșirii ofertelor actuale se “watermark-ează” în mod efectiv prin propriile sale limitări structurale (și foarte previzibile) și excentricități – multe dintre acestea fiind probabil remediate, în cazul Stable Diffusion, cel puțin, prin lansarea modelului 1.5 cu performanță mai bună (adică modelul de 4GB care alimentează sistemul).
În același timp, Stability a indicat deja că are o hartă clară pentru V2 și V3 ale sistemului. Având în vedere evenimentele deosebite din ultimele trei luni, orice toropeală corporativă din partea OpenAI și a altor jucători concurenți din spațiul sintezei de imagini este probabil să fi dispărut, ceea ce înseamnă că putem aștepta o evoluție similar de rapidă și în spațiul sintezei de imagini cu sursă închisă.
Publicat pentru prima dată pe 14 octombrie 2022.












