Codificarea imaginilor împotriva utilizării în sistemele Deepfake și de sinteză a imaginilor

Cea mai cunoscută linie de anchetă în sectorul de cercetare anti-deepfake în creștere implică sisteme care pot recunoaște artefacte sau alte caracteristici care se presupune că distinctive ale fețelor deepfake, sintetizate sau altfel falsificate sau „editate” în conținut video și imagine.

Astfel de abordări folosesc o varietate de tactici, inclusiv detectarea adâncimii, întreruperea regularității video, variații în iluminarea monitorului (în apelurile video live potențial falsificate), trăsături biometrice, regiunile feței exterioare, Și chiar puteri ascunse a sistemului subconștientului uman.

Ceea ce au în comun aceste metode și metode similare este că, în momentul în care sunt implementate, mecanismele centrale cu care se luptă au fost deja antrenate cu succes pe mii sau sute de mii de imagini răzuite de pe web - imagini din care sistemele de codificare automată pot obțineți cu ușurință caracteristici cheie și creați modele care pot impune cu acuratețe o identitate falsă în filmările video sau imaginile sintetizate – chiar și in timp real.

Pe scurt, până în momentul în care astfel de sisteme sunt active, calul s-a înșurubat deja.

Imagini care sunt ostile arhitecturilor Deepfake/Synthesis

Cu titlu de mai mult preventiv atitudinea față de amenințarea deepfake-urilor și a sintezei de imagini, o direcție mai puțin cunoscută de cercetare în acest sector implică posibilitățile inerente în realizarea tuturor acestor fotografii sursă. neprietenos către sistemele de sinteză a imaginilor AI, de obicei în moduri imperceptibile sau abia perceptibile.

Exemplele includ FakeTagger, o propunere din 2021 de la diverse instituții din SUA și Asia, care codifică mesajele în imagini; aceste codificări sunt rezistente la procesul de generalizare și pot fi recuperate ulterior chiar și după ce imaginile au fost răzuite de pe web și antrenate într-o rețea generativă adversară (GAN) de tipul cel mai faimos încorporat de thispersondoesnotexist.com și numeroase derivate.

FakeTagger codifică informații care pot supraviețui procesului de generalizare atunci când antrenează un GAN, făcând posibil să se știe dacă o anumită imagine a contribuit la capacitățile generative ale sistemului. Sursă: https://arxiv.org/pdf/2009.09869.pdf

Pentru ICCV 2021, a fost instituit, de asemenea, un alt efort internațional amprente artificiale pentru modele generative, (vezi imaginea de mai jos) care produce din nou „amprente” recuperabile de la ieșirea unui GAN de sinteză a imaginii, cum ar fi StyleGAN2.

Chiar și sub o varietate de manipulări extreme, decupări și schimbare a feței, amprentele digitale trecute prin ProGAN rămân recuperabile. Sursă: https://arxiv.org/pdf/2007.08457.pdf

Alte iterații ale acestui concept includ a Proiect 2018 de la IBM și a schema de filigran digital în același an, din Japonia.

Mai inovator, un 2021 inițiativă de la Universitatea de Aeronautică și Astronautică din Nanjing au căutat să „cripteze” imaginile de antrenament în așa fel încât să se antreneze eficient doar pe sisteme autorizate, dar să eșueze catastrofal dacă sunt folosite ca date sursă într-un canal de antrenament generic pentru sinteza de imagini.

Efectiv, toate aceste metode se încadrează în categoria steganografiei, dar în toate cazurile informațiile unice de identificare din imagini trebuie să fie codificate ca o „trăsătură” esențială a unei imagini, încât să nu existe șansa ca un autoencoder sau o arhitectură GAN să renunțe la o astfel de caracteristică. amprentele digitale ca „zgomot” sau date aberante și neesențiale, ci mai degrabă le vor codifica împreună cu alte trăsături faciale.

În același timp, procesul nu poate fi lăsat să distorsioneze sau să afecteze vizual imaginea atât de mult încât să fie percepută de telespectatorii ocazionali ca având defecte sau ca fiind de calitate scăzută.

TAFIM

Acum, un nou efort de cercetare german (de la Universitatea Tehnică din München și Sony Europe RDC Stuttgart) a propus o tehnică de codificare a imaginilor prin care modelele deepfake sau cadrele de tip StyleGAN care sunt antrenate pe imagini procesate vor produce rezultate inutilizabile albastre sau, respectiv, alb. .

Perturbațiile la nivel scăzut ale imaginii TAFIM abordează mai multe tipuri posibile de distorsiune/substituție a feței, forțând modelele antrenate pe imagini să producă o ieșire distorsionată și sunt raportate de autori ca fiind aplicabile chiar și în scenarii în timp real, cum ar fi streaming-ul deepfake în timp real al DeepFaceLive. . Sursă: https://arxiv.org/pdf/2112.09151.pdf

hârtie, intitulat TAFIM: Atacurile adverse țintite împotriva manipulării imaginilor faciale, folosește o rețea neuronală pentru a codifica perturbații abia perceptibile în imagini. După ce imaginile sunt antrenate și generalizate într-o arhitectură de sinteză, modelul rezultat va produce o ieșire decolorată pentru identitatea de intrare dacă este utilizat fie în amestecarea stilului, fie în schimbarea simplă a feței.

Re-codificarea Web-ului...?

Cu toate acestea, în acest caz, nu suntem aici pentru a examina detaliile și arhitectura celei mai recente versiuni a acestui concept popular, ci mai degrabă pentru a lua în considerare caracterul practic al întregii idei - în special în lumina controversei tot mai mari cu privire la utilizarea publicului- imagini răzuite pentru a alimenta cadrele de sinteză a imaginilor, cum ar fi Difuzie stabilă, și implicațiile juridice ulterioare în aval ale software comercial derivat din conținut care se poate dovedi în cele din urmă (cel puțin în unele jurisdicții) a avea protecție legală împotriva ingerării în arhitecturile de sinteză AI.

Abordările proactive, bazate pe codificare, de tipul descris mai sus, au costuri deloc mici. Cel puțin, acestea ar implica instituirea unor rutine de compresie noi și extinse în biblioteci standard de procesare bazate pe web, cum ar fi ImageMagick, care alimentează un număr mare de procese de încărcare, inclusiv multe interfețe de încărcare pe rețelele sociale, însărcinate cu convertirea imaginilor originale de utilizator supradimensionate în versiuni optimizate care sunt mai potrivite pentru partajarea ușoară și distribuția în rețea și, de asemenea, pentru efectuarea transformărilor, cum ar fi decupările și alte augmentari.

Întrebarea principală pe care aceasta o ridică este: o astfel de schemă ar fi implementată „în viitor” sau ar fi intenționată o implementare mai largă și retroactivă, care se adresează mass-mediei istorice care ar fi putut fi disponibile, „necoruptă”, de decenii?

Platforme precum Netflix sunt nu advers în detrimentul re-codării unui catalog din spate cu codecuri noi care ar putea fi mai eficiente sau ar putea oferi în alt mod beneficii utilizatorului sau furnizorului; de asemenea, conversia de către YouTube a conținutului său istoric în codecul H.264, aparent pentru a găzdui Apple TV, o sarcină monumentală din punct de vedere logistic, nu a fost considerată prohibitiv de dificilă, în ciuda amplorii.

În mod ironic, chiar dacă mari porțiuni de conținut media de pe internet ar fi supuse recodării într-un format care rezistă antrenamentului, un număr limitat de seturi de date influente de viziune computerizată ar rămâne neafectat. Cu toate acestea, probabil, sistemele care le folosesc ca date în amonte ar începe să scadă în calitatea ieșirii, deoarece conținutul cu filigran ar interfera cu procesele de transformare ale arhitecturilor.

Conflict politic

În termeni politici, există o tensiune aparentă între hotărârea guvernelor de a nu rămâne în urmă în dezvoltarea IA și de a face concesii față de preocuparea publicului cu privire la utilizarea ad-hoc a conținutului audio, video și imagine disponibil în mod deschis pe internet ca o resursă abundentă. pentru sisteme AI transformatoare.

Oficial, guvernele occidentale sunt înclinate spre clemență în ceea ce privește capacitatea sectorului de cercetare a vederii computerizate de a utiliza mass-media disponibile publicului, nu în ultimul rând pentru că unele dintre țările asiatice mai autocratice au o marjă de manevră mult mai mare pentru a-și modela fluxurile de lucru de dezvoltare într-un mod care beneficiază propriile eforturi de cercetare – doar unul dintre factorii care sugerează că China devine lider global în IA.

În aprilie 2022, Curtea de Apel din SUA afirmată că datele web destinate publicului sunt un joc corect în scopuri de cercetare, în ciuda protestelor continue ale LinkedIn, care dorește profilurile sale de utilizator să fie protejate de astfel de procese.

Dacă imaginile rezistente la IA nu vor deveni, prin urmare, un standard la nivel de sistem, nimic nu poate împiedica unele dintre sursele majore de date de instruire să implementeze astfel de sisteme, astfel încât propria lor producție devine neproductivă în spațiul latent.

Factorul esențial în astfel de implementări specifice companiei este că imaginile ar trebui să fie rezistent în mod natural la antrenament. Tehnici de proveniență bazate pe blockchain și mișcări precum Inițiativa de autenticitate de conținut, sunt mai preocupați să demonstreze că imaginile au fost falsificate sau „styleGANned”, mai degrabă decât să prevină mecanismele care fac posibile astfel de transformări.

Inspecție ocazională

În timp ce au fost înaintate propuneri de utilizare a metodelor blockchain pentru a autentifica adevărata proveniență și aspectul unei imagini sursă care ar fi putut fi ingerată ulterior într-un set de date de instruire, acest lucru nu împiedică în sine formarea imaginilor și nici nu oferă vreo modalitate de a dovedi, din rezultatul unor astfel de sisteme, că imaginile au fost incluse în setul de date de antrenament.

Într-o abordare de filigranare a excluderii imaginilor de la instruire, ar fi important să nu se bazeze pe imaginile sursă ale unui set de date influent care sunt disponibile public pentru inspecție. Ca raspuns la strigătele artiştilor despre asimilarea liberală a muncii lor de către Stable Diffusion, site-ul haveibeentrained.com permite utilizatorilor să încarce imagini și să verifice dacă este probabil să fi fost incluse în LAION5B setul de date care alimentează Stable Diffusion:

„Lenna”, literalmente fata posterului pentru cercetarea vederii computerizate până de curând, este cu siguranță o contribuție la Stable Diffusion. Sursa: https://haveibeentrained.com/

Cu toate acestea, aproape toate seturile de date tradiționale deepfake, de exemplu, sunt extrase întâmplător din videoclipuri și imagini extrase de pe internet, în baze de date non-publice în care doar un fel de filigranare rezistentă neuronal ar putea expune utilizarea unor imagini specifice pentru a crea imaginile derivate. și video.

În plus, utilizatorii Stable Diffusion încep să adauge conținut – fie prin reglare fină (continuând antrenamentul punctului de control al modelului oficial cu perechi suplimentare imagine/text) sau Textual Inversion, care adaugă un anumit element sau persoană – care nu va apărea în niciun fel. caută prin miliardele de imagini ale LAION.

Încorporarea filigranelor la sursă

O aplicație potențială și mai extremă a filigranului imaginii sursă este includerea informațiilor ascunse și neevidente în rezultatul de captare brută, video sau imagini, a camerelor comerciale. Deși conceptul a fost experimentat și chiar implementat cu oarecare vigoare la începutul anilor 2000, ca răspuns la „amenințarea” emergentă a pirateriei multimedia, principiul este aplicabil din punct de vedere tehnic și în scopul de a face conținutul media rezistent sau respingător la instruirea învățării automate. sisteme.

O implementare, propusă într-o cerere de brevet de la sfârșitul anilor 1990, a propus utilizarea Transformări discrete de cosinus pentru a încorpora „subimagini” steganografice în imagini video și statice, sugerând că rutina ar putea fi „încorporată ca o caracteristică încorporată pentru dispozitivele de înregistrare digitală, cum ar fi camerele statice și video”.

Într-o cerere de brevet de la sfârșitul anilor 1990, Lenna este impregnată cu filigrane oculte care pot fi recuperate după cum este necesar. Sursa: https://www.freepatentsonline.com/6983057.pdf

O abordare mai puțin sofisticată este de a impune imagini clar vizibile pe imagini la nivel de dispozitiv – o caracteristică care nu este atrăgătoare pentru majoritatea utilizatorilor și redundantă în cazul artiștilor și profesioniștilor media, care sunt capabili să protejeze datele sursă și să adauge astfel de branding sau interdicții după cum consideră de cuviință (nu în ultimul rând, companii de imagine de stoc).

Deși cel puțin o cameră în prezent permite impunerea opțională de filigran pe bază de logo care ar putea semnalează utilizarea neautorizată într-un model AI derivat, eliminarea logo-ului prin AI devine destul de banal, Și chiar comercializat întâmplător.

Publicat prima dată pe 25 septembrie 2022.