Syvää kuvia vastaan deepfake- ja kuvansynteesijärjestelmiä vastaan

Tutkimuksen johtava suunta kasvavassa vastadeepfake-tutkimuksessa käsittelee järjestelmiä, jotka voivat tunnistaa deepfakeden, syntetisoiden tai muuten väärennettyjen tai “editoiden” kasvojen ominaispiirteitä videossa ja kuvissa.

Nämä lähestymistavat käyttävät erilaisia taktiikoita, mukaan lukien syvyyden havaitseminen, videon säännöllisyyden häiritseminen, muutokset näytön valaistuksessa (mahdollisesti deepfaked live-videopuheluiden yhteydessä), biometriset ominaisuudet, kasvojen ulkopuoliset alueet ja jopa ihmisen alitajunnan piilevät voimat.

Näillä menetelmillä ja vastaavilla on yhteistä se, että kun ne otetaan käyttöön, keskeiset mekanismit, joita ne taistelevat, ovat jo onnistuneesti koulutettu tuhansilla tai jopa sadoilla tuhansilla verkosta poimittuilla kuvilla – kuvilla, joista autoenkooderijärjestelmät voivat helposti johtaa avainominaisuuksia ja luoda malleja, jotka voivat asettaa väärän identiteetin videomateriaaliin tai syntetisoituun kuvaan – jopa reaaliajassa.

Lyhyesti sanottuna, kun nämä järjestelmät ovat aktiivisia, hevonen on jo karannut.

Kuvat, jotka ovat vihamielisiä deepfake/synteesirakenteille

Vastadeepfake-uhkaan vastaava, vähemmän tunnettu tutkimussuunta tässä alalla käsittelee mahdollisuuksia kaikkien näiden lähdevalokuvien “epäystävällistämiseksi” AI-kuvansynteesijärjestelmille, yleensä havaitsemattomalla tai vain hieman havaittavalla tavalla.

Esimerkkejä ovat FakeTagger, joka on vuoden 2021 ehdotus useista Yhdysvaltain ja Aasian instituutioista, joka koodaa viestejä kuviin; nämä koodaukset kestävät yleistämisen prosessia, ja niitä voidaan palauttaa jopa sen jälkeen, kun kuvat on poimittu verkosta ja koulutettu generatiiviseen vastakkainasettelumalliin (GAN), kuten thispersondoesnotexist.com ja sen lukuisat johdannaiset.

FakeTagger koodaa tietoa, joka voi selviytyä yleistämisen prosessista, kun koulutetaan GAN:ia, mikä mahdollistaa tietyn kuvan osallistumisen järjestelmän generatiivisiin kykyihin. Lähde: https://arxiv.org/pdf/2009.09869.pdf

ICCV 2021:lle tehtiin toinen kansainvälinen ponnistus, joka perustui taiteen keinotekoisille sormenjäljille generatiivisille malleille, (ks. kuva alla) jotka tuottavat palautettavissa olevat “sormenjäljet” kuvansynteesi-GAN:n tulosteesta, kuten StyleGAN2:sta.

Jopa äärimmäisen manipuloinnin, leikkaamisen ja kasvojen vaihdon alla sormenjäljet, jotka välitetään ProGAN:in kautta, voidaan palauttaa. Lähde: https://arxiv.org/pdf/2007.08457.pdf

Muita tämän konseptin mukaisia toteutuksia ovat IBM:n vuoden 2018 hanke ja Japanin vuoden 2018 digitaalinen vesileimatutkimus.

Lisäksi vuoden 2021 aloite Nanjingin ilmailu- ja avaruusyliopistosta pyrki “salakirjoittamaan” koulutuskuvaan siten, että ne koulutettaisivat vain valtuutetuilla järjestelmillä, mutta epäonnistuisivat täysin, jos niitä käytettäisiin yleisessä kuvansynteesikoulutusputkessa.

Näistä menetelmistä kaikki kuuluvat steganografiaan, mutta kaikissa tapauksissa kuvissa oleva yksilöivä tunnistetieto on koodattava sellaisena kuvan “ominaisuutena”, jota autoenkooderijärjestelmä tai GAN-rakenne ei voi hävittää “meluna” tai epäolennaisena datana, vaan koodaa sen muiden kasvojen piirteiden kanssa.

Samaan aikaan prosessi ei saa vääristää tai muuttaa kuvaa siten, että se näyttää sattumanvaraisille katsojille vialliselta tai huonolaatuiselta.

TAFIM

Nyt uusi saksalainen tutkimus (Teknillinen yliopisto Münchenistä ja Sony Europe RDC Stuttgart) on ehdottanut kuvakoodausmenetelmää, jossa deepfake-mallit tai StyleGAN-tyyppiset kehykset, jotka on koulutettu käsitellyistä kuvista, tuottavat käyttökelvotonta sinistä tai valkoista tulostetta.

TAFIM:n matalan tason kuvan häiriöt vastaavat useita mahdollisia kasvojen vääristymisiä/korvaamisia, pakottaen mallit tuottamaan vääristyneitä tulosteita, ja sen on ilmoitettu olevan sovellettavissa jopa reaaliaikaisissa tilanteissa, kuten DeepFaceLiven reaaliaikaisessa deepfake-suoratoistossa. Lähde: https://arxiv.org/pdf/2112.09151.pdf

Artikkeli, joka on otsikoitu TAFIM: Kohdennetut vastakkainasettelut kasvojen kuvamanipulaatioita vastaan, käyttää neuroverkkoa koodaamaan havaitsemattomia häiriöitä kuviin. Kun kuvat on koulutettu ja yleistetty synteesirakenteeseen, tulokseksi saadaan malli, joka tuottaa epäkunnossa olevan tulosteen, jos sitä käytetään joko tyylin sekoittamisessa tai suorassa kasvojen vaihdossa.

Verkon uudelleenkoodaus..?

Kuitenkin tässä tapauksessa emme ole täällä tutkimassa viimeisimmän tämän suositun konseptin yksityiskohtia, vaan sen käytännöllisyyttä – erityisesti valossa kasvavaa kiistaa julkisesti poimittujen kuvien käytöstä kuvansynteesikehyksissä, kuten Stable Diffusion, ja sitä seuraavaa oikeudellista vaikutusta kaupallisen ohjelmiston kehittämisestä sisällöstä, joka saattaa (ainakin joissakin yhteyksissä) lopulta osoittautua oikeudellisesti suojatuksi syötteeksi AI-synteesirakenteisiin.

Proaktiiviset, koodausperusteiset lähestymistavat, joita on kuvattu yllä, tulevat kalliiksi. Ainakin ne vaativat uusien ja laajennettujen pakkausohjelmien ottamista käyttöön verkkopohjaisiin prosessikirjastoihin, kuten ImageMagick, jotka ohjaavat suuren määrän latausprosesseja, mukaan lukien monet sosiaalisen median latausliittymät, jotka muuntavat alkuperäisten käyttäjien ylikokoiset kuvat optimoituiksi versioiksi, jotka soveltuvat kevyelle jakamiselle ja verkkolevitykselle, ja myös vaikuttavat muunnoksiin, kuten leikkaamiseen ja muihin muokkauksiin.

Primäärinen kysymys, jota tämä herättää, on: toteutettaisiinko tällainen skeema “eteenpäin”, vai olisiko laajempi ja retrospektiivinen käyttöönotto tarkoitusperä, joka kohdistuu historiallisiin medioihin, jotka saattavat olla olleet saatavilla “särkemättöminä” vuosikymmenien ajan?

Alustat, kuten Netflix, eivät ole vastahakoisia kustannuksista, jotka liittyvät vanhan valikoiman uudelleenkoodaukseen uusilla koodekeilla, jotka saattavat olla tehokkaampia tai tarjoavat käyttäjille tai tarjoajille etuja; samoin YouTube:n muutos historiallisesta sisällöstään H.264-koodeksiin, ilmeisesti Apple TV:n vuoksi, oli logistisesti monumentaalinen tehtävä, jota ei kuitenkaan pidetty esteettömänä, vaikka sen mittakaava oli suuri.

Ironisesti, vaikka suuri osa median sisällöstä internetissä saattaisi tulla alttiiksi uudelleenkoodaukselle vastustamaan koulutusta, rajoitettu ryhmä vaikutusvaltaisia tietokoneen näön aineistoja jäisi vaikuttamattomaksi. Kuitenkin järjestelmät, jotka käyttävät niitä ylävirran datana, alkaisivat heikentää tulosteen laadussa, koska vesileimattu sisältö häiritsisi arkkitehtuurien muunnosprosesseja.

Politiikka

Politiikassa on ilmeinen jännite hallitusten pyrkimyksen ja sitoutumisen välillä olla jäljessä AI-kehityksessä ja myöntää myönnytyksiä julkisen huolen aiheuttajana avoimesti saatavilla olevan ääni-, video- ja kuvamateriaalin käytölle internetissä muunneltavien AI-järjestelmien runsaana resurssina.

Virallisesti länsimaiset hallitukset suhtautuvat myöntymällisesti tietokoneen näön tutkimuksen alalle, joka voi hyödyntää julkisesti saatavilla olevaa mediaa, koska jotkut Aasian autoritaariset maat ovat paljon vapaampia muokkaamaan kehitystyönsä hyödyksi omia tutkimuspyrkimyksiään – yksi tekijöistä, jotka viittaa siihen, että Kiina on kehittymässä maailman johtavaksi AI-maaksi.

Huhtikuussa 2022 Yhdysvaltain valitustuomioistuin vahvisti, että julkisesti saatavilla olevat verkkotiedot ovat tutkimuksen kannalta reilua peliä, LinkedInin jatkuvaan vastalauseista huolimatta, joka toivoo, että sen käyttäjäprofiilit olisivat suojattu tällaisilta prosesseilta.

Jos AI-vastaisia kuvia ei tehdä järjestelmänlaajuisiksi, mitään ei estä joitakin tärkeimmistä koulutusdatan lähteistä ottamasta käyttöön tällaisia järjestelmiä, jotta heidän tuotoksensa tulisivat tuottamattomiksi latenttilaissa.

Olennainen tekijä näissä yrityskohtaisissa käyttöönotoissa on, että kuvat on tehtävä luonnostaan vastustuskykyisiksi koulutukselle. Blockchain-pohjaiset alkuperäisyystekniikat ja liikkeet, kuten Sisällön alkuperäisyyden aloite, ovat enemmän kiinnostuneita osoittamaan, onko kuva väärennetty tai “tyyli-GAN”, eivätkä estä mekanismeja, jotka mahdollistavat tällaiset muunnokset.

Epävirallinen tarkastelu

Vaikka on ehdotettu käytettäväksi blockchain-menetelmiä todistamaan alkuperäisen lähdekuvan todellista alkuperää ja ulkonäköä, joka on myöhemmin sisällytetty koulutusaineistoon, tämä ei itsessään estä kuvien koulutusta tai tarjoa mitään keinoa osoittaa, että kuvat sisällytetään koulutusaineistoon.

Kuvien vesileimauksessa olisi tärkeää ei riippua lähdekuvien saatavilla olosta vaikutusvaltaisille aineistoille. Vastauksena taiteilijoiden valituksiin Stable Diffusionin vapaasta työnsä käytöstä, verkkosivu haveibeentrained.com sallii käyttäjien ladata kuvia ja tarkistaa, onko niiden todennäköisesti sisällytetty LAION5B-aineistoon, joka mahdollistaa Stable Diffusionin:

Lenna, kirjaimellisesti tietokoneen näön tutkimuksen “juliste-tyttö” aina siihen saakka, kun se todella osallistui Stable Diffusioniin. Lähde: https://haveibeentrained.com/

Useimmat perinteiset deepfake-aineistot on kuitenkin etsitty ja poimittu videosta ja kuvista internetistä yksityisiin tietokantoihin, joissa vain jokin neurologisesti vastustuskykyinen vesileima voi paljastaa tietyn kuvan käytön johdannaisten kuvien ja videoiden luomiseen.

Lisäksi Stable Diffusion -käyttäjät alkavat lisätä sisältöä – joko virheenkorjaamalla (jatka virallisen mallin koulutusta lisäämällä kuva-/teksti-paria) tai tekstuaalisella käännöksellä, joka lisää yksittäisen elementin tai henkilön, jota ei voida löytää LAIONin miljardien kuvien joukosta.

Vesileimojen upottaminen lähteeseen

Vesileimojen lähdekuviin upottamisen äärimmäinen soveltamismahdollisuus on sisällyttää peitetyt ja epäselvät tiedot kaupallisten kamerojen raakavirtaukseen, videoihin ja kuviin. Vaikka tämä konsepti kokeiltiin ja jopa toteutettiin jonkin verran 2000-luvun alussa vastauksena “uhkaavaan” multimedia-piraattius, periaate on sovellettavissa myös tehdäkseen mediaa vastustuskykyiseksi koneoppimisen koulutusjärjestelmille.

Yksi toteutus, joka esitettiin patenttihakemuksessa 1990-luvun lopulla, ehdotti diskreetin kosinimuunnoksen käyttämistä steganografisten “alakuvien” upottamiseen videoihin ja kuvien, ehdottaen, että “tavara voisi olla sisällytetty valmiina ominaisuutena digitaalisiin tallennuslaitteisiin, kuten kiinteisiin ja videokameroihin”.

Patenttihakemuksessa 1990-luvun lopulla Lenna on varustettu okkulttisilla vesileimoilla, jotka voidaan palauttaa tarpeen mukaan. Lähde: https://www.freepatentsonline.com/6983057.pdf

Vähemmän sofistikoitunut lähestymistapa on asettaa selvästi näkyvät vesileimat kuviin laitteiston tasolla – ominaisuus, joka on epämiellyttävä useimmille käyttäjille ja tarpeeton ammattimaisille mediapraktikoitsijoille, jotka pystyvät suojaamaan lähdeaineiston ja lisäämään määräyksiä heidän halujensa mukaan (erityisesti osakekuvayhtiöt).

Vaikka ainakin yksi kamera sallii logon perusteella vesileiman asettamisen, joka voisi merkitä luvatonta käyttöä johdannaisessa AI-mallissa, logon poisto AI:lla on muodostunut melko helppoa ja jopa kaupallistettu.

Ensimmäinen julkaisu 25. syyskuuta 2022.