Andersonin kulma
Tutkijat tunnistavat deepfake-videoiden kestävän tunnuspiirteen, joka voi auttaa pitkäaikaisessa tunnistuksessa

Keskeiset kohdatSyväväärennösten säännönmukaisuuden häiriö tarjoaa havaitsemissignaalin, joka kestää…
Näytä lisää
- Syväväärennösten säännönmukaisuuden häiriö tarjoaa havaitsemissignaalin, joka kestää synteesitekniikan parannuksia.
- P-fake-generaattorimoduuli muuntaa todelliset videot valesyväväärennöksiksi kouluttaakseen havaitsimia ilman oikeita syväväärennösdataa.
- Poikkitietoaineistotestit osoittavat menetelmän ylittävän huipputason havaitsemisen jopa 10 prosenttiyksiköllä Deepwild-aineistossa.
Sitä lähtien, kun varhaisimmat deepfake-väärennösten havaitsemisratkaisut alkoivat ilmestyä vuonna 2018, tietokoneen näkö- ja turvallisuustutkimusala on pyrkinyt määrittämään olennaisen ominaisuuden deepfake-videoista – signaaleja, jotka voisivat osoittautua kestäviksi kasvojen synteesitekniikoiden parannuksista huolimatta (kuten autoencoder-pohjaisissa deepfake-ohjelmistopaketeissa, kuten DeepFaceLab ja FaceSwap, ja generatiivisten kilpailevien verkkojen käytössä ihmiskasvojen uudelleenluomiseen, simuloimiseen tai muuttamiseen).
Monet “merkit”, kuten räpytämättömyys, ovat jääneet tarpeettomiksi deepfake-väärennösten parantumisen myötä, kun taas digitaalisten alkuperätekniikoiden, kuten Adoben johtaman Content Authenticity Initiative käytön mahdollistavia menetelmiä, kuten blockchain-lähestymistapoja ja digitaalisten vesileimojen käyttöä mahdollisista lähdekuvaista, edellyttävät laajoja ja kalliita muutoksia olemassa olevaan internetin kuvamateriaaliin tai merkittävää yhteistyötä maiden ja hallitusten välillä valvonta- ja todennusjärjestelmien luomiseksi.
Olisi siis erittäin hyödyllistä, jos todella perustavanlaatuinen ja kestävä ominaisuus voitaisiin havaita kuvissa ja videoissa, joissa on muutettuja, keksittyjä tai identiteetin vaihdettuja kasvoja; ominaisuus, joka voitaisiin johtaa suoraan väärennettyjen videoista ilman laajaa vahvistusta, digitaalisen aineiston kryptografista tiivistämistä, kontekstintarkastelua, uskottavuuden arviointia, artifact-keskeisiä havaitsemisruutineja tai muita raskaita lähestymistapoja deepfake-väärennösten havaitsemiseen.
Deepfake-väärennökset kehyksessä
Uusi tutkimusyhteistyö Kiinan ja Australian välillä uskoo, että he ovat löytäneet tämän “pyhän graalin” säännöllisyyden häiriintymisen muodossa.
Tutkijat ovat kehittäneet menetelmän, jolla vertaillaan aitojen videojen alueellista eheyttä ja ajallista jatkuvuutta niihin, jotka sisältävät deepfake-väärennösten sisältöä, ja he ovat havainneet, että mikä tahansa deepfake-muokkaus rikkoo kuvan säännöllisyyden, olkoon se kuinka huomaamaton tahansa.
Tämä johtuu osittain siitä, että deepfake-väärennösten prosessi purkaa kohdevideon kehyksiin ja soveltaa koulutetun deepfake-väärennösten mallin vaikutusta jokaiseen (korvattuun) kehykseen. Suositut deepfake-väärennösten jakelut toimivat samalla tavalla kuin animaattorit, ja ne antavat enemmän huomiota jokaisen kehyksen aitouden kuin kehyksen osallistumisen koko videon alueelliseen eheyteen ja ajalliseen jatkuvuuteen.

Tutkimuksesta: A) Erojen välillä. Tässä nähdään, miten p-fake-häiriöt muuttavat kuvan alueellista ja ajallista laatua samalla tavalla kuin deepfake-väärennöskin, ilman identiteetin vaihtamista. B) Kohina-analyysi kolmesta tietotyyppiä, osoittaa, miten p-fake jäljittelee deepfake-väärennösten häiriintymistä. C) Ajallinen visualisointi kolmesta tietotyyppiä, jossa aito data osoittaa suuremman eheyttyneisyyden muutoksissa. D) T-SNE-visualisointi erotetuista piirteistä aito, väärennetty ja p-fake-videoille. Lähde: https://arxiv.org/pdf/2207.10402.pdf
Tämä ei ole tapa, jolla videokooderi käsittelee kehyksiä, kun alkuperäinen tallenne tehdään tai prosessoidaan. Tiedostokoon pienentämiseksi tai tehdessä videota striimaukseen sopivaksi, videokooderi hylkää valtavan määrän tietoa. Jopa korkeilla laatuasetuksilla kooderi varaa avainkehykset (muuttuja, jonka käyttäjä voi asettaa) – kokonaiset, käytännössä pakkaamattomat kuvat, jotka esiintyvät videossa ennalta määritellyin väliajoin.
Avainkehysten väliset kehykset arvioidaan osittain muiden kehysten muunnelmiksi, ja ne hyödyntävät mahdollisimman paljon viereisten avainkehysten tietoja sen sijaan, että olisivat itsenäisiä kokonaisia kehyksiä.

Vasemmalla on täydellinen avainkehys, tai ‘i-kehys’, joka tallennetaan pakattuun videoon, jossa on tietty kustannus tiedostokoolle; oikealla on välikehys, joka hyödyntää uudelleen tietorikkaamman avainkehyksen soveltuvia osia. Lähde: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/
Tässä mielessä lohko (joka sisältää x määrän kehyksiä, riippuen avainkehyksen asetuksista) on kiistatta pienin yksikkö, jota tyypillisessä pakatussa videossa pidetään, eikä yksittäinen kehys ole sitä. Jopa avainkehys itsessään, joka tunnetaan i-kehyksenä, muodostaa osan siitä yksiköstä.
Perinteisen animaatioanimaation kannalta kooderi suorittaa tietynlaista välikuvien muodostamista, jossa avainkehykset toimivat teltan keppinä välikehysille, jotka ovat johdettuja kehyksiä, tunnettuja delta-kehyksinä.

Toisin sanoen deepfake-kuvan päällekkäisasettelu omistaa valtavat resurssit jokaiselle yksittäiselle kehykselle, eikä ottaa huomioon kehyksen laajempaa asiayhteyttä eikä siitä, miten pakkaus ja lohkopohjainen koodaus vaikuttavat “aidon” videon ominaisuuksiin.

Lähempi katsaus ajallisen laadun epäjatkuvuuteen aidossa videossa (vasemmalla) ja samassa videossa, jossa on häiriintynyt deepfake-väärennöksellä (oikealla).
Vaikka jotkut taitavimmista deepfake-tekijöistä käyttävät laajaa jälkikäsittelyä, kuten After Effects -paketteja, ja vaikka DeepFaceLab-jakeluilla on jotkin alkuperäiset ominaisuudet soveltamaan “sekoittamis”-menettelyjä, kuten liikkeen sumennus, tällainen taituruus ei vaikuta aitojen ja deepfake-väärennösten videoiden väliseen alueellisen ja ajallisen laadun eroihin.
Uusi tutkimus on nimeltään Deepfake-väärennösten havaitseminen luomalla avaruudellista ja ajallista säännöllisyyden häiriintymistä, ja se tulee Tsinghua-yliopistosta, Baidu Inc. (BIDU ):n tietokoneen näkötekniikan osastolta (VIS) ja Melbournen yliopistosta.
‘Väärät’ Väärät Videot
Tutkijat, jotka ovat tehneet tutkimuksen, ovat sisällyttäneet tutkimuksen toiminnallisuuden moduliin, jota kutsutaan Pseudo-fake Generatoriksi (P-fake Generator), joka muuttaa aitoja videoita väärän deepfake-väärennösten videoiksi, häiritsemällä niitä samalla tavalla kuin itse deepfake-väärennösten prosessi, ilman varsinaista deepfake-väärennösten suorittamista.
Kokeet osoittavat, että moduuli voidaan lisätä kaikkiin olemassa oleviin deepfake-väärennösten havaitsemisjärjestelmiin käytännössä ilman lisäresurssikustannuksia, ja se parantaa merkittävästi niiden suorituskykyä.
Tämä löytö voi auttaa ratkaisemaan yhtä deepfake-väärennösten havaitsemistutkimuksen esteitä: aitojen ja ajantasaisen tietoaineistojen puutetta. Koska deepfake-väärennösten luominen on monimutkainen ja aikaa vievä prosessi, yhteisö on kehittänyt useita deepfake-väärennösten tietoaineistoja viiden viime vuoden aikana, joista monet ovat melko vanhentuneita.
Erottamalla säännöllisyyden häiriintyminen deepfake-menetelmästä riippumattomaksi signaaliksi videoissa, joita on muokattu jälkikäteen, uusi menetelmä mahdollistaa rajattomien näyte- ja tietoaineistovideoiden luomisen siten, että ne kohdistuvat tähän deepfake-väärennösten piirteeseen.

STE-lohkon yleiskatsaus, jossa kanavakohtainen ajallinen konvoluutio käytetään syötteenä luomaan avaruudellisesti ja ajallisesti vahvistettuja koodauksia, joista syntyy sama allekirjoitus, jonka jopa erittäin vakuuttava deepfake-väärennös antaa. Tällä menetelmällä voidaan luoda ‘väärät’ väärät videot, jotka sisältävät samat allekirjoitusominaisuudet kuin mikä tahansa muutettu, deepfake-väärennösten tyylinen video, eivätkä riipu erityisistä jakeluista tai volatiilista ominaisuuksista, kuten piirteiden käyttäytymisestä tai algoritmisista artefakteista.
Kokeet
Tutkijat suorittivat kokeita kuudella merkittävällä tietoaineistolla, joita käytetään deepfake-väärennösten havaitsemistutkimuksessa: FaceForensics++ (FF++); WildDeepFake; Deepfake-väärennösten havaitsemisen haasteen esikatselu (DFDCP); Celeb-DF; Deepfake-väärennösten havaitseminen (DFD); ja Face Shifter (FSh).
FF++:n kohdalla tutkijat kouluttivat mallinsa alkuperäisellä tietoaineistolla ja testasivat jokaista neljää alatietoaineistoa erikseen. Ilman deepfake-väärennösten materiaalin käyttöä koulutuksessa uusi menetelmä ylitti aiemmat huipputulokset.

Menetelmä saavutti myös pole position, kun se vertailtiin FF++ C23 -pakkaukseen, joka tarjoaa esimerkkejä, joissa on sellaisia pakkausartefakteja, jotka ovat uskottavia todellisissa deepfake-väärennösten katseluympäristöissä.

Tutkijat kommentoivat:
‘Suoritukset FF++:ssa vahvistavat ideamme toteuttamiskelpoisuuden, kun taas yleistettävyys on edelleen suuri ongelma olemassa olevissa deepfake-väärennösten havaitsemismenetelmissä, koska suorituskyky ei ole taattu, kun testataan deepfake-videoilla, jotka on luotu koulutuksessa ennennäkemättömillä menetelmillä.
‘Lisäksi, kun otetaan huomioon havainto- ja väärentämisen välinen kilpailu, yleistettävyys on tärkeä kriteeri arvioida havaitsemismenetelmän tehokkuutta todellisissa olosuhteissa.’
Koska tutkijat suorittivat useita alikokeita (ks. tutkimus yksityiskohtaisista tiedoista) “robustisuudesta” ja vaihdellen syötteen videoita (ts. aito, väärä, p-fake jne.), mielenkiintoisimmat tulokset ovat tietoaineistojen välisen suorituskyvyn testit.
Tässä tutkijat kouluttivat mallinsa mainitun “todellisen maailman” C23 -version FF++:sta ja testasivat sitä neljää tietoaineistoa vastaan, saavuttaen, kuten tutkijat sanovat, paremman suorituskyvyn kaikissa niissä.

Tulokset tietoaineistojen välisen haasteesta. Tutkimus toteaa, että SBI käyttää samankaltaista lähestymistapaa kuin tutkijoiden oma, kun taas p-fake-näyttää parempaa suorituskykyä avaruudellisessa ja ajallisessa säännöllisyyden häiriintymisessä.
Tutkimus toteaa:
‘Deepwildissä menetelmämme ylittää SOTA-menetelmän noin 10 prosenttiyksiköllä AUC-prosentteina. Uskomme, että tämä johtuu deepfake-väärennösten suuresta monimuotoisuudesta Deepwildissä, mikä tekee muut menetelmät epäonnistuviksi yleistettävyyden suhteen.’
Mittareina kokeissa käytettiin Tarkkuusarvoa (ACC), ROC-käyrän alle jäävää pinta-alaa (AUC) ja yhtäsuurten virheosuuksien kohtaa (EER).
Vastahyökkäykset?
Vaikka media kuvailee jännitettä deepfake-väärennösten kehittäjien ja deepfake-väärennösten havaitsemistutkijoiden välillä teknologisena sodana, on perusteltua väittää, että ensin mainitut yrittävät vain luoda vakuuttavampaa ulostuloa, ja että lisääntynyt deepfake-väärennösten havaitsemisen vaikeus on sivutuote heidän pyrkimyksistään.
On mahdollista, että kehittäjät yrittävät korjata tämän uuden paljastuneen heikkouden, jos he katsovat, että säännöllisyyden häiriintyminen voidaan havaita deepfake-väärennösvideossa paljain silmin epäaidon merkkinä, ja että tämä mittari on arvokas puhtaasti laadullisesta näkökulmasta.
Vaikka viisi vuotta on kulunut siitä, kun ensimmäiset deepfake-väärennökset tulivat verkossa julki, deepfake-väärennös on edelleen suhteellisen nuori teknologia, ja yhteisö on kiinnostunut yksityiskohtaisuudesta ja resoluutiosta kuin oikeasta asiayhteydestä tai vastaamisesta pakatun videon allekirjoituksista, jotka vaativat tietynlaista “heikentymistä” ulostulosta – juuri sitä, mitä koko deepfake-väärennösyhteisö kamppailee vastaan.
Jos yleinen konsensus osoittautuu sille, että säännöllisyyden häiriintyminen on nuori allekirjoitus, joka ei vaikuta laatuun, ei ehkä ole pyrkimyksiä korvata sitä – vaikka se voi olla “peruutettu” jollain jälkikäsittely- tai arkkitehtuurimenetelmillä, mikä on kaukana selvyydestä.
Julkaistu ensimmäisen kerran 22. heinäkuuta 2022.












