Pienet mutta merkittävät AI-muokkaukset todellisissa videoissa

Vuonna 2019 Yhdysvaltain edustajainhuoneen puhemies Nancy Pelosi oli kohteena kohdistettua ja melko vanhanaikaista deepfake-tyyppistä hyökkäystä, kun hänen todellista videotaan muokattiin tekemään hänestä humalainen – epätodellinen tapahtuma, jota jaettiin useita miljoonia kertoja ennen kuin totuus siitä selvisi (ja mahdollisesti jonkin verran vahinkoa hänen poliittiselle pääomalleen aiheutettiin niiden kautta, jotka eivät pysyneet tarinan mukana).

Vaikka tämä vääristäminen vaati vain jonkin verran yksinkertaista ääni- ja kuvamuokkausta, eikä mitään AI:ta, se on edelleen avainesimerkki siitä, miten pienet muutokset todellisessa ääni- ja kuvatuloksessa voivat olla tuhoisia.

Tuolloin deepfake-kenttä oli hallinnut autoencoder-pohjaiset kasvojen korvausjärjestelmät, jotka olivat debytoineet vuoden 2017 lopulla, eivätkä ne olleet merkittävästi parantuneet laadussa siitä lähtien. Tällaiset varhaiset järjestelmät olisivat kamppailleet luodakseen tällaisia pieniä mutta merkittäviä muutoksia tai seuraakseen realistisesti nykyisiä tutkimussuuntauksia, kuten esimerkiksi ilmeen muokkausta:

Viimeisimmän ‘Neural Emotion Director’ -kehyksen avulla voidaan muuttaa kuuluisan henkilön mielialaa. Lähde: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Asia on nyt hyvin erilainen. Elokuvateollisuus on vakavasti kiinnostunut todellisten esitysten jälkikäsittelymuokkauksista koneoppimismenetelmillä, ja AI:n mahdollistama post facto -täydellistäminen on jopa herättänyt vastustusta hiljattain.

Ennustamalla (tai väittäen) tämän kysynnän, kuvan ja videon synteesitutkimuksen ala on esittänyt laajan valikoiman projekteja, jotka tarjoavat “paikallisia muokkauksia” kasvojen kaappaamiseen, eikä niinkään korvausta: tällaisia projekteja ovat Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; ja DISCO, muun muassa.

Helmikuun 2025 projektissa MagicFace tehtiin ilmeenmuokkausta. Lähde: https://arxiv.org/pdf/2501.02260

Uudet kasvot, uudet ryppy

Kuitenkin kehittävät teknologiat kehittyvät paljon nopeammin kuin niiden havaitsemismenetelmät. Melkein kaikki deepfake-havaitsemismenetelmät, jotka ilmestyvät kirjallisuudessa, metsästävät eilisen deepfake-menetelmiä eilisen aineistojen kanssa. Viime viikkoihin asti kukaan heistä ei ollut kohdannut AI-järjestelmien piilevää potentiaalia luoda pieniä ja paikallisia muutoksia videoissa.

Nyt Intiasta on julkaistu uusi tutkimus, jossa esitetään järjestelmä, joka pyrkii tunnistamaan kasvot, jotka on muokattu (eivät korvattu) AI-pohjaisilla menetelmillä:

Hienojen paikallisten muokkausten havaitseminen deepfakeissa: Todellinen video muutetaan väärennöksi, jossa on hienoisia muutoksia, kuten kohotetut kulmakarvat, muutetut sukupuolipiirteet ja ilmeen muutokset inhon suuntaan (kuvattu yhdellä kehyksellä). Lähde: https://arxiv.org/pdf/2503.22121

Tutkijoiden järjestelmä on suunniteltu tunnistamaan deepfakeita, jotka sisältävät hienoisia, paikallisia kasvonmuokkauksia – toistaiseksi laiminlyötyä väärennystyyppi. Sen sijaan, että keskittyisivät globaaleihin epäjohdonmukaisuuksiin tai identiteetin epäilyyn, lähestymistapa kohdistuu hienoihin muutoksiin, kuten pieniin ilmeenmuutoksiin tai pieniin muutoksiin tiettyihin kasvonpiirteisiin.

Menetelmä hyödyntää Toimintayksiköiden (AUs) erottinta Kasvojen Ilmeen Koodausjärjestelmässä (FACS), joka määrittää 64 mahdollista yksittäistä muunneltavaa aluetta kasvoissa, jotka yhdessä muodostavat ilmeitä.

Jotkut FACS:n 64 ilmeen osasta. Lähde: https://www.cs.cmu.edu/~face/facs.htm

Tutkijat arvioivat lähestymistapaansa useiden viimeaikaisten muokkausmenetelmien kanssa ja raportoivat johdonmukaisia suoritusparannuksia sekä vanhemmissa aineistoissa että uudemmissa hyökkäysvektoreissa:

‘Käyttämällä AU-pohjaisia ominaisuuksia videoesitysten opettelussa Masked Autoencodersin (MAE) kautta, menetelmämme havaitsee tehokkaasti paikalliset muutokset, jotka ovat olennaisia hienojen kasvonmuokkausten havaitsemisessa.

‘Tämä lähestymistapa mahdollistaa meille yhdenmukaisen latentin esitysmuodon rakentamisen, joka koodaa sekä paikalliset muokkaukset että laajemmat muutokset kasvoihin keskittyvissä videoissa, tarjoten kattavan ja sopeutuvan ratkaisun deepfake-havaitsemiseen.’

Uusi tutkimus on nimeltään Paikallisten Deepfake-Manipulaatioiden Havaitseminen Toimintayksikkö-ohjatuilla Videoesityksillä, ja se on peräisin Intian Madrasin teknillisen instituutin kolmelta tutkijalta.

Menetelmä

Linjassa VideoMAE:n kanssa, uusi menetelmä alkaa soveltamalla kasvonhavaitsemista videoon ja ottaa tasaisesti väliaikaisia kehyksiä, jotka on keskitetty havaittuun kasvoihin. Nämä kehykset jaetaan pieniin 3D-jakoihin (ts. aikaperusteisiin paloihin), joista jokainen havaitsee paikallisen tilan ja aikamuutoksen.

Uuden menetelmän skeema. Syötevideo käsitellään kasvonhavaitsemisella, josta poistetaan tasaisesti väliaikaiset, kasvoihin keskittyneet kehykset, jotka jaetaan ‘putkimaisiin’ paloihin ja ohjataan kooderiin, joka yhdistää latenttiset esitykset kahteen esikoulutettuun esitietotapaan. Tuloksena oleva vektori käytetään luokittelijalla, jotta voidaan määrittää, onko video aito vai väärennetty.

Kunkin 3D-paloinen sisältää kiinteän ikkunan pikseleistä (ts. 16×16) muutamasta peräkkäisestä kehyksestä (ts. 2). Tämä antaa mallille mahdollisuuden oppia lyhytaikaisia liikkeitä ja ilmeenmuutoksia – ei ainoastaan sitä, miltä kasvo näyttää, vaan miten se liikkuu.

Palot upotetaan ja asennuskoodeja ennen kuin ne ohjataan kooderiin, joka on suunniteltu erottamaan ominaisuuksia, jotka voivat erottaa aitoa väärennetystä.

Tutkijat myöntävät, että tämä on erityisen haasteellista, kun käsitellään hienoja muokkauksia, ja he ratkaisevat tämän ongelman rakentamalla kooderin, joka yhdistää kaksi erillistä oppimaan edustaa, käyttäen rinnakkaiskuuntelumekanismia yhdistämään ne. Tämä on tarkoitettu tuottamaan herkempi ja yleisempi ominaisuusavaruus paikallisten muokkausten havaitsemiseen.

Esitietotehtävät

Näistä edustuu ensimmäinen kooderi, joka on koulutettu maskattuun autoenkoodaus-tehtävään. Kun video on jaettu 3D-paloihin (joista useimmat ovat piilotettuina), kooderi opettelee sitten palauttamaan puuttuvat osat, pakottaen sen havaitsemaan tärkeitä aikamuutoksia, kuten kasvonliikkeitä tai johdonmukaisuutta ajassa.

Esitietotehtävän koulutus sisältää osittaisen videon syötteen maskaamisen ja kooderi-dekooderi-järjestelmän käytön joko alkuperäisten kehysten tai kehykohtaisen toimintayksikkökartan rekonstruoimiseen, riippuen tehtävästä.

Kuitenkin tutkimus toteaa, että tämä yksin ei tarjoa riittävää herkkyyttä hienojen muokkausten havaitsemiseen, ja tutkijat esittävät toisen kooderin, joka on koulutettu havaitsemaan kasvon toimintayksiköitä (AUs). Tässä tehtävässä malli opettelee rekonstruoimaan tiheät AU-kartat kullekin kehykselle, jälleen osittain maskattujen syötteiden avulla. Tämä rohkaisee sitä keskittymään paikalliseen lihastoimintaan, jossa useat hienot deepfake-muokkaukset tapahtuvat.

Lisäksi kasvon toimintayksiköitä (FAU tai AU). Lähde: https://www.eiagroup.com/the-facial-action-coding-system/

Kun molemmat kooderit on esikoulutettu, niiden tulokset yhdistetään rinnakkaiskuuntelulla. Sen sijaan, että yksinkertaisesti yhdistäisivät kaksi ominaisuusjoukkoa, malli käyttää AU-pohjaisia ominaisuuksia kysymyksinä, jotka ohjaavat huomiota aikamuutosten havaitsemiseen. Toimintayksikkökooderi kertoo mallille, mihin se pitäisi kiinnittää huomiota.

Tuloksena on yhdistetty latentti esitys, joka on tarkoitettu havaitsemaan sekä laajemman liikkeen kontekstin että paikallisen ilmeen yksityiskohtia. Tämä yhdistetty ominaisuusavaruus käytetään lopullisessa luokittelutehtävässä: ennustetaan, onko video aito vai muokattu.

Data ja testit

Toteutus

Tutkijat toteuttivat järjestelmän esikäsittelemällä syötevideoita FaceXZoo PyTorch-pohjaisella kasvonhavaitsemisjärjestelmällä, saaden 16 kasvoihin keskittyvää kehystä kustakin klipistä. Edellä mainitut esitietotehtävät koulutettiin CelebV-HQ -aineistolla, joka koostuu 35 000 laadukkaasta kasvovideosta.

Lähdepaperista, esimerkkejä CelebV-HQ-aineistosta, jota käytettiin uudessa projektissa. Lähde: https://arxiv.org/pdf/2207.12393

Puolet data-esimerkeistä maskattiin, pakottaen järjestelmän oppimaan yleisiä periaatteita sen sijaan, että se olisi ylisovittanut alkuperäiseen dataan.

Maskattujen kehysten rekonstruoimistehtävässä malli koulutettiin ennustamaan puuttuvia alueita videokehyksistä L1-hävikillä, minimoiden eroa alkuperäisen ja rekonstruoituun sisällön välillä.

Toisessa tehtävässä malli koulutettiin generoimaan karttoja 16 kasvon toimintayksikölle, joista jokainen edustaa hienoja lihasten liikkeitä alueilla, kuten kulmien, silmien, nenän ja huulten, jälleen L1-hävikin ohjaamana.

Esikoulutuksen jälkeen kaksi kooderia yhdistettiin ja hienosäädetty deepfake-havaitsemiseen FaceForensics++ -aineistolla, joka sisältää sekä aitoa että muokattua videota.

FaceForensics++-aineisto on ollut deepfake-havaitsemisen keskeinen viitekehys vuodesta 2017 lähtien, vaikka se on nyt merkittävästi vanhentunut viimeisimpien kasvon synteesimenetelmien suhteen. Lähde: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Koko koulutus suoritettiin yhdellä RTX 4090 -näytönohjaimella, jossa on 24 Gt muistia, ja eräkokoon 8 600 epookin ajan, käyttäen esikoulutettuja painoja VideoMAE:sta kummankin esitietotehtävän aloittamiseen.

Testit

Määrälliset ja laadulliset arviot suoritettiin useiden deepfake-havaitsemismenetelmien kanssa: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; ja BlendFace:n SBI. Kaikissa tapauksissa lähdetiedot olivat saatavilla näille kehyksille.

Testit keskittyivät paikallisesti muokattuihin deepfakeihin, joissa vain osa alkuperäisestä klipistä oli muokattu. Arkkitehtuureja käytettiin Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; ja FateZero. Nämä menetelmät käyttävät monia lähestymistapoja (diffuusiota DVA:lle ja StyleGAN2:ta STIT:lle ja DFE:lle, esimerkiksi)

Tutkijat toteavat:

‘Toteuttaaksemme kattavan käsittelyn erilaisia kasvonmuokkauksia, sisällytämme laajan valikoiman kasvonpiirteitä ja attribuuttimuokkauksia. Kasvonpiirteiden muokkaamiseksi muutimme silmien kokoa, silmien ja kulmien välimatkaa, nenän suhdetta, nenän ja suun välimatkaa, huulien suhdetta ja poskipäiden suhdetta. Kasvon attribuuttimuokkaamiseksi muutimme ilmeitä, kuten hymyä, vihaa, inhoa ja surua.

‘Tämä monimuotoisuus on välttämätöntä mallimme vahvan yleistettävyyden vahvistamiseksi laajalla valikoimalla paikallisia muokkauksia. Yhteensä generoimme 50 videota kustakin edellä mainitusta muokkausmenetelmästä ja vahvistimme menetelmämme vahvan yleistettävyyden deepfake-havaitsemisessä.’

Vanhat deepfake-aineistot sisällytettiin myös testien ympäröivään, nimittäin Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); ja WildDeepfake (DFW).

Arviointimittarit olivat Alue Alle Käyrän (AUC); Keskimääräinen Tarkkuus; ja Keskimääräinen F1-Lukema.

Lähdepaperista: vertailu viimeaikaisista paikallisista deepfakeista osoittaa, että ehdotettu menetelmä ylittää kaikki muut, 15-20 prosentin parannuksen sekä AUC:ssa että keskimääräisessä tarkkuudessa seuraavassa parhaassa lähestymistavassa.

Tutkijat toteavat myös visuaalisen havaintovertailun paikallisesti muokattujen näkymien osalta (jota toistetaan vain osittain aikarajan vuoksi):

Todellinen video muutettiin kolmella eri paikallisella muokkauksella väärennöksiksi, jotka olivat visuaalisesti samanlaisia kuin alkuperäinen. Näytetään edustavia kehyksiä yhdessä keskimääräisten väärennös-havaintopisteiden kanssa kussakin menetelmässä. Kun olemassa olevat havainnoitsijat kamppailivat näiden hienojen muokkausten kanssa, ehdotettu malli antoi johdonmukaisesti korkeat väärennös-todennäköisyydet, osoittaen suurempaa herkkyyttä paikallisiin muutoksiin.

Tutkijat toteavat:

‘[Olemassa olevat] SOTA-havainnontekijät, [LAANet], [SBI], [AltFreezing] ja [CADMM], kokemuksensa merkittävän laskun suorituskyvyssä viimeisimpien deepfake-generaatiomenetelmien kanssa. Nykyiset SOTA-menetelmät näyttävät AUC-arvoja, jotka ovat niin alhaisia kuin 48-71%, osoittaen heikkoutta yleistettävyydessä viimeaikaisiin deepfakeihin.

‘Toisaalta, menetelmämme osoittaa vahvan yleistettävyyden, saavuttaen AUC-arvon 87-93%:n. Samanlainen trendi on havaittavissa keskimääräisessä tarkkuudessa. Kuten näytetään [alla], menetelmämme saavuttaa myös johdonmukaisesti korkean suorituskyvyn perinteisillä aineistoilla, ylittäen 90%:n AUC-arvon ja ollen kilpailukykyisiä viimeaikaisiin deepfake-havainnontekijöihin nähden.’

Suorituskyky perinteisillä deepfake-aineistoilla osoittaa, että ehdotettu menetelmä säilyy kilpailukykyisenä johtavien lähestymistapojen kanssa, osoittaen vahvan yleistettävyyden laajalla valikoimalla manipulaatiotyyppejä.

Tutkijat huomauttavat, että nämä viimeiset testit sisältävät malleja, jotka voidaan kohtuudella pitää vanhentuneina, ja jotka esiteltiin ennen vuotta 2020.

Täydellisemmän visuaalisen esityksen uuden mallin suorituskyvystä tutkijat tarjoavat laajan taulukon lopussa, josta toistamme vain osan:

Näissä esimerkeissä todellinen video muutettiin kolmella paikallisella muokkauksella väärennöksiksi, jotka olivat visuaalisesti samanlaisia kuin alkuperäinen. Keskimääräiset väärennös-luottamuksen arvot näiden muokkausten yli osoittavat, tutkijat toteavat, että ehdotettu menetelmä havaitsee väärennökset luotettavammin kuin muut johtavat lähestymistavat. Viitatakse lopulliseen PDF-sivuun täydellisten tuloksien saamiseksi.

Tutkijat väittävät, että heidän menetelmänsä saavuttaa luottamuuden arvon yli 90%:n paikallisten muokkausten havaitsemisessa, kun taas olemassa olevat havainnontekijät säilyvät alle 50%:ssa samassa tehtävässä. He tulkkaavat tämän eroa sekä heidän lähestymistapansa herkkyyden että yleistettävyyden osoituksena, sekä nykyisten menetelmien haasteiden osoituksena käsitellä tällaisia hienoja kasvonmuokkauksia.

Jotta voidaan arvioida mallin luotettavuutta todellisissa olosuhteissa, tutkijat testasivat sen suorituskykyä videoilla, jotka oli muokattu yleisillä häiriöillä, kuten kyllästyksen ja kontrastin säätäminen, Gaussian-sumea, pikselöinti ja lohko-pohjainen pakkausvirheitä, sekä lisäksi lisättynä melua. Tulokset osoittivat, että havainto-precisio säilyi suurelta osin vakaana näiden häiriöiden yli. Ainoastaan Gaussian-melu aiheutti kohtuullisen laskun suorituskyvyssä. Muut muutokset vaikuttivat vähän.

Esimerkki siitä, miten havainto-precisio muuttuu eri videohäiriöiden yli. Uusi menetelmä säilyy suurelta osin kestävänä useimmissa tapauksissa, ja ainoastaan Gaussian-melu aiheuttaa merkittävän laskun.

Nämä tulokset, tutkijat ehdottavat, osoittavat, että menetelmän kyky havaita paikallisia muokkauksia ei ole helposti häirittävissä tyypillisillä videonlaadun heikennyksillä, tukeakseen sen mahdollista kestävyyttä käytännön tilanteissa.

Johtopäätös

AI-muokkaus on julkisen tietoisuuden kannalta pääasiassa perinteisessä deepfake-käsitteessä, jossa henkilön identiteetti asetetaan toisen henkilön kehoon, joka voi tehdä toimia, jotka ovat vastakkaisia identiteetin omistajan periaatteille. Tämä käsitys on hitaasti päivittävä, jotta se tunnustaa generatiivisten videosysteemien (uuden sukupolven video-deepfake) vaaralliset kyvyt, sekä latenttisten diffuusiomallien (LDM) kyvyt yleisesti.

Näin ollen on järkevää odottaa, että tällaiset paikalliset muokkaukset, joista uusi tutkimus käsittelee, eivät välttämättä nouse julkisen tietoisuuteen, kunnes Pelosi-tyyppinen ratkaiseva tapahtuma tapahtuu, koska ihmisten huomio kiinnittyy helpommin otsikoihin, kuten video-deepfake-petokset.

Kuitenkin, aivan kuten näyttelijä Nic Cage on ilmaissut jatkuvaa huolta siitä, että jälkituotannon prosessit voivat “muokata” näyttelijän suoritusta, meidänkin tulisi ehkä kannustaa tietoisuutta tämänkaltaisista “hienoista” videon muokkauksista – ei ainoastaan siksi, että olemme luonnostaan erittäin herkkäsiä hyvin pienille kasvojen ilmeen muutoksille, vaan myös siksi, että konteksti voi merkittävästi muuttaa pienen kasvonliikkeen vaikutusta (kuten esimerkiksi hymyilemisen häiritsevää vaikutusta hautajaisiin).

Julkaistu ensimmäisen kerran keskiviikkona, 2. huhtikuuta 2025