Andersonin kulma
Deepfake-videopuhelujen havaitseminen näytön valaistuksen avulla

Keskeiset kohdatAktiivinen valaistus, jossa käytetään isoluminantteja sävymuutoksia, välttää…
Näytä lisää
- Aktiivinen valaistus, jossa käytetään isoluminantteja sävymuutoksia, välttää verkkokameran automaattista valotusta ja valkotasapainon kompensointia.
- Järjestelmä havaitsee deepfake-viiveen mittaamalla 1–4 kehyksen ajallisen siirtymän monitorin sävyn ja kasvojen sävyn välillä.
- Tulevat järjestelmät voisivat laajentaa havaitsemisen kasvojen lisäksi kaulaan ja taustaan, mahdollistaen rikkaamman 3D-valaistusanalyysin.
Yhdysvaltain National Security Agencyn tutkijan ja Kalifornian yliopiston Berkeleyn välisen yhteistyön ansiosta on kehitetty uusi menetelmä deepfakevideosisällön havaitsemiseksi live-videopuhelutilanteissa – tarkkailemalla näytön valaistuksen vaikutusta vastapuolen henkilön ulkonäköön.

Suosittu DeepFaceLive-käyttäjä Druuzil Tech & Games kokeilee omaa Christian Bale DeepFaceLab -malliaan live-istunnossa seuraajien kanssa, kun valonlähteet muuttuvat. Lähde: https://www.youtube.com/watch?v=XPQLDnogLKA
Järjestelmä toimii näyttämällä käyttäjän näytöllä graafisen elementin, jonka väri muuttuu kapealla sävyalueella nopeammin kuin tavallinen deepfakejärjestelmä pystyy reagoimaan. Näin käy, vaikka järjestelmä pystyisi ylläpitämään reaaliaikaista värinsiirtoa ja huomioimaan ympäristön valaistuksen, kuten reaaliaikainen deepfake-suoratoistoratkaisu DeepFaceLive (kuvassa yllä).
Vastapuolen eli mahdollisen deepfake-huijarin näytöllä näkyvän tasavärisen kuvan sävy vaihtelee rajatulla alueella. Vaihtelu on suunniteltu niin, ettei se käynnistä verkkokameran automaattista valkotasapainoa tai muita tilannekohtaisia valaistuksen kompensointijärjestelmiä, jotka heikentäisivät menetelmää.

Tutkimuksen kuva käyttäjän edessä olevan näytön aiheuttamasta valaistuksen muutoksesta. Näyttö toimii hajautettuna aluevalonlähteenä. Lähde: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf
Menetelmän taustalla oleva teoria on, että live-deepfakejärjestelmät eivät voi reagoida ajoissa näytöllä esitettäviin muutoksiin, mikä aiheuttaa “viivettä” deepfakeilmiön tietyissä osissa värispektrissä ja paljastaa sen läsnäolon.
Jotta järjestelmä voisi mitata näytön valaistusta tarkasti, sen on otettava huomioon ja vähennettävä yleisen ympäristön valaistuksen vaikutuksen, joka ei liity näytön valaistukseen. Tämän jälkeen se pystyy tunnistamaan aktiivisen valaistuksen sävyn ja käyttäjän kasvojen sävyn mittausten välisen eron eli 1–4 kuvaruudun ajallisen viiveen.

Rajoittamalla värivaihteluita näytöllä olevassa “havainto”-graafisessa elementissä ja varmistamalla, ettei käyttäjän webkamera ole ohjelmoitu muuttamaan automaattisesti valotusasetuksiaan näytön valaistuksen muutosten vuoksi, tutkijat ovat onnistuneet havaitsemaan ominaisen viiveen deepfakejärjestelmän mukautumisessa valaistuksen muutoksiin.
Tutkimusraportti johtaa siihen, että:
‘Luottamus live-videopuheluihin on kohtuullinen, ja videopuhelujen yleistyessä niin henkilökohtaisessa kuin ammatillisessakin elämässä, menetelmien kehittäminen videopuhelujen (ja äänen) todentamiseksi tulee olemaan vain tärkeämpää.’
Tutkimus on otsikoitu Reaaliaikaisten deepfakevideoiden havaitseminen aktiivisen valaistuksen avulla, ja se on tehty Yhdysvaltain puolustusministeriössä työskentelevän sovelletun matematiikan tutkijan Candice R. Gerstnerin, ja Hany Faridin, Berkeleyn yliopiston professorin toimesta.
Luottamuksen Eroosio
Deepfakeiden vastaisen tutkimuksen näkymä on muuttunut merkittävästi viimeisten kuuden kuukauden aikana, siirtymällä yleisestä deepfakeiden havaitsemisesta (ts. etukäteen tallennettujen videoiden ja pornografisen sisällön kohdalla) “elävyyden” havaitsemiseen, reagoimalla kasvavaan aaltoon deepfakeiden käytölle videoneuvotteluissa ja FBI:n viimeaikaisiin varoituksiin näiden teknologioiden kasvavasta käytöstä etätyössä.
Joissakin tapauksissa videopuhelu ei välttämättä ole deepfake, mutta tekoälyllä toteutetun videolla toiseksi henkilöksi tekeytymisen lisääntyvät mahdollisuudet ovat alkaneet synnyttää vainoharhaisuutta.
Uusi tutkimus toteaa:
‘Reaaliaikaiset deepfakeet aiheuttavat ainutlaatuisia uhkia, koska niissä on yleinen luottamus live-videopuheluihin ja -puheluihin, ja haaste havaita deepfakeet reaaliajassa, kun puhelu on käynnissä.’
Tutkimusyhteisö on jo pitkään asettanut itselleen tavoitteeksi löytää deepfakeista erehtymättömiä tunnusmerkkejä, joita ei voi helposti peittää. Vaikka media on usein kuvannut tätä teknologista “sotaa” turvallisuustutkijoiden ja deepfakeiden kehittäjien välillä, useimpien varhaisten menetelmien (kuten silmien räpäytysanalyysi, pään asennon määrittäminen ja käyttäytymisen analyysi) teho on kumoutunut yksinkertaisesti siksi, että kehittäjät ja käyttäjät ovat pyrkineet tekemään deepfakeista yleisesti realistisempia, eivät erityisesti torjumaan turvallisuustutkijoiden viimeksi löytämää tunnusmerkkiä.
Valaistuksen Avulla Deepfakeiden Paljastaminen
Deepfakeiden havaitseminen live-videoympäristössä vaatii huomioimaan heikot videoyhteydet, jotka ovat hyvin yleisiä videoneuvotteluissa. Jopa ilman väliin lisättyä deepfakekerrosta videosisältö voi olla altis NASA-tyylisille viiveille, renderöintihäiriöille ja muulle äänen ja videon laadun heikkenemiselle. Nämä voivat peittää deepfakeen karkeat reunat, sekä videossa että äänessä.
Tutkijoiden uusi järjestelmä parantaa tuloksia ja menetelmiä, jotka esitetään julkaisussa Temple-yliopiston verkostoituneen laskennan keskuksesta Philadelphiassa.

Vuoden 2020 tutkimuksesta, jossa havaitaan muutos “täytetyn” kasvojen valaistuksessa, kun käyttäjän näytön sisältö muuttuu. Lähde: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf
Uuden työn ero on, että se ottaa huomioon, miten webkamerat reagoivat valaistuksen muutoksiin. Tutkijat selittävät:
‘Kaikki modernit webkamerat suorittavat automaattisen valotusasetuksen, joten edellisessä työssä käytetty korkea intensiteetin aktiivinen valaistus aiheuttaa kameran automaattisen valotusasetuksen laukaisemisen, mikä puolestaan vaikuttaa tallennettuun kasvojen ulkonäköön. Tämän välttämiseksi käytämme aktiivista valaistusta, jossa sävy muuttuu kirkkauden pysyessä samana.’
‘Tämä välttää kameran automaattisen valotusasetuksen, mutta se voi laukaista kameran valkotasapainon, joka puolestaan vaikuttaa tallennettuun kasvojen ulkonäköön. Tämän välttämiseksi toimimme värivaihteluiden puitteissa, jotka olemme kokeellisesti todenneet olevan käynnistämättä valkotasapainon säätöä.’
Tässä aloitteessa tutkijat tarkastelivat myös muita aiempia pyrkimyksiä, kuten LiveScreeniä, joka pakottaa huomaamattoman valaistuskuviota käyttäjän näytölle pyrkien paljastamaan deepfakeita.
Vaikka järjestelmä saavutti 94,8 prosentin osumatarkkuuden, tutkijat toteavat, että valokuvioiden hienovaraisuus tekee huomaamattoman menetelmän toteuttamisesta vaikeaa kirkkaasti valaistuissa ympäristöissä, ja ehdottavat, että heidän järjestelmänsä tai siihen perustuva järjestelmä voisi olla näkyvästi ja oletusarvoisesti integroitu suosittuihin videoneuvotteluohjelmistoihin:
‘Meidän ehdottamamme interventio voisi toteutua joko osallistujan jakamalla ruudun ja näyttämällä aikariippuvaa kuviota tai, ihanteellisesti, se voisi olla suoraan integroitu videoneuvotteluohjelmistoon.’
Testit
Tutkijat käyttivät sekä synteettisiä että todellisia koehenkilöitä testaamaan Dlib-ohjelmistolla toteutettua deepfakeiden havaitsemisjärjestelmäänsä. Synteettisessä skenaariossa he käyttivät Mitsubaa, eteen- ja takaisinrenderöintiohjelmistoa, Sveitsin liittovaltion teknillisen korkeakoulun Lausannesta.

Simuloitu datanäyte, jossa on eri ihoväri, valolähteen koko, ambientin valaistuksen voimakkuus ja etäisyys kameraan.
Esitetty kohtaus sisältää parametrillisen CGI-pään, joka on tallennettu virtuaalikameralla 90 asteen kuvakulmalla. Päillä on Lambertin heijastusominaisuudet ja neutraalit ihovärit, ja ne sijaitsevat 2 jalkaa virtuaalikameran edessä.
Tutkijat testasivat menetelmää erilaisilla ihonsävyillä ja kuvausasetelmilla, muuttamalla eri puolia peräkkäin. Muutettavat osat sisälsivät ihonvärin, etäisyyden ja valaistuksen koon.
Tutkijat toteavat:
‘Simulaatiossa, jossa oletuksemme täyttyvät, ehdottamamme menetelmä on erittäin luotettava laajalle valikoimalle kuvauksellisia asetuksia.’
Todellisessa maailmassa tutkijat käyttivät 15 vapaaehtoista, joilla oli eri ihovärit, eri ympäristöissä. Jokainen osallistuja koki kaksi rajatun sävyvaihtelun jaksoa, olosuhteissa, joissa 30 Hz:n näytön virkistystaajuus oli synkronoitu webkameran kanssa, mikä tarkoitti, että aktiivinen valaistus kesti vain yhden sekunnin kerrallaan. Tulokset olivat laajasti verrattavissa synteettisiin testeihin, vaikka korrelaatiot lisääntyivät merkittävästi suuremmilla valaistusarvoilla.
Tulevaisuuden Suuntaukset
Tutkijat myöntävät, että järjestelmä ei ota huomioon tyypillisiä kasvojen peittämisiä, kuten hiuksia, silmälaseja tai partaa. He kuitenkin toteavat, että peittyneiden alueiden tunnistus voidaan lisätä myöhempiin järjestelmiin (merkintöjen ja myöhemmän semanttisen segmentoinnin kautta), jotka voidaan kouluttaa ottamaan arvot vain havaituista ihonalueista kohdehenkilössä.
Tutkijat ehdottavat myös, että vastaava paradigma voisi olla sovellettavissa deepfakeiden havaitsemiseen äänipuheluissa, ja että tarvittava ääni voitaisiin toistaa ihmisen normaalin kuuloalueen ulkopuolisella taajuudella.
Tutkijat toteavat myös, että laajentamalla arviointialuetta kasvojen ulkopuolelle rikkaamman kaappausjärjestelmän avulla voisi merkittävästi parantaa deepfakeiden havaitsemisen mahdollisuutta*:
‘Kehittyneempi kolmiulotteinen valaistuksen arviointi tuottaisi todennäköisesti rikkaamman ulkonäkömallin, jota väärentäjän olisi entistä vaikeampi kiertää. Koska keskityimme vain kasvoihin, tietokoneen näyttö valaisee myös kaulan, ylävartalon ja ympäröivän taustan, joista voidaan tehdä samanlaisia mittauksia.
‘Nämä lisämittaukset pakottaisivat väärentäjän ottamaan huomioon koko 3D-kohtauksen, ei vain kasvoja.’
* Olen muuntanut kirjoittajien tekstinsisäiset lähdeviitteet hyperlinkeiksi.
Julkaistu ensimmäisen kerran 6. heinäkuuta 2022.












