Syvänvalhevideopuhelujen havaitseminen näytön valaistuksen avulla

Yhdysvaltain National Security Agencyn tutkijan ja Kalifornian yliopiston Berkeleyn välisen yhteistyön ansiosta on kehitetty uusi menetelmä syvänvalhevideosisällön havaitsemiseksi live-videopuhelutilanteissa – tarkkailemalla näytön valaistuksen vaikutusta vastapuolen henkilön ulkonäköön.

Suosittu DeepFaceLive-käyttäjä Druuzil Tech & Games kokeilee oman Christian Bale DeepFaceLab-malliaan live-istunnossa seuraajien kanssa, kun valonlähteet muuttuvat. Lähde: https://www.youtube.com/watch?v=XPQLDnogLKA

Järjestelmä toimii asettamalla graafinen elementti käyttäjän näytölle, joka muuttaa väriään tietyssä järjestyksessä nopeammin kuin tyypillinen syvänvalhejärjestelmä voi reagoida – jopa jos se on varustettu jonkinlaisella live-värien siirtämisen ominaisuudella ja ottaa huomioon ympäristön valaistuksen.

Yhtenäinen värikuva, joka näkyy vastapuolen henkilön näytöllä (ts. potentiaalisella syvänvalhepetollisella), vaihtelee tietyssä järjestyksessä, joka on suunniteltu siten, ettei se laukaise webkameran automaattista valkotasapainoa ja muita valaistuksen korjausjärjestelmiä, jotka voisivat vaikuttaa menetelmän luotettavuuteen.

Tutkimuksesta, valaistusolosuhteiden muutos näytöllä edessä, joka toimii tehokkaana “aluevalona”. Lähde: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Menetelmän taustalla oleva teoria on, että live-syvänvalhejärjestelmät eivät voi reagoida ajoissa näytöllä esitettäviin muutoksiin, mikä aiheuttaa “viivettä” syvänvalheilmiön tietyissä osissa värispektrissä ja paljastaa sen läsnäolon.

Jotta järjestelmä voisi mitata näytön valaistusta tarkasti, se tarvitsee ottaa huomioon ja poistaa yleisen ympäristön valaistuksen vaikutuksen, joka ei liity näytön valaistukseen. Tämän jälkeen se pystyy erottamaan puutteita aktiivisen valaistuksen mittauksessa ja käyttäjien kasvojen värissä, mikä edustaa 1-4 kehyksen välistä aikamuutosta.

Rajoittamalla värivaihteluita näytöllä olevassa “havainto”-graafisessa elementissä ja varmistamalla, ettei käyttäjän webkamera ole ohjelmoitu muuttamaan automaattisesti valotusasetuksiaan näytön valaistuksen muutosten vuoksi, tutkijat ovat onnistuneen havaitsemaan ominaisen viiveen syvänvalhejärjestelmän mukautumisessa valaistuksen muutoksiin.

Tutkimusraportti johtaa siihen, että:

‘Luottamus live-videopuheluihin on kohtuullinen, ja videopuhelujen yleistyessä niin henkilökohtaisessa kuin ammatillisessakin elämässä, menetelmien kehittäminen videopuhelujen (ja äänen) todentamiseksi tulee olemaan vain tärkeämpää.’

Tutkimus tutkimus on otsikoitu Real-time Deep-Fake Videoiden Havaitseminen Aktiivisen Valaistuksen Avulla, ja se on tehty Candice R. Gerstnerin, sovelletun matematiikan tutkijan, ja Hany Faridin, Berkeleyn yliopiston professorin toimesta.

Luottamuksen Eroosio

Syvänvalheiden vastaisen tutkimuksen näkymä on muuttunut merkittävästi viimeisten kuuden kuukauden aikana, siirtymällä yleisestä syvänvalheiden havaitsemisesta (ts. ennalta äänitettyjen videoiden ja pornografisen sisällön kohdalla) “elävyyden” havaitsemiseen, reagoimalla kasvavaan aaltoon syvänvalheiden käytölle videoneuvotteluissa ja FBI:n viimeaikaisiin varoituksiin näiden teknologioiden kasvavasta käytöstä etätyössä.

Joissakin tapauksissa videopuhelu ei välttämättä ole syvänvalhe, mutta AI-vetoinen videoiden matkittaminen on johtanut siihen, että paranoiden tunnetilojen syntymiseen.

Uusi tutkimus toteaa:

‘Reaaliaikaiset syvänvalheet aiheuttavat ainutlaatuisia uhkia, koska niissä on yleinen luottamus live-videopuheluihin ja -puheluihin, ja haaste havaita syvänvalheet reaaliajassa, kun puhelu on käynnissä.’

Tutkimusyhteisö on jo pitkään asettanut itselleen tavoitteeksi löytää olemattomia merkkejä syvänvalheista, joita ei voida helposti korvata. Vaikka media on usein kuvannut tätä teknologista “sotaa” turvallisuustutkijoiden ja syvänvalheiden kehittäjien välillä, useimmat varhaisista lähestymistavoista (kuten silmien räpäytysanalyysi, pään asennon määrittäminen ja käyttäytymisen analyysi) on osoittautunut tehokkaaksi, koska kehittäjät ja käyttäjät ovat yrittäneet tehdä syvänvalheita yleisesti ottaen realistisemmiksi.

Valaistuksen Avulla Syvänvalheiden Paljastaminen

Syvänvalheiden havaitseminen live-videoympäristössä vaatii ottaen huomioon heikot videoyhteydet, jotka ovat hyvin yleisiä videoneuvotteluissa. Jopa ilman välikäsisyvänvalhetta videosisältö voi olla altis NASA-tyylisille viiveille, renderöintihäiriöille ja muiden äänen ja videon heikentymisille. Nämä voivat peittää syvänvalheen karkeat reunat, sekä videossa että äänessä.

Tutkijoiden uusi järjestelmä parantaa tuloksia ja menetelmiä, jotka esitetään julkaisussa Temple-yliopiston verkostoituneen laskennan keskuksesta Philadelphiassa.

Vuoden 2020 tutkimuksesta, jossa havaitaan muutos “täytetyn” kasvojen valaistuksessa, kun käyttäjän näytön sisältö muuttuu. Lähde: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Uuden työn ero on, että se ottaa huomioon, miten webkamerat reagoivat valaistuksen muutoksiin. Tutkijat selittävät:

‘Kaikki modernit webkamerat suorittavat automaattisen valotusasetuksen, joten edellisessä työssä käytetty korkea intensiteetin aktiivinen valaistus aiheuttaa kameran automaattisen valotusasetuksen laukaisemisen, mikä puolestaan vaikuttaa tallennettuun kasvojen ulkonäköön. Tämän välttämiseksi käytämme aktiivista valaistusta, joka muuttaa värinsä tasaisesti.’

‘Tämä välttää kameran automaattisen valotusasetuksen, mutta se voi laukaista kameran valkotasapainon, joka puolestaan vaikuttaa tallennettuun kasvojen ulkonäköön. Tämän välttämiseksi toimimme värivaihteluiden puitteissa, jotka olemme empiralisesti määritelleet eivät laukaista valkotasapainoa.’

Tässä aloitteessa tutkijat tarkastelivat myös muita aiempia pyrkimyksiä, kuten LiveScreeniä, joka pakottaa huomaamattoman valaistuskuviota käyttäjän näytölle pyrkien paljastamaan syvänvalheita.

Vaikka järjestelmä saavutti 94,8 prosentin osumatarkkuuden, tutkijat toteavat, että valaistuskuvioiden hienostuneisuus tekee salattavan lähestymistavan haasteelliseksi toteuttaa valaistuneissa ympäristöissä, ja ehdottavat, että heidän järjestelmänsä tai siihen perustuva järjestelmä voisi olla sisäänrakennettu julkaistuun videoneuvotteluohjelmistoon:

‘Meidän ehdottamamme interventio voisi toteutua joko osallistujan jakamalla ruudun ja näyttämällä aikariippuvaa kuviota tai, ihanteellisesti, se voisi olla suoraan integroitu videoneuvotteluohjelmistoon.’

Testit

Tutkijat käyttivät sekä synteettisiä että todellisia koehenkilöitä testaamaan Dlib-ohjelmistolla toteutettua syvänvalheiden havaitsemisjärjestelmäänsä. Synteettisessä skenaariossa he käyttivät Mitsubaa, eteen- ja takaisinrenderöintiohjelmistoa, Sveitsin liittovaltion teknillisen korkeakoulun Lausannesta.

Simuloitu datanäyte, jossa on eri ihoväri, valolähteen koko, ambientin valaistuksen voimakkuus ja etäisyys kameraan.

Esitetty kohtaus sisältää parametrillisen CGI-pään, joka on tallennettu virtuaalikameralla 90 asteen näkökulmasta. Päät ovat Lambertin heijastusominaisuudet ja neutraalit ihovärit, ja ne sijaitsevat 2 jalkaa virtuaalikameran edessä.

Tutkijat testasivat kehyskustannuksella eri ihovärejä ja asetuksia, muuttamalla eri puolia peräkkäin. Muutettavat osat sisälsivät ihonvärin, etäisyyden ja valaistuksen koon.

Tutkijat toteavat:

‘Simulaatiossa, jossa oletuksemme täyttyvät, ehdottamamme menetelmä on erittäin luotettava laajalle valikoimalle kuvauksellisia asetuksia.’

Todellisessa maailmassa tutkijat käyttivät 15 vapaaehtoista, joilla oli eri ihovärit, eri ympäristöissä. Jokainen osallistuja koki kaksi syklisiä rajoitettuja värivaihteluita, olosuhteissa, joissa 30 Hz:n näytön virkistystaajuus oli synchronoitu webkameran kanssa, mikä tarkoitti, että aktiivinen valaistus kesti vain yhden sekunnin kerrallaan. Tulokset olivat laajasti verrattavissa synteettisiin testeihin, vaikka korrelaatiot lisääntyivät merkittävästi suuremmilla valaistusarvoilla.

Tulevaisuuden Suuntaukset

Tutkijat myöntävät, että järjestelmä ei ottaa huomioon tyypillisiä kasvojen peittämisiä, kuten hiuksia, silmälaseja tai partaa. He kuitenkin toteavat, että tällaiset peittävät voivat lisätä myöhempään järjestelmään (merkintöjen ja myöhemmän semanttisen segmentoinnin kautta), jotka voidaan kouluttaa ottamaan arvot vain havaituista ihonalueista kohdehenkilössä.

Tutkijat ehdottavat myös, että vastaava paradigma voisi olla sovellettavissa syvänvalheiden havaitsemiseen äänipuheluissa, ja että tarvittava ääni voisi soittaa taajuudessa, joka on ulottumattomissa ihmiselle.

Tutkijat toteavat myös, että laajentamalla arviointialuetta kasvojen ulkopuolelle rikkaamman kaappausjärjestelmän avulla voisi merkittävästi parantaa syvänvalheiden havaitsemisen mahdollisuutta*:

‘Monimutkaisempi 3D-valaistuksen arvio mahdollistaisi rikkaamman ulkonäön mallin, joka olisi vaikeampi syvänvalheen välttämiseksi. Koska keskityimme vain kasvoihin, tietokoneen näyttö valaisee myös kaulan, ylävartalon ja ympäröivän taustan, joista voidaan tehdä samanlaisia mittauksia.

‘Nämä lisämittaukset pakottaisivat väärentäjän ottamaan huomioon koko 3D-kohtauksen, ei vain kasvoja.’

* Käännökseni alkuperäisten tekijöiden sisäisten viittauksien hyperlinkkeihin.

Julkaistu ensimmäisen kerran 6. heinäkuuta 2022.