Reaaliaikainen DeepFake -striimaus DeepFaceLive:n avulla

Maailman eniten käytetty deepfake-ohjelmisto, joka on vahvasti liitetty deepfake-pornoon, saa uuden toteutuksen – kyvyn yhdistää deepfake-kuvia julkkisten kaltaisiin live-webcam-kuvauksiin.

Avoin lähdekoodirepositorio DeepFaceLive on Windows 10 -sovellus, joka on rakennettu DeepFaceLab:n pohjalle, josta tuli nopeasti johtava resurssi pornopohjaiselle kasvojen vaihdolle, kun alkuperäisen deepfake-ohjelmiston luoja hylkäsi projektin pian sen jälkeen, kun deepfaking aiheutti maailmanlaajuista kohua vuonna 2018. Molemmat projektit listaa deepfake-pornosivun mrdeepfakesin foorumin osion virallisena tukiresurssina.

Videossa DeepFaceLive:n käyttöliittymästä, jonka kehittäjä Ivan Petrov julkaisi huhtikuussa, nähdään latauksen jälkeen Miles Fisherin muuttuminen Tom Cruiseksi reaaliajassa. Lähde: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Eilisenä päivänä molempien projektien johtaja, venäläinen kehittäjä Ivan Petrov, ilmoitti uudesta DeepFaceLive-versiosta projektin Discord-ryhmässä, mainiten, että DeepFaceLive sisältää nyt koulutetun Margot Robbie -mallin, joka on usein esiintynyt pornovideoissa mrdeepfakesissa.

Neljä esimerkkiä DeepFaceLive:n kyvystä liittää Robbie-identiteetin mihin tahansa puhujaan webcam-virtauksessa on ladattu osoittamaan sovelluksen kykyä.

Yksi Margot Robbie -esimerkeistä reaaliaikaisesta deepfakingista. Lähde: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbie-muodonmuutosvideot julkaistiin alun perin Twitchissä, mutta poistettiin myöhemmin.

Kolme muuta esimerkkiä kasvojen vaihdosta, jotka DeepFaceLive tarjoaa. Vaatimus suunnilleen vastaavasta kasvosta kohdehenkilöllä on edelleen nähtävissä. Alhaalla vasemmalla kuvassa nähdään, ettei ohjelmisto voi tehokkaasti maskata esteitä, kuten voidaan tehdä DeepFaceLabissa, koska tämä vaatii koulutusmaskien luomista DeepFaceLab:n XSeg-sovelluksessa, menetelmää, jota ei voida soveltaa reaaliaikaiseen väärentämiseen.

Lisäksi luvataan, että brittiläinen koomikko ja näyttelijä Rowan Atkinsonin malli tulee olemaan saatavilla DeepFaceLive:ssä pian. Alun perin DeepFaceLive-repositoriossa oli CELEB_MODEL -luokka, jossa oli mahdollista ladata muita julkkisia, mukaan lukien Tom Cruise, Open Neural Network Exchange (.onnx) -tiedostoina, vaikka nämä hakemistot on poistettu.

Tom Cruise oli DeepFaceLive:n sisäänrakennettu identiteetti huhtikuussa 2021, mutta on nyt ilmeisesti poistettu paketin oletusarvoisena. Malli voidaan kuitenkin ladata ja asentaa, ja siihen voidaan lisätä koulutettuja malleja useista julkkiksista sekä käyttäjien itse kouluttamia malleja.

DeepFaceLive toimii vain Windows 10 -sovelluksena ja raportoidaan yhden käyttäjän toimivan hyvin NVIDIA:n live-streaming Broadcast -sovelluksen kanssa.

Identiteettien hankkiminen

Käyttäjien ei tarvitse käydä läpi työlästä prosessia kasvomateriaalin keräämisestä tietokantaan, seuraavien 3-10 päivän ajan saadakseen erittäin hyvän vastineen, koska DeepFaceLive:n FAQ:ssa todetaan, että se voi käyttää valmiita “julkisia kasvomalleja”, jotka on kokoamassa muut luojat. Tosiasiallisesti suurin lähde tällaisille malleille on Forum-Trained Models (arkistoidun linkin) lanko mrdeepfakes-pornosivustolla, jota voidaan nähdä käytössä yhden venäläisen loppukäyttäjän viimeaikaisessa YouTube-videossa.

Vladislav Pedro käyttää DeepFaceLive:a muuttaakseen itsensä Tom Cruiseksi reaaliajassa. Videossa ladattu malli on isäntänä mrdeepfakesissa ja on aiemmin käytetty offline-deepfake-käsittelyyn. Lähde: https://www.youtube.com/watch?v=0TcCKtObSnI

Parhaat tulokset saadaan, kun loppukäyttäjän kasvoja koulutetaan kohdejulkkiksen kanssa, mutta simulaation laatu näyttää olevan suoraan verrannollinen siihen, kuinka hyvin loppukäyttäjä muistuttaa julkkista. Kun käyttäjä on suhteellisen hyvin sovelias julkkikseen, voidaan saada vakuuttava tulos.

Kuten viimeisistä kolmesta Margot Robbie -vaihdosta edellä olevissa kuvissa näkyy, ohjelmisto ei voi tehdä ihmeitä, kun loppukäyttäjän kasvot ovat radikaalisti erilaisia yleisiin piirteisiin. DeepFaceLab voi kuitenkin tehdä kokonaisia päänvaihtoja, prosessi, joka ylittää kokonaan lähdekään, vaikka rajoituksilla hiusten suhteen. Kommentit Discord-palvelimella vahvistavat, että nämä voidaan myös toteuttaa DeepFaceLive:ssä.

DeepFaceLive tukee tällä hetkellä vain NVIDIA:n GPU:ita, ja GTX 750 on alin laitteisto, jolla voidaan saada kohtuullinen tulos sovelluksella. Grafiikkakortilla, jossa on 4 GB VRAM:ia, se vaatii myös 32 GB vaihtotilaa.

Margot Robbie -mallin koulutus – kuva, jonka julkaistiin DeepFaceLab/DeepFaceLive Discordissa Ivan Petrovin toimesta. Tässä nähdään, että lähdekokoelma on erittäin monipuolinen, ilmeisesti tarkoituksena luoda robusti ja hyvin yleistetty malli, joka voi muuttaa laajan valikoiman kasvotyyppejä australialaisen näyttelijättären kuvaksi. Useimmat “A”-joukot ovat yleensä yksittäisiä yksilöitä.

Käyttäjät raportoivat, että DeepFaceLive on erittäin vaativa laitteiston resursseja, mutta Petrov on vastannut tähän väittämällä, että DeepFaceLive on tarkoitettu hyvin varusteltujen tietokoneiden käyttöön sisäympäristössä.

DeepFaceLab:n GitHub on forkattu yli 6 000 kertaa, kun taas uusi DeepFaceLive on tällä hetkellä 85 forkkausta.

Mahdolliset käytöt

Kommentoijat lankassa (venäjänkielinen) venäläisellä sosiaalisella sivustolla VK.com spekuloi DeepFaceLive:n mahdollisista käytöistä ja näyttävät havainneen kaikki todennäköiset sovellukset ohjelmistolle: anonyymina tai vapaa-ajan suodattimena Zoom- ja vastaavissa sovelluksissa; välineenä petokseen tai harhaanjohtamiseen live-streamin katselijaa kohtaan; ja – ehkä todennäköisimmin, ottaen huomioon ohjelmiston alkuperän ja käyttäjäkunnan – julkkisaiheisten webcam-pohjaisen seksityön toteuttamiseen (ks. kuva artikkelin lopussa).

“Deepfake-kam-tytöt” ilmenivät mediassa pari vuotta sitten. Vuonna 2020 Avatarify-sovellus ilmoitti julkkis-webcam-toiminnon, mutta laadulla, joka oli huomattavasti alempi kuin DeepFaceLab:n asettama standardi, josta on nyt tullut valinta viimeaikaisille otsikkojen tekijöille, kuten Tom Cruisen deepfaker Chris Umelle, sekä korkean tason elokuva- ja TV-tuotantoyhtiöille ympäri maailmaa.

DeepFaceLab, DeepFaceLive:n siemensovellus ja raportoitu (venäjänkielinen) kehys 95 %:lle kaikista YouTube-videoiden deepfakeista, on myös ohjelmisto, jota Shamook, deepfaker, jonka erinomaiset työt parantamassa Luke Skywalkerin vierailua The Mandalorianissa, inspiroi äskettäin Lucasfilmin palkkaamaan hänet VFX-konsultiksi.

Sovittaminen deepfake-rajoituksiin

Deepfake-ohjelmistojen, kuten DeepFaceLab:n ja FaceSwapin, menetelmä on hyvin palveleva tyypillinen webcam-ympäristössä, ja poistaa monia todellisuuden esteitä, jotka voivat edelleen vaivata offline-deepfakeita.

Esimerkiksi deepfakeit toimivat vähemmän vakuuttavasti, kun käyttäjä kääntyy profiiliin (tai katsoo ylös), liikkuu nopeasti tai on altis kohtauksen muutoksille tai äkillisille valaistuksen muutoksille.

Tämän vuoksi “staattinen” luonne tyypilliselle Zoom-kuulumiselle tai webcamille soveltuu ohjelmiston vahvuuksiin. Monet viimeaikaisista deepfake-huijauksista ovat esittäneet puhujia, jotka katsovat kameraan suoraan ja liikkuvat hyvin vähän rajoitetussa ympäristössä, kuten Steve Buscemin asettaminen Jennifer Lawrenceen Oscar-puheessa ja eri “kameraan” -poliittisia lähetyksiä.

Todennäköisin käyttötapa DeepFaceLive:n sisäänrakennetusta Margot Robbie -mallista – kamera-testivideo, joka on julkaistu DeepFaceLab Discordissa venäläisen käyttäjän ‘NoFace’ toimesta.

Muutettu 8:52 iltapäivällä 7. elokuuta – Sukunimi korjattu.
Muutettu 8:30 iltapäivällä 8. elokuuta – Lisätty kuvia Discordista.