Reāllaika DeepFake straumēšana ar DeepFaceLive

Pasaulē visbiežāk izmantotā dziļo viltojumu programmatūra un tā, kas visvairāk saistīta ar dziļo viltojumu pornogrāfiju, iegūst jaunu ieviešanu — iespēju iekļaut slavenību dziļos viltojumus tiešraides tīmekļa kameru materiālos.

Atvērtā koda repozitorijs DeepFaceLive ir Windows 10 lietojumprogramma, kas izveidota, pamatojoties uz DeepFaceLab, kas ātri kļuva par vadošo pornogrāfisko seju apmaiņas avotu pēc tam, kad sākotnējās deepfake programmatūras radītājs pameta projektu neilgi pēc dziļās viltošanas parādīšanās, 2018. gadā izraisīja vispasaules pretrunas. Abi projekti saraksts deepfake porno vietnes mrdeepfakes foruma sadaļa kā oficiāls atbalsta resurss.

DeepFaceLive interfeisa videoklipā, ko aprīlī izlaida izstrādātājs Ivans Petrovs, mēs redzam lejupielādētos kadrus, kuros atveidotājs Miless Fišers reāllaikā tiek pārveidots par Tomu Krūzu. Avots: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Vakar abu projektu vadītājs, Krievijas izstrādātājs Ivans Petrovs, paziņoja jauna DeepFaceLive versija projekta grupai Discord, norādot, ka DeepFaceLive tagad ir iekļauta apmācīta aktrise Margotas Robijas modele, kas ir bieža pornogrāfisku videoklipu tēma vietnē mrdeepfakes.

Ir augšupielādēti četri videoklipu paraugi, lai demonstrētu DeepFaceLive spēju pievienot Robija identitāti jebkuram skaļrunim tīmekļa kameras plūsmā.

Viena no Margotas Robijas dzīvās faking demonstrācijām. Avots: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robija transformācijas videoklipi sākotnēji tika kopīgoti pakalpojumā Twitch, bet pēc tam tika izdzēsti.

Trīs citi sejas apmaiņas piemēri, ko nodrošina DeepFaceLive. Prasība pēc aptuvenas sejas sakritības ar mērķa subjektu joprojām ir spēkā. Apakšējā kreisajā attēlā redzams, ka programmatūra nevar efektīvi maskēt šķēršļus, kā to var panākt DeepFaceLab, jo tam ir nepieciešamas apmācības maskas XSeg lietojumprogramma DeepFaceLab — metodi, ko nevar izmantot reāllaika viltošanai.

Tiek solīts, ka drīzumā DeepFaceLive būs pieejams papildu noklusējuma modelis, ko veido britu komiķis un aktieris Rovans Atkinsons. Sākotnēji DeepFaceLive repozitorijā bija CELEB_MODEL kategorija, kurā bija iespējams lejupielādēt citas slavenības, tostarp Tomu Krūzu, kā atvērto neironu tīklu apmaiņu (.onnx) failus, lai gan šie direktoriji kopš tā laika ir izdzēsti.

Toms Krūzs bija DeepFaceLive beta versijas iekļautā identitāte 2021. gada aprīlī, taču kopš tā laika tas, šķiet, ir izņemts kā noklusējuma pakotne. Tomēr modeli var lejupielādēt un instalēt kopā ar apmācītiem modeļiem no daudzām citām slavenībām un pielāgotiem modeļiem, ko apmācījuši gala lietotāji.

DeepFaceLive darbojas tikai kā Windows 10 lietojumprogramma, un tā ir ziņots viens lietotājs, lai labi darbotos ar NVIDIA tiešraides straumēšanu Pārraidīt pieteikumu.

Identitātes iegūšana

Lietotājiem nav jāiet cauri darbietilpīgam procesam, lai vāktu seju materiālu datu kopai, kam seko 3–10 dienas, kas nepieciešamas, lai iegūtu ļoti labu atbilstību, jo DeepFaceLive bieži uzdotie jautājumi norāda, ka tas var izmantot jau pieejamos publiskos sejas modeļus. , ko jau ir apkopojuši citi veidotāji. Būtībā lielākais šādu modeļu avots ir Forumā apmācīti modeļi (arhīva saite) pavediens mrdeepfakes porno vietnē, ko var redzēt, kā to izmanto viens Krievijas galalietotājs jaunākais YouTube videoklips.

Vladislavs Pedro izmanto DeepFaceLive, lai reāllaikā pārvērstos par Tomu Krūzu. Modelis, ko viņš ielādē videoklipā, ir mitināts vietnē mrdeepfakes, un līdz šim tas tika izmantots dziļo viltojumu apstrādei bezsaistē. Avots: https://www.youtube.com/watch?v=0TcCKtObSnI

Lai gan vislabākos rezultātus iegūs, apmācot galalietotāja seju pret mērķa slavenību, šķiet, ka simulācijas kvalitāte ir tieši proporcionāla tam, cik ļoti galalietotājs līdzinās mērķim. Ja lietotājs ir samērā labi piemērots slavenībai, var iegūt pārliecinošu rezultātu.

Kā redzams pēdējos trīs Margot Robbie mijmaiņas gadījumos iepriekš minētajos attēlos, programmatūra nevar veikt brīnumus, ja galalietotāja sejai ir radikāli atšķirīgas vispārīgās īpašības. Tomēr DeepFaceLab var arī veikt visu galvas maiņu, process, kas pilnībā pārraksta avota galviņu, lai gan ar frizūru ierobežojumiem. Discord servera komentāri apstiprina, ka tos var ieviest arī DeepFaceLive.

DeepFaceLive pašlaik atbalsta tikai NVIDIA GPU, un GTX 750 ir zemākā aparatūra, kas var iegūt saprātīgu rezultātu ar lietojumprogrammu. Grafikas kartei ar 4 GB VRAM ir nepieciešama arī 32 GB vietas mijmaiņas diskā.

Margotas Robijas modeļa apmācība – tēls ievietojis Ivana Petrova pasākumā DeepFaceLab/DeepFaceLive Discord. Šeit mēs redzam, ka avota datu kopa ir ārkārtīgi daudzveidīga, acīmredzot ar nolūku izveidot stabilu un labi vispārinātu modeli, kas var pārveidot plašu sejas veidu klāstu Austrālijas aktrises tēlā. Lielākā daļa “A” komplektu parasti ir no viena indivīda.

Lietotāji ziņo, ka DeepFaceLive ir ārkārtīgi prasīgs aparatūras resursu ziņā, taču Petrovs uz to ir atbildējis, apgalvojot, ka DeepFaceLive ir paredzēts labi izstrādātiem datoriem iekštelpu vidē.

DeepFaceLab GitHub ir bijis dakšu vairāk nekā 6,000 reižu, savukārt jaunajam DeepFaceLive pašlaik ir 85 dakšas.

Iespējamie lietojumi

Komentētāji a vītne (krievu valodā) Krievijas sociālajā vietnē VK.com spekulē par iespējamiem DeepFaceLive lietojumiem un, šķiet, ir pamanījuši visas iespējamās programmatūras lietojumprogrammas: kā “anonimizēšanas” vai izklaides filtru programmā Zoom un līdzīgās lietojumprogrammās; kā līdzekli krāpšanas izdarīšanai vai personas, kas skatās tiešraidi, maldināšanai; un, iespējams, visticamāk, ņemot vērā programmatūras izcelsmi un lietotāju bāzi, kā līdzekli, lai īstenotu uz slavenībām vērstu tīmekļa kameru seksa darbu (skatiet attēlu raksta beigās).

“Deepfake cam girls” iespēja parādījās pirms pāris gadiem medijos. 2020. gadā lietotne Avatarify paziņoja deepfake slavenību tīmekļa kameras funkcionalitāte, taču ar ievērojamu kvalitāti pazemināt nekā DeepFaceLab noteiktais standarts, kas tagad ir izvēles krātuve par neseno virsrakstu satveršana Toms Krūzs, dziļi viltnieks Kriss Ume, kā arī augsta līmeņa filmu un TV producēšanas kompānijas visā pasaulē.

DeepFaceLab, sākuma lietojumprogramma DeepFaceLive un ziņots (krievu valodā) ietvars 95% no visiem dziļajiem viltojumiem pakalpojumā YouTube, ir arī programmatūra, ko izmanto Shamook, dziļi viltotājs, kura neparastais darbs par Lūka Skaivolkera viesu uzstāšanās uzlabošanu filmā The Mandalorian, kas nesen iedvesmoja Lucasfilm lai viņu nolīgtu kā VFX konsultants.

Pielāgots Deepfake ierobežojumiem

Deepfake programmatūras metodoloģija, piemēram, DeepFaceLab un Sejas maiņa to labi apkalpo tipiska tīmekļa kameras vide, un tiek novērsti daudzi autentiskuma šķēršļi, kas joprojām var traucēt bezsaistes dziļās viltošanas gadījumiem.

Piemēram, dziļi viltojumi darbojas mazāk pārliecinoši, kad lietotājs pievēršas profilam (vai paskatās uz augšu), ātri pārvietojas vai ir pakļauts ainas izmaiņām vai pēkšņām apgaismojuma izmaiņām.

Tāpēc tipiskā Zoom zvana vai tīmekļa kameras “statiskais” raksturs atspoguļo programmatūras stiprās puses. Pēdējo trīs gadu laikā daudzos cienījamāko viltojumu viltošanas piemēros skaļruņi ir vērsti tieši pret kameru un ierobežotā vidē kustas ļoti maz, piemēram, Stīva Buscemi uzspiešana Dženiferai Lorensai. Oskara runā, un dažādu politisko raidījumu pārveide “uz kameru”.

Iespējams, visticamākais noklusējuma Margotas Robijas modeļa lietojums, kas iekļauts DeepFaceLive — kameras ieviešanas testa video publicēti Krievijas lietotāja NoFace vietnē DeepFaceLab Discord.

Grozīts 8:52, 7. augusts – labots uzvārds.
Grozīts 8. augustā plkst. 30:8 — pievienoti attēli no Discord.