DeepFake Streaming v reálném čase s DeepFaceLive

Světově nejpoužívanější deepfake software a ten, který je nejvíce spojován s deepfake pornem, dostává novou implementaci – schopnost překrývat deepfake podobizny celebrity do živého záznamu z webové kamery.

Úložiště s otevřeným zdrojovým kódem DeepFaceLive je aplikace pro Windows 10 postavená na základech DeepFaceLab, který se rychle stal předním zdrojem pro výměnu obličejů na základě porna poté, co tvůrce původního deepfake softwaru opustil projekt krátce po příchodu deepfakingu vyvolalo v roce 2018 celosvětovou kontroverzi. Oba projekty lest sekce fóra deepfake porno stránky mrdeepfakes jako oficiální zdroj podpory.

Ve videu s rozhraním DeepFaceLive, které v dubnu vydal vývojář Ivan Petrov, vidíme stažené záběry imitátora Milese Fishera, jak se v reálném čase proměňuje v Toma Cruise. Zdroj: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Včera vedoucí obou projektů, ruský developer Ivan Petrov, oznámila, nová verze DeepFaceLive na projektové skupině Discord s tím, že DeepFaceLive nyní zahrnuje vycvičenou modelku herečky Margot Robbie, která je častým předmětem pornografických videí na mrdeepfakes.

Byly nahrány čtyři ukázkové videoklipy, které demonstrují schopnost DeepFaceLive připojit identitu Robbieho k jakémukoli reproduktoru ve zdroji webové kamery.

Jedna z ukázek živého deepfakingu Margot Robbie. Zdroj: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Videa transformace Robbieho byla původně sdílena na Twitchi, ale následně byla smazána.

Tři další příklady faceswappingu poskytované DeepFaceLive. Požadavek na přibližnou shodu obličeje s cílovým objektem je stále v platnosti. Na obrázku vlevo dole vidíme, že software nemůže účinně maskovat překážky, jak lze dosáhnout v DeepFaceLab, protože to vyžaduje trénování masek v aplikace XSeg z DeepFaceLab, metody, kterou nelze použít na předstírání v reálném čase.

Další výchozí model britského komika a herce Rowana Atkinsona má být brzy zpřístupněn pro DeepFaceLive. Původně repozitář DeepFaceLive obsahoval kategorii CELEB_MODEL, kde bylo možné stáhnout další celebrity, včetně Toma Cruise, jako Open Neural Network Exchange (.onnx) soubory, ačkoli tyto adresáře byly mezitím smazány.

Tom Cruise byl integrovanou identitou pro beta verzi DeepFaceLive v dubnu 2021, ale od té doby byl zjevně odstraněn jako výchozí v balíčku. Model však lze stáhnout a nainstalovat spolu s trénovanými modely od mnoha dalších celebrit a vlastními modely trénovanými koncovými uživateli.

DeepFaceLive běží výhradně jako aplikace pro Windows 10 a je hlášeny jedním uživatelem, aby dobře fungovalo s živým vysíláním NVIDIA Broadcast aplikace.

Získání identit

Uživatelé nemusí procházet pracným procesem shromažďování materiálu obličeje pro datovou sadu, po kterém následuje 3–10 dní nezbytných k získání velmi dobré shody, protože FAQ pro DeepFaceLive uvádí, že může používat běžně dostupné „modely tváří“ které již byly sestaveny jinými tvůrci. Ve skutečnosti je největším zdrojem takových modelů Modely vyškolené na fóru (odkaz na archiv) vlákno na pornostránce mrdeepfakes, které může vidět jeden ruský koncový uživatel v nedávné video z YouTube.

Vladislav Pedro se pomocí DeepFaceLive proměnil v Toma Cruise v reálném čase. Model, který nahraje do videa, je hostován na mrdeepfakes a dosud byl používán pro offline zpracování deepfake. Zdroj: https://www.youtube.com/watch?v=0TcCKtObSnI

Ačkoli nejlepších výsledků bude dosaženo trénováním obličeje koncového uživatele proti cílové celebritě, zdá se, že kvalita simulace je přímo úměrná tomu, jak blízko se koncový uživatel podobá cíli. Když je uživatel poměrně dobře přizpůsobený celebritě, lze dosáhnout přesvědčivého výsledku.

Jak je patrné z posledních tří výměn Margot Robbie na obrázcích výše, software nedokáže zázraky tam, kde má tvář koncového uživatele radikálně odlišné obecné vlastnosti. DeepFaceLab však také umí provést výměnu celé hlavy, proces, který zcela přepíše zdrojovou hlavu, i když s omezeními, pokud jde o účesy. Komentáře na serveru Discord potvrzují, že je lze implementovat také v DeepFaceLive.

DeepFaceLive v současné době podporuje pouze GPU NVIDIA, přičemž GTX 750 je nejnižší hardware, který dokáže s aplikací dosáhnout rozumného výsledku. Na grafické kartě se 4 GB paměti VRAM vyžaduje také 32 GB místa na odkládacím disku.

Trénink modelky Margot Robbie – obrázek posted v DeepFaceLab/DeepFaceLive Discord od Ivana Petrova. Zde vidíme, že zdrojová datová sada je extrémně různorodá, zjevně se záměrem vytvořit robustní a dobře zobecněný model, který dokáže transformovat širokou škálu typů obličeje do obrazu australské herečky. Většina 'A' sad je obvykle od jednoho jednotlivce.

Uživatelé hlásí, že DeepFaceLive je extrémně náročný z hlediska hardwarových zdrojů, ale Petrov na to reagoval tvrzením, že DeepFaceLive je určen pro kvalitní počítače ve vnitřním prostředí.

DeepFaceLab GitHub byl rozeklaný více než 6,000krát, zatímco nový DeepFaceLive má aktuálně 85 vidlic.

Možné použití

Komentátoři v a závit (ruský jazyk) na ruské sociální stránce VK.com spekulují o možném použití DeepFaceLive a zdá se, že rozpoznali všechny pravděpodobné aplikace pro tento software: jako „anonymizační“ nebo rekreační filtr v Zoomu a podobných aplikacích; jako prostředek ke spáchání podvodu nebo klamání osoby sledující živý přenos; a – možná nejpravděpodobněji, ve světle původu softwaru a uživatelské základny – jako prostředek implementace sexuální práce založené na webových kamerách zaměřené na celebrity (viz obrázek na konci článku).

Možnost 'deepfake cam girls' vynořil v médiích před pár lety. V roce 2020 aplikace Avatarify oznámila, hluboce falešná funkce webové kamery celebrit, ale ve výrazné kvalitě nižší než standard stanovený DeepFaceLab, který je nyní úložiště dle výběru pro nedávné popadat titulek Tom Cruise deepfaker Chris Ume, stejně jako filmové a televizní produkční společnosti na vysoké úrovni po celém světě.

DeepFaceLab, seed aplikace pro DeepFaceLive a hlášeny (ruský jazyk) framework pro 95 % všech deepfakes na YouTube, je také software používaný Shamookem, deepfakerem, jehož mimořádné práce o vylepšení hostování Luka Skywalkera ve filmu Mandalorian, který nedávno inspiroval Lucasfilm najmout ho jako VFX konzultant.

Přizpůsobeno omezením Deepfake

Metodika deepfake softwaru, jako je DeepFaceLab a Výměna tváře je dobře obsluhován typickým prostředím webové kamery a odstraňuje mnoho překážek autenticity, které mohou stále sužovat off-line deepfakes.

Například deepfakes fungují méně přesvědčivě, když se uživatel otočí na profil (nebo vzhlédne), rychle se pohybuje nebo je vystaven změnám scény nebo náhlým změnám osvětlení.

Proto „statická“ povaha typického hovoru Zoom nebo webové kamery hraje ve prospěch silných stránek softwaru. Mnoho z nejuznávanějších příkladů deepfake triků za poslední tři roky obsahovalo reproduktory, které stály přímo před kamerou a pohybovaly se jen velmi málo v omezeném prostředí, jako je například uvalení Steva Buscemiho na Jennifer Lawrence. při oscarovém projevua transformace různých politických vysílání „na kameru“.

Pravděpodobně nejpravděpodobnější použití výchozího modelu Margot Robbie zahrnutého v DeepFaceLive – video testu implementace kamery zveřejněn na DeepFaceLab Discord od ruského uživatele 'NoFace'.

Upraveno ve 8:52 7. srpna – Opraveno příjmení.
Upraveno 8. srpna 30:8 – přidány obrázky z Discordu.