Reálné hluboké podvody s DeepFaceLive

Nejpoužívanější software pro hluboké podvody a ten, který je nejvíce spojen s pornografickými hlubokými podvody, dostává novou implementaci – schopnost superponovat hluboké podvody podobnosti celebrity do živého videa z webové kamery.

Otevřený repozitář DeepFaceLive je aplikace pro Windows 10 postavená na základech DeepFaceLab, která se rychle stala vedoucím zdrojem pro výměnu obličejů založenou na pornografii poté, co tvůrce původního softwaru pro hluboké podvody opustil projekt krátce po vzniku celosvětové kontroverze v roce 2018. Obě projekty seznamují fórum sekci webu mrdeepfakes jako oficiální zdroj podpory.

Ve videu rozhraní DeepFaceLive zveřejněném vývojářem Ivanem Petrovem v dubnu vidíme stažené video imitátora Milese Fishera transformovaného na Toma Cruise v reálném čase. Zdroj: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Včera vedoucí obou projektů, ruský vývojář Ivan Petrov, ohlásil novou verzi DeepFaceLive na Discord skupině projektu, přičemž poznamenal, že DeepFaceLive nyní zahrnuje trénovaný model herečky Margot Robbie, častého předmětu pornografických videí na mrdeepfakes.

Čtyři ukázková videa byla nahrána, aby demonstrovala schopnost DeepFaceLive připojit identitu Robbie k jakékoli osobě ve webové kameře.

Jedna z demonstrací Margot Robbie hlubokých podvodů v reálném čase. Zdroj: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Videa transformace Robbie byla původně sdílena na Twitch, ale následně smazána.

Tři další příklady výměny obličejů poskytované DeepFaceLive. Požadavek na přibližnou shodu obličeje s cílovým subjektem je stále patrný. V dolním levém obrázku vidíme, že software nemůže účinně maskovat překážky, jako je tomu u DeepFaceLab, protože to vyžaduje trénování masek v aplikaci XSeg DeepFaceLab, metodu, která nemůže být použita pro hluboké podvody v reálném čase.

Další výchozí model, britského komika a herce Rowana Atkinsona, má být brzy k dispozici pro DeepFaceLive. Původně repozitář DeepFaceLive obsahoval kategorii CELEB_MODEL, kde bylo možné stáhnout další celebrity, včetně Toma Cruise, jako soubory Open Neural Network Exchange (.onnx), ale tyto adresáře byly odstraněny.

Tom Cruise byl začleněn do betaverze DeepFaceLive zpět v dubnu 2021, ale od té doby byl zřejmě odstraněn jako výchozí v balíčku. Nicméně, model lze stáhnout a nainstalovat, spolu s trénovanými modely mnoha dalších celebrit a vlastními modely trénovanými koncovými uživateli.

DeepFaceLive běží výhradně jako aplikace pro Windows 10 a je hlášeno jedním uživatelem, že funguje dobře s aplikací NVIDIA Broadcast.

Získání identit

Uživatelé nemusí projít zdlouhavým procesem shromažďování materiálu pro dataset, následovaného 3-10 dny nezbytných pro získání velmi dobré shody, protože FAQ pro DeepFaceLive uvádí, že může použít hotové ‘veřejné modely obličeje’, které již byly zkompilovány jinými tvůrci. Ve skutečnosti je největší zdroj takových modelů vlákno Forum-Trained Models (archivovaný odkaz) na webu mrdeepfakes, které lze vidět v použití jedním ruským koncovým uživatelem v nedávném videu na YouTube.

Vladislav Pedro používá DeepFaceLive k transformaci na Toma Cruise v reálném čase. Model, který načte ve videu, je hostován na mrdeepfakes a byl dosud použit pro offline zpracování hlubokých podvodů. Zdroj: https://www.youtube.com/watch?v=0TcCKtObSnI

Ačkoli nejlepší výsledky budou získány školením obličeje koncového uživatele proti cílové celebritě, kvalita simulace se zdá být přímo úměrná tomu, jak blízce se uživatel podobá cílové celebritě. Když je uživatel relativně dobře přizpůsoben celebritě, lze získat přesvědčivý výsledek.

Jak je zřejmé z posledních tří swapů Margot Robbie v obrázcích výše, software nemůže provádět zázraky, pokud má uživatel obličej s radikálně odlišnými obecnými charakteristikami. Nicméně, DeepFaceLab může také provést kompletní výměnu hlavy, proces, který zcela přepíše zdrojovou hlavu, ačkoli s omezeními týkajícími se vlasů. Komentáře na Discord serveru potvrzují, že tyto lze také implementovat v DeepFaceLive.

DeepFaceLive目前 podporuje pouze grafické karty NVIDIA, s GTX 750 jako nejnižším hardwarovým požadavkem, který může získat rozumný výsledek s aplikací. Na grafické kartě s 4GB VRAM také vyžaduje 32GB swap disku.

Školení modelu Margot Robbie – obrázek zveřejněný na Discordu DeepFaceLab/DeepFaceLive Ivanem Petrovem. Zde vidíme, že zdrojový dataset je extrémně rozmanitý, zřejmě s úmyslem vytvořit robustní a dobře zobecněný model, který může transformovat širokou škálu typů obličejů na obraz australské herečky. Většina ‘A’ sad je obvykle jednoho jednotlivce.

Uživatelé hlásí, že DeepFaceLive je extrémně náročný na hardwarové zdroje, ale Petrov odpověděl, že DeepFaceLive je určen pro dobře vybavené počítače v indoor prostředí.

Repozitář DeepFaceLab na GitHubu byl forknut více než 6 000krát, zatímco nový DeepFaceLive目前 má 85 forků.

Možné použití

Komentátoři v vláknu (ruský jazyk) na ruském sociálním webu VK.com spekulují o možném použití DeepFaceLive a zdá se, že zjistili všechny pravděpodobné aplikace softwaru: jako ‘anonymizace’ nebo rekreační filtr v aplikacích Zoom a podobných; jako prostředek pro spáchání podvodu nebo oklamání osoby, která sleduje živý přenos; a – možná nejpravděpodobněji, vzhledem k původu softwaru a jeho uživatelům – jako prostředek pro implementaci celebritami zaměřené webové kamerové sexuální práce (viz obrázek na konci článku).

Možnost ‘deepfake kamgirls’ vznikla v médiích před několika lety. V roce 2020 aplikace Avatarify ohlásila funkci hlubokých podvodů s celebritami na webové kameře, ale na úrovni kvality výrazně nižší než standard stanovený DeepFaceLab, který je nyní repozitářem volby pro recentní zpravodajsky známé hluboké podvody Toma Cruise, jakož i filmová a televizní produkční společnost po celém světě.

DeepFaceLab, základní aplikace pro DeepFaceLive a hlášený (ruský jazyk) rámec pro 95% všech hlubokých podvodů na YouTube, je také softwarem, který používá Shamook, hluboký podvodník, jehož mimořádná práce na zlepšení hostování Lukea Skywalkera v The Mandalorian nedávno inspirovala Lucasfilm k náboru jako konzultanta VFX.

Adaptován na omezení hlubokých podvodů

Metodologie softwaru pro hluboké podvody, jako je DeepFaceLab a FaceSwap, je dobře sloužena typickým prostředím webové kamery a odstraňuje mnoho překážek autenticity, které mohou stále sužovat offline hluboké podvody.

Například hluboké podvody fungují méně přesvědčivě, když uživatel se otočí do profilu (nebo se dívá nahoru), pohybuje se rychle, nebo je vystaven scénám nebo náhlým změnám osvětlení.

Proto ‘statická’ povaha typického hovoru Zoom nebo webové kamery hraje do silných stránek softwaru. Mnoho nejvíce uznávaných příkladů hlubokých podvodů za posledních tři rokyfeatured mluvčí, kteří hledí přímo do kamery a pohybují se velmi málo v omezeném prostředí, jako je například superpozice Steva Buscemiho na Jennifer Lawrence na Oscarovém projevu, a transformace různých ‘do kamery’ politických vysílání.

Nejspíše použití výchozího modelu Margot Robbie zahrnutého v DeepFaceLive – test implementace kamery, zveřejněný na Discordu DeepFaceLab ruským uživatelem ‘NoFace’.

Opraveno 8:52pm 7. srpna – Opraveno příjmení.
Opraveno 8:30pm 8. srpna – přidány obrázky z Discordu.