Skuteččené DeepFake Přenosy S DeepFaceLive

Světově nejvíce používaný deepfake software a ten, který je nejvíce spojen s deepfake pornem, získává novou implementaci – schopnost superponovat deepfakes celebrity podobnosti do živého webkamery.

Otevřený zdroj repozitář DeepFaceLive je aplikace pro Windows 10 postavená na základech DeepFaceLab, která se rychle stala vedoucím zdrojem pro pornografické face-swapping po abandonu původního deepfake softwaru krátce po vzniku celosvětové kontroverze v roce 2018. Obě projekty seznamují fórum sekci deepfake porn webu mrdeepfakes jako oficiální zdroj podpory.

V videu rozhraní DeepFaceLive zveřejněném vývojářem Ivanem Petrovem v dubnu vidíme stažené záběry herce Milese Fishera transformovaného do Toma Cruise v reálném čase. Zdroj: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Včera vedoucí obou projektů, ruský vývojář Ivan Petrov, oznámil novou verzi DeepFaceLive na Discord skupině projektu, přičemž DeepFaceLive nyní zahrnuje trénovaný model herečky Margot Robbie, častého předmětu pornografických videí na mrdeepfakes.

Čtyři ukázkové video klipy byly nahrány, aby demonstrovaly schopnost DeepFaceLive připojit identitu Robbie k jakémukoli mluvčímu v webkamerovém toku.

Jedna z demonstrací Margot Robbie live deepfakingu. Zdroj: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbieho transformační videa byla původně sdílena na Twitchi, ale následně smazána.

Tři další příklady faceswappingu poskytované DeepFaceLive. Požadavek na přibližnou shodu obličeje s cílovým subjektem je stále patrný. V dolním levém obrázku vidíme, že software nemůže účinně maskovat překážky, jak je tomu u DeepFaceLab, protože to vyžaduje trénování masek v aplikaci XSeg DeepFaceLab, metodu, která nemůže být použita pro deepfaking v reálném čase.

Další výchozí model, britského komika a herce Rowana Atkinsona, má být brzy k dispozici pro DeepFaceLive. Původně repozitář DeepFaceLive obsahoval kategorii CELEB_MODEL, kde bylo možné stáhnout další celebrity, včetně Toma Cruise, jako Open Neural Network Exchange (.onnx) soubory, i když tyto adresáře byly odstraněny.

Tom Cruise byl začleněn jako identita pro DeepFaceLive beta zpět v dubnu 2021, ale od té doby byl zřejmě odstraněn jako výchozí v balíčku. Nicméně, model lze stáhnout a nainstalovat, spolu s trénovanými modely z mnoha dalších celebrit a vlastními modely trénovanými koncovými uživateli.

DeepFaceLive běží výhradně jako aplikace pro Windows 10 a je hlášeno jedním uživatelem, že funguje dobře s aplikací NVIDIA (NVDA ) Broadcast.

Získání Identit

Uživatelé nemusí projít zdlouhavým procesem shromažďování materiálu pro dataset, následovaného 3-10 dny nezbytných pro získání velmi dobré shody, protože FAQ pro DeepFaceLive uvádí, že může použít hotové ‘veřejné face modely’, které již byly zkompilovány jinými tvůrci. Ve skutečnosti je největší zdroj takových modelů vlákno Forum-Trained Models (archivní odkaz) na webu mrdeepfakes, které lze vidět v použití jedním ruským koncovým uživatelem v nedávném videu na YouTube.

Vladislav Pedro používá DeepFaceLive k transformaci sebe sama na Toma Cruise v reálném čase. Model, který načte ve videu, je hostován na mrdeepfakes a byl dosud použit pro offline deepfake zpracování. Zdroj: https://www.youtube.com/watch?v=0TcCKtObSnI

Přestože nejlepší výsledky budou získány školením obličeje uživatele proti cílové celebritě, kvalita simulace se zdá být přímo úměrná tomu, jak blízce se uživatel podobá cílové celebritě. Když je uživatel relativně dobře přizpůsoben celebritě, lze získat přesvědčivý výsledek.

Jak je patrné z posledních tří Margot Robbie swapů na obrázcích výše, software nemůže vykonat zázraky, kde má uživatel obličej s radikálně odlišnými obecnými charakteristikami. Nicméně DeepFaceLab může také provést kompletní výměnu hlavy, proces, který zcela přepíše zdrojovou hlavu, i když s omezeními týkajícími se účesů. Komentáře na Discord serveru potvrzují, že tyto lze také implementovat v DeepFaceLive.

DeepFaceLive目前 podporuje pouze NVIDIA GPU, s GTX 750 jako nejnižším hardwarem, který může získat rozumný výsledek s aplikací. Na grafické kartě s 4GB VRAM také vyžaduje 32GB swap disku.

Školení modelu Margot Robbie – obrázek zveřejněný na Discordu DeepFaceLab/DeepFaceLive Ivanem Petrovem. Zde vidíme, že zdrojový dataset je extrémně rozmanitý, zřejmě s cílem vytvořit robustní a dobře generalizovaný model, který může transformovat širokou škálu typů obličejů do obrazu australské herečky. Většina ‘A’ sad je obvykle jedinečná.

Uživatelé hlásí, že DeepFaceLive je extrémně náročné na hardwarové zdroje, ale Petrov odpověděl, že DeepFaceLive je určen pro dobře vybavené počítače v indoor prostředí.

Repozitář DeepFaceLab na GitHubu byl forknut více než 6 000krát, zatímco nová DeepFaceLive aktuálně má 85 forků.

Možné Použití

Komentátoři v vláknu (ruský jazyk) na ruském sociálním webu VK.com spekulují o možném použití DeepFaceLive a zdá se, že objevili všechny pravděpodobné aplikace pro software: jako ‘anonymizační’ nebo rekreační filtr v aplikacích Zoom a podobných; jako prostředek pro spáchání podvodu nebo oklamání osoby, která sleduje živý stream; a – možná nejpravděpodobněji, vzhledem k původu softwaru a uživatelské základně – jako prostředek pro implementaci celebritami zaměřené webové kamerové sexuální práce (viz obrázek na konci článku).

Možnost ‘deepfake cam dívek’ vznikla v médiích před několika lety. V roce 2020 aplikace Avatarify oznámila deepfake celebritami webové kamerové funkčnost, ale na úrovni kvality výrazně nižší než standard stanovený DeepFaceLab, který je nyní repozitářem volby pro nedávné zajímavé Tom Cruise deepfaker Chris Ume, stejně jako vysoké úrovni filmové a televizní produkční společnosti po celém světě.

DeepFaceLab, seed aplikace pro DeepFaceLive a hlášený (ruský jazyk) rámec pro 95% všech deepfakes na YouTube, je také softwarem použitým Shamookem, deepfakerem, jehož výjimečná práce na zlepšení hostování Luke Skywalkera v The Mandalorian nedávno inspirovala Lucasfilm k náboru jako konzultanta VFX.

Adaptováno na Omezení Deepfake

Metodologie deepfake softwaru, jako je DeepFaceLab a FaceSwap, je dobře obsluhována typickým webkamerovým prostředím a odstraňuje mnoho překážek autenticity, které mohou stále sužovat offline deepfakes.

Například deepfakes fungují méně přesvědčivě, když uživatel se otočí do profilu (nebo se dívá nahoru), pohybuje se rychle nebo je vystaven scénám nebo náhlým změnám osvětlení.

Takže ‘statická’ povaha typického hovoru Zoom nebo webkamery hraje do silných stránek softwaru. Mnoho z nejvíce uznávaných příkladů deepfake triků za posledních tři roky ukázalo mluvčí, kteří se dívají přímo do kamery a pohybují se velmi málo v omezeném prostředí, jako je superpozice Steva Buscemiho na Jennifer Lawrence na Oscarovém projevu, a transformace různých ‘do kamery’ politických vysílání.

Nejspíše nejpravděpodobnější použití výchozího modelu Margot Robbie zahrnutého v DeepFaceLive – test implementace kamery, zveřejněný na Discordu DeepFaceLab ruským uživatelem ‘NoFace’.

Opraveno 8:52 pm 7. srpna – Opraveno příjmení.
Opraveno 8:30 pm 8. srpna – přidány obrázky z Discordu.