Krásné filtry jsou potenciálním nástrojem pro útoky deepfake

Krásné filtry již nedělají pouze to, že skrývají nedokonalosti: mohou také pomoci deepfake a tvářích morfům uniknout detekčním systémům. Nová studie ukazuje, že i jemné vyhlazovací účinky mohou zmást detektory AI, takže falešné obrázky vypadají reálně a skutečné vypadají falešně. Pokud bude tento trend pokračovat, krásné filtry by mohly čelit omezením v kontextech s vysokými ставkami, od kontrol na hranicích až po firemní videohovory na platformě Zoom.

V akademické spolupráci z roku 2024 mezi Španělskem a Itálií výzkumníci uvádějí, že 90 % žen ve věku 18-30 let používalo krásné filtry před zveřejněním fotografií na sociálních médiích. V tomto smyslu jsou krásné filtry algoritmickými nebo AI-pomocnými metodami pro změnu vzhledu obličeje, aby vypadal lépe než původní zdroj:

Z výzkumu z roku 2024: příklad ženského (vlevo) a mužského (vpravo) obličeje před a po aplikaci krásného filtru. Filtr změnil rysy, jako je tón pleti, oči, nos, rty, bradu a lícní kosti, aby zvýšil vnímanou atraktivitu. Zdroj: https://arxiv.org/pdf/2407.11981

Takové filtry jsou také široce dostupné jako nativní nebo doplňková funkčnost v populárních videozábavných systémech, včetně Snapchatu a Zoomu, které nabízejí možnost vyhladit “nedokonalou” pleť a dokonce změnit věk subjektu, až do bodu, kdy by mohla být identita podstatně změněna:

Kliknutím se spustí: tři ženy vypnou video “zkrášlovací” filtry, odhalují rozsah, v jakém jsou jejich fyziognomie změněny algoritmy nebo umělou inteligencí. Zdroj: https://www.youtube.com/watch?v=gtCpea_5qxw

Ještě v roce 2020 studie City University of London odhalila, že 90 % mladých uživatelů Snapchatu ve Spojených státech, Francii a Spojeném království používalo filtry ve svých aplikacích, zatímco Meta uvedla, že více než 600 milionů mladých lidí v té době používalo filtry na Facebooku nebo Instagramu.

Při zkoumání negativních dopadů takových filtrů na duševní zdraví zpráva Psychology Today uvedla, že 90 % mladých žen, s průměrným věkem 20 let, buď používaly filtry, nebo nějakým způsobem upravovaly své fotografie. Nejoblíbenějšími filtry byly ty, které vyrovnávaly tón pleti, dávaly opálenou barvu, zesvětlovaly zuby a dokonce snižovaly velikost těla.

Face Off

Jakmile se tváří filtry budou moci těšit z revoluce v roce 2025 v oblasti video syntézy a obecněji z pokračujícího zájmu o tento výzkumný sektor, rozsah, v jakém můžeme “přepřát” nebo si představit sebe sama v živých videohovorech, se stále více dostává do konfliktu se znepokojeními bezpečnostní komunity ohledně podvodných nebo zločinných technik deepfake videa.

Jedním z problémů je, že řada “jednoduchých” testů vyvinutých v posledních letech k odhalení video deepfaku, který může usilovat o podvodné získání velkých částek peněz v firemním kontextu, se stává nevyhovujícím, protože tyto slabiny jsou zohledněny v trénovacích datech a v době inferencing:

Kliknutím se spustí: před několika lety mávání rukou před deepfakovým obličejem bylo spolehlivým testem pro videohovory, ale můžeme vidět, že cílené úsilí ze strany TikToku dělá hluboké změny v klasických “znameních”. Zdroje: Ibid a https://archive.is/mofRV#wavehands

Více kriticky, široké používání tváří měnících/zkrášlujících filtrů znejasňuje vody pro novou a vznikající generaci detektorů deepfaku, jejichž úkolem je udržet podvodníky mimo firemní videohovory a daleko od zranitelných potenciálních obětí “únosu” a “podvodníků”.

Je snazší vytvořit přesvědčivý deepfake, ať už fotografii nebo video, pokud je rozlišení obrazu nízké nebo obraz je nějakým způsobem degradován, protože základní falešný systém může skrýt své vlastní nedostatky za to, co vypadá jako problémy s připojením nebo platformou.

Ve skutečnosti odstraňují nejpopulárnější zkrášlující filtry některé z nejvíce užitečných materiálů pro identifikaci video deepfaku, jako je textura pleti a další obličejové detaily – a stojí za to uvážit, že čím je obličej starší, tím více takových detailů pravděpodobně obsahuje, a proto by mohlo být používání filtrů pro omlazení zvláště lákavé v takovém případě.

Pokud je bezdetailový “android”-podobný vzhled módní, detektoři deepfaku mohou postrádat materiál, který potřebují k rozlišení mezi skutečnými a falešnými obrázky a videem. Zdroj: https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

Paper Royal Society z konce roku 2024 Co je krásné, je stále dobré: efekt aureoly atraktivity v éře krásných filtrů potvrdil, že používání filtrů obecně zvyšuje celkovou atraktivitu u obou pohlaví (ačkoli zvýšená atraktivita tenduje ke snížení obecného odhadu inteligence u žen s krásnými filtry).

Je tedy možné říci, že se jedná o populární technologii; že funguje; a že by to byla určitá kulturní šok, kdyby se náhle stala předmětem bezpečnostních omezení nebo byla zakázána v různých kontextech.

Nicméně, v době, kdy video deepfaky hrozí, že se stanou nerozlišitelnými od skutečných video účastníků, jak ve vzhledu, tak v řeči, je možné, že globální “šum” z krásných filtrů bude muset být v budoucnu zmírněn z bezpečnostních důvodů.

Smooth Criminals

Tento problém byl nedávno zkoumán v novém článku z Univerzity v Cagliari v Itálii, nazvaném Deceptive Beauty: Evaluating the Impact of Beauty Filters on Deepfake and Morphing Attack Detection.

V nové studii výzkumníci aplikovali krásné filtry na obličeje ze dvou referenčních datových sad a otestovali několik detektorů deepfaku a morfingu na původních a upravených obrazech.

V téměř všech případech klesla detekční přesnost po zkrášlení; nejdrastičtější poklesy nastaly, když filtry vyhladily vrásky, zesvětlily tón pleti nebo jemně změnily obličejové rysy. Tyto změny odstranily nebo zkreslily ty podněty, na které se detekční modely spoléhají.

Například nejlepší model na MorphDB ztratil více než 9% přesnosti po filtrování a problém přetrvával napříč několika detekčními architekturami, což naznačuje, že současné systémy nejsou odolné vůči běžným kosmetickým vylepšením.

Autoři uzavírají:

‘[Krásné filtry] představují hrozbu pro integritu biometrické autentizace a forenzní analytických systémů, což činí robustní detekci deepfaku a morfingu pod takovými podmínkami kritickou otevřenou výzvou.

‘Budoucí práce by se měla zaměřit na vývoj systémů pro detekci digitální manipulace, které jsou odolné vůči takovým jemným, reálným úpravám, ať už jsou zlomyslné nebo ne, aby se zajistila spolehlivá identifikace a ověření obsahu v každodenních a bezpečnostně kritických kontextech.’

Method and Data

Aby bylo možné vyhodnotit, jak krásné filtry ovlivňují detekci deepfaku a morfování, výzkumníci aplikovali progresivní vyhlazovací filtr a otestovali výsledky na dvou referenčních konvolučních neuronových sítích (CNN) spojených s cílovým problémem: AlexNet a VGG19.

Každá z dvou referenčních datových sad testovaných obsahovala příklady příslušných obličejových manipulací. První byla CelebDF, velká video referenční datová sada s 590 skutečnými a 5 639 padělanými klipy vytvořenými pomocí pokročilých technik výměny obličejů. Sbírka nabízí širokou škálu osvětlení, poloh hlavy a přirozených výrazů napříč 59 jedinců, což z ní činí vhodnou pro hodnocení odolnosti detektorů deepfaku v reálných médiích:

Příklady postižených obličejových obrazů z CelebDF. Zdroj: https://github.com/yuezunli/celeb-deepfakeforensics

Druhá byla AMSL (registrace vyžadována), datová sada morfingu postavená z Face Research Lab London sbírky, obsahující skutečné a synteticky smíchané obličeje. Datová sada zahrnuje neutrální a úsměvné výrazy od 102 subjektů a byla strukturována tak, aby odrážela realistické výzvy pro biometrické systémy autentizace používané v kontextech, jako je kontrola hranic.

Obrazy ze zdrojové Face Research Lab London set (FRLL) datové sady, používané v AMSL. Zdroj: https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

Každá síť byla trénována na 80 % deepfake nebo morfingové datové sady, s zbývajících 20 % použitých pro validaci. Aby se otestovala odolnost vůči zkrášlování, výzkumníci poté aplikovali progresivní vyhlazovací filtr na testovací obrázky, zvyšující radius rozostření z 3 % na 5 % výšky obličeje:

Příklady obličejů z CelebDF (nahoře) a AMSL (dole) datových sad, zobrazených před a po aplikaci zkrášlujícího filtru. Radius filtru se měnil v závislosti na výšce obličeje, s c = 3 % a c = 5 % produkujícími postupně silnější účinky.

Co se týče metrik, každá model byla hodnocena pomocí Equal Error Rate (EER) na původních a zkrášlených testovacích vzorcích. Analýza také uvádí Bona Fide Presentation Classification Error Rate (BPCER) nebo falešně pozitivní míru a Attack Presentation Classification Error Rate (APCER) nebo falešně negativní míru, pomocí prahové hodnoty nastavené na původních datech.

Morfované obličeje z AMSL datové sady.

Aby se dále vyhodnotila výkonnost, byla zkoumána oblast pod ROC křivkou (AUC) a distribuce skórů pro skutečné a falešné obrázky.

Tests

Ve výsledcích detekce deepfaku oba modely ukázaly rostoucí Equal Error Rates, jak intenzita zkrášlování vzrostla. EER AlexNet vzrostl z 22,3 % na původních obrazech na 28,1 % na nejvyšší úrovni vyhlazování, zatímco EER VGG19 vzrostl z 30,2 % na 35,2 %. Pokles výkonnosti následoval různé vzorce v každém případě:

Výsledky detekce deepfaku na CelebDF datové sadě pomocí AlexNet a VGG19. Oba modely byly testovány na původních a zkrášlených obrazech s rostoucími úrovněmi obličejového vyhlazování. Uvedené metriky zahrnují Equal Error Rate (EER), Bona Fide Presentation Classification Error Rate (BPCER) a Attack Presentation Classification Error Rate (APCER), pomocí prahových hodnot nastavených z původní testovací sady. Přesnost detekce klesala, jak intenzita zkrášlování vzrostla, ačkoli vzorec degradace se lišil mezi architekturami.

Jakmile se zkrášlování zvýšilo, AlexNet se stal více náchylným k záměně skutečných obličejů za falešné, jak je patrné z jeho rostoucí falešně pozitivní míry (BPCER). VGG19 se naopak více potýkal s detekcí falešných obličejů, s rostoucí falešně negativní mírou (APCER). Oba modely reagovaly na filtry odlišně, což naznačuje, že i dobře známé architektury mohou selhat odlišnými způsoby, když se setkají s kosmetickými úpravami.

Aby se lépe pochopily tyto výsledky, výzkumníci aplikovali zkrášlující filtr samostatně na skutečné a falešné obrázky a měřili dopad na detekční výkonnost. Tento rozbor, uveden v tabulce výsledků níže, objasňuje zdroj zranitelnosti každého modelu:

Přehled přesnosti detekce pro AlexNet a VGG19 při částečném zkrášlování na CelebDF datové sadě. Tabulka uvádí tři scénáře: zkrášlené skutečné vs. zkrášlené falešné (F-Real vs F-Fake); zkrášlené skutečné vs. původní falešné (F-Real vs O-Fake); a původní skutečné vs. zkrášlené falešné (O-Real vs F-Fake), s poklesem přesnosti, který naznačuje snížení detekční výkonnosti. AlexNet byl nejvíce ovlivněn, když byly skutečné obrázky zkrášleny, zatímco VGG19 se potýkal nejvíce, když byly falešné obrázky zkrášleny.

Pro AlexNet klesla detekční výkonnost, když byly skutečné obrázky zkrášleny, ale zlepšila se, když byly pouze falešné obrázky vyhlazeny. Pro VGG19 se výkonnost mírně zlepšila se zkrášlenými skutečnými obrázky, ale zhoršila se, když byly deepfaky filtrovány. Ve všech případech silnější zkrášlování snížilo přesnost.

Box-plots zobrazující distribuci skórů výstupu AlexNet a VGG19 na skutečných a falešných vzorcích z CelebDF datové sady, při rostoucích úrovních zkrášlování. Jak se vyhlazování zintenzivňuje, distribuce skórů pro skutečné a falešné obrázky se stávají méně rozlišitelnými, což naznačuje snížení spolehlivosti detekce. AlexNet se stává méně jistým při identifikaci skutečných obličejů, zatímco VGG19 se stává více náchylným k záměně falešných obličejů.

Zkrášlování udělalo skóre AlexNet více uniformní napříč skutečnými a falešnými vzorci, zatímco VGG19 ukázal větší rozptyl uvnitř každé třídy. Přes tyto odlišné účinky na variabilitu skórů oba modely ztratily přesnost. Pro AlexNet se skóre pro skutečné obličeje posunulo blíže k těm pro deepfaky. Pro VGG19 se skóre pro skutečné a falešné obrázky začaly překrývat, což snížilo schopnost modelu je rozlišit.

Článek uvádí:

‘Tyto výsledky mají důležité implikace a ukazují, že je nezbytné zohlednit potenciální použití zkrášlujících filtrů v detekci deepfaku, protože tyto mohou mít nepředvídatelný dopad na výkon. Konkrétně různé architektury reagují odlišně na obličejové manipulace, i když tyto manipulace nejsou určeny k oklamání.

‘Například na základě konkrétního detektoru deepfaku by zkrášlující filtry mohly výrazně změnit výstup, činící skutečné obrázky identifikovanými jako falešné a, ještě kritičtěji, umožňující deepfaku oklamat detekci.

‘Proto je nezbytné soustředit se na vývoj detektorů, které jsou odolnější vůči takovým jemným, ne nutně zlomyslným úpravám, které by mohly sloužit jako kamufláž pro zlomyslné manipulace s deepfaky.’

V scénáři morfingového útoku byl vytvořen syntetický obraz smíchaním obličejových rysů dvou jedinců. Tento obraz byl použit k oklamání systémů rozpoznávání obličejů, umožňujících oběma původním identitám autentizovat se jako stejná osoba. Takové útoky jsou považovány za zvláště relevantní v bezpečnostních kontextech, kde biometrické systémy mohou být oklamané a přijmout morfovaný obraz pro oficiální identifikaci.

Tabulka výše ukazuje výsledky detekce morfingového útoku na AMSL obrazech před a po zkrášlování, s oběma sítěmi ukazujícími strmý nárůst chyb, jak intenzita vyhlazování vzrostla.

V scénáři morfingového útoku se výkonnost zhoršila více dramaticky než v detekci deepfaku. EER AlexNet vzrostl z 27,6 % na 41,2 %, a EER VGG19 z 19,0 % na 37,3 %,Driven především falešně pozitivními výsledky: skutečné obličeje byly klasifikovány jako morfy. S 3% radius vyhlazování dosáhl VGG19 falešně pozitivní míru 90%.

Tento vzorec přetrvával, když byly filtry aplikovány selektivně. Vyhlazování skutečných obličejů zhoršilo detekci, zatímco vyhlazování pouze morfovaných obličejů zlepšilo výsledky. Jak se vyhlazování zintenzivňovalo, obě sítě ukázaly snížení rozlišení mezi skutečnými a falešnými skóry, s VGG19, který se stal zvláště nestabilním.

Tato zjištění, jak autoři uvádějí, naznačují, že zkrášlující filtry by mohly pomoci morfům uniknout detekci ještě účinněji než deepfaky, což vyvolává vážné bezpečnostní obavy.

Částečné příklady (z důvodu omezeného prostoru) toho, jak minimální zkrášlování (3% radius vyhlazování) změnilo klasifikace AlexNet. Vlevo je skutečný obraz klasifikován jako útok po filtrování, a vpravo je morfovaný obraz klasifikován jako autentický po filtrování.

Nakonec výzkumníci zjistili, že i mírné zkrášlující filtry mohou výrazně zhoršit výkon stávajících detektorů deepfaku a morfingu.

Dopad se lišil podle architektury, s AlexNet ukazujícím postupný pokles a VGG19 kolabujícím pod minimálním filtrováním. Jelikož tyto filtry jsou běžné a nejsou nutně zlomyslné, jejich schopnost skrýt útoky představuje, jak autoři naznačují, praktickou hrozbu, zvláště v biometrických systémech. Článek zdůrazňuje potřebu detekčních modelů, které jsou odolnější vůči takovým jemným obrazovým úpravám.

Závěr

Jedním z důvodů, proč může být obtížné trénovat detektory deepfaku, které mohou ignorovat zkrášlující filtry, je nedostatek kontrastních materiálů; nakonec je “zkrášlená” verze ta, která se široce šíří, a na rozdíl od videa, které jsme vložili jako ilustraci, je velmi vzácné, aby byl “předchozí” snímek aplikován.

Jiným překážkou je, že mnoho filtrů provádí přesně ten druh vyhlazování, který je typický pro kompresní operace při ukládání obrázků nebo kompresi videa (což je výhodou pro poskytovatele šířky pásma, kromě toho, že je digitální make-up pro ty, kteří filtr používají).

Odvětví výzkumu detekce deepfaku je již hluboce zapojeno do boje proti skutečným případům degradace obrazu způsobené problémy, jako je nízká kvalita kamer, nadměrná komprese nebo nestabilní síťová konektivita – všechny tyto podmínky jsou přímým benefitem pro deepfake podvodníky, kteří jsou nuceni snažit se mnohem více v scénáři s vysokou kvalitou a vysokým rozlišením.

Je otázkou, zda zkrášlující filtry nakonec budou považovány za bezpečnostní riziko, zda se stanou předmětem omezení nebo budou zakázány v různých kontextech. Zda se stanou bezpečnostním rizikem, závisí na tom, do jaké míry budou bránit metodám detekce deepfaku nebo se stanou de facto ohnivou zdí, která bude více prospěšná pro zlomyslníky než pro ty, kteří je bojují.

Poprvé publikováno ve středu 24. září 2025