Andersonův úhel
Menší Deepfakes Můžou Být Větším Nebezpečím
Přidejte Unite.AI mezi své preferované zdroje na Google
Nástroje konverzační umělé inteligence, jako jsou ChatGPT a Google Gemini, se nyní používají k vytváření deepfakes, které nemění tváře, ale spíše v jemnějších způsobech přepisují celou historii uvnitř obrázku. Změnou gest, rekvizit a pozadí tyto úpravy oklamou jak detektory AI, tak lidi, zvyšují tak sázky pro rozpoznání toho, co je online skutečné.
V současné době, zejména ve světle významných legislativních opatření, jako je zákon TAKE IT DOWN, mnozí z nás spojují deepfakes a syntézu identity s nevhodným AI pornem a politickou manipulací – obecně s hrubými zkresleniami pravdy.
To nás přivádí k očekávání, že AI-manipulované obrázky budou vždy cílit na vysoké sázky, kde kvalita renderování a manipulace kontextu může dosáhnout krátkodobého úspěchu.
Historicky však jemnější úpravy často měly závažnější a dlouhodobější účinek – jako například fotografické triky, které umožnily Stalinovi odstranit ty, kteří byli z jeho pohledu nežádoucí, z fotografického záznamu, jak je satirizováno v románu George Orwella 1984, kde protagonista Winston Smith tráví dny přepisováním historie a vytvářením a ničením fotografií.
V následujícím příkladu je problém s druhou fotografií ten, že “nevíme, co nevíme” – že bývalý šéf Stalinovy tajné policie, Nikolaj Ježov, dříve zaujímal místo, kde je nyní pouze bezpečnostní bariéra:
Teď vidíte ho, teď už není… Stalinovy fotografické triky odstraňují z historie nepohodlné osoby. Zdroj: Veřejné domény, prostřednictvím https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html
Takové proudy, často opakované, přetrvávají mnoha způsoby; nejen kulturně, ale i v počítačovém vidění, které odvozuje trendy ze statisticky dominantních témat a motivů ve trénovacích datech. Jako příklad, fakt, že smartphony snížily bariéru vstupu a velmi snížily náklady na fotografii, znamená, že jejich ikonografie se stala nevyhnutelně spojena s mnoha abstraktními koncepty, i když to není vhodné.
Pokud konvenční deepfaking lze považovat za akt “útok”, perzistentní a jemné úpravy audiovizuálního média jsou více podobné “manipulaci”. Navíc, kapacita tohoto typu deepfakingu zůstat nezjištěným, činí obtížným identifikovat jej pomocí stávajících systémů detekce deepfakes (které hledají hrubé změny). Tento přístup je více podobný vodě, která eroduje skálu po dlouhou dobu, než kameni, který je vržen na hlavu.
MultiFakeVerse
Výzkumníci z Austrálie se pokusili řešit nedostatek pozornosti k “jemnému” deepfakingu v literatuře, vytvořením nového rozsáhlého datasetu osobně orientovaných obrazových manipulací, které mění kontext, emoci a narativ bez změny základní identity subjektu:
[caption id="attachment_218825" align="alignnone" width="884"] Vzorky z nové kolekce, reálné/falešné páry, s některými úpravami jemnějšími než ostatní. Poznámka, například, ztrátu autority asijské ženy, v pravém dolním rohu, když je odstraněn její doktorův stetoskop AI. Současně, náhrada doktorova bloku za clipboard nemá žádný zjevný semantický úhel. Zdroj: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview
Název MultiFakeVerse, tato kolekce se skládá z 845 826 obrázků generovaných pomocí modelů vidění a jazyka (VLM), které lze přístupovat online a stáhnout, s povolením.
Autoři uvádějí:
‘Tento VLM-poháněný přístup umožňuje semantické, kontextově-aware úpravy, jako je modifikace akcí, scén a interakcí mezi lidmi a objekty, spíše než syntetické nebo nízkoúrovňové výměny identity a regionálně-specifické úpravy, které jsou běžné v existujících datech.’
‘Naše experimenty ukazují, že současné modely detekce deepfakes a lidské pozorovatele mají potíže s detekcí těchto jemných, ale významných manipulací.’
Výzkumníci otestovali lidské pozorovatele a vedoucí modely detekce deepfakes na svém novém datasetu, aby viděli, jak dobře lze tyto jemné manipulace identifikovat. Lidské pozorovatele měli potíže, správně klasifikovali obrázky jako reálné nebo falešné pouze asi 62% času, a měli ještě větší potíže s identifikací, které části obrázku byly upraveny.
Stávající detektory deepfakes, které byly vyškoleny hlavně na zjevnějších výměnách tváří nebo inpaintingu, fungovaly špatně, často selhaly při registraci, zda byla provedena nějaká manipulace. I po jemném ladění na MultiFakeVerse, zůstaly detekční sazby nízké, ukazující, jak špatně současné systémy zvládají tyto jemné, narativně-řízené úpravy.
Nová práce se jmenuje Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations a pochází od pěti výzkumníků z Monash University v Melbourne a Curtin University v Perthu. Kód a související data byly vydány na GitHubu, kromě hostování Hugging Face zmíněného dříve.
Metoda
Dataset MultiFakeVerse byl vytvořen ze čtyř reálných obrazových sad, které zobrazují lidi v různých situacích: EMOTIC; PISC, PIPA, a PIC 2.0. Začínající s 86 952 původními obrázky, výzkumníci vytvořili 758 041 upravených verzí.
Gemini-2.0-Flash a ChatGPT-4o rámce byly použity k navržení šesti minimálních úprav pro každý obrázek – úprav, které byly navrženy tak, aby jemně změnily, jak by byl nejvýraznější člověk na obrázku vnímán divákem.
Modely byly instruovány k generování úprav, které by učinily subjekt naivním, pyšným, litující, nezkušeným, nebo nezájemným, nebo k úpravě některého faktického prvku scény. Společně s každou úpravou modely také vyprodukovaly odkazující výraz, aby jasně identifikovaly cíl úpravy, zajišťující, že následný proces úpravy mohl aplikovat změny na správnou osobu nebo objekt v každém obrázku.
Autoři vysvětlují:
‘Poznámka, že odkazující výraz je široce prozkoumaná oblast v komunitě, která znamená frázi, která může odlišit cíl v obrázku, například pro obrázek se dvěma muži sedícími na stole, jeden mluví na telefonu a druhý prohlíží dokumenty, vhodný odkazující výraz pro druhého by byl muž vlevo drží kus papíru.’
Jakmile byly úpravy definovány, skutečná úprava obrázků byla provedena pomocí modelů vidění a jazyka, aby aplikovaly specifikované změny, zatímco zbytek scény zůstal nedotčen. Výzkumníci otestovali tři systémy pro tuto úlohu: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; a ICEdit.
Po generování dvacetidvou tisíc vzorkových obrázků, Gemini-2.0-Flash se ukázal jako nejvíce konzistentní metoda, produkoval úpravy, které se přirozeně vmísily do scény bez zavedení viditelných artifactů; ICEdit často produkoval více zjevné padělky, s nápadnými vadami v upravených oblastech; a GPT-Image-1 občas ovlivňoval neočekávané části obrázku, částečně kvůli jeho dodržování pevných výstupních poměrů.
Analýza obrázků
Každý upravený obrázek byl porovnán se svým originálem, aby se určilo, kolik obrázku bylo upraveno. Rozdíly na úrovni pixelů mezi dvěma verzemi byly vypočteny, s malým náhodným šumem filtrován, aby se zaměřil na významné úpravy. V některých obrázcích byly ovlivněny pouze malé oblasti; v jiných byla upravena až osmdesát procent scény.
Pro hodnocení, jakým způsobem se význam každého obrázku změnil v důsledku těchto úprav, byly generovány popisky pro původní a upravené obrázky pomocí ShareGPT-4V modelu vidění a jazyka.
Tyto popisky byly poté převedeny do vektorů pomocí Long-CLIP, což umožnilo porovnat, jak daleko se obsah odchýlil mezi verzemi. Největší semantické změny byly pozorovány v případech, kdy byly upraveny objekty blízko nebo přímo zapojené do osoby, protože tyto malé úpravy mohly výrazně změnit, jak byl obrázek interpretován.
Gemini-2.0-Flash byl poté použit k klasifikaci typu úpravy aplikované na každý obrázek, na základě toho, kde a jak byly úpravy provedeny. Úpravy byly rozděleny do tří kategorií: úrověň osoby zahrnovala změny ve výrazu tváře, póze, pohledu, oblečení nebo jiných osobních rysů subjektu; úrověň objektu zahrnovala změny objektů spojených s osobou, jako jsou objekty, které držel nebo interagoval s nimi na popředí; a úrověň scény zahrnovala prvky pozadí nebo širší aspekty nastavení, které přímo nezapojily osobu.
[caption id="attachment_218826" align="alignnone" width="927"] Datový tok generování datasetu MultiFakeVerse začíná s reálnými obrázky, kde modely vidění a jazyka navrhují narativní úpravy zaměřené na lidi, objekty nebo scény. Tyto instrukce jsou poté aplikovány modely úpravy obrázků. Pravý panel ukazuje podíl úprav na úrovni osoby, objektu a scény v datasetu. Zdroj: https://arxiv.org/pdf/2506.00868
Pоскольку jednotlivé obrázky mohly obsahovat více typů úprav najednou, distribuce těchto kategorií byla mapována napříč datasetem. Přibližně jedna třetina úprav cílených pouze na osobu, asi jedna pětina ovlivňovala pouze scénu a kolem jedné šestiny se omezily na objekty.
Hodnocení vnímaného dopadu
Gemini-2.0-Flash byl použit k hodnocení, jak úpravy mohly změnit vnímání diváka v šesti oblastech: emocích, osobní identitě, dynamice moci, narrativu scény, úmyslu manipulace a etických obavách.
Pro emocionální dopad, úpravy byly často popsány slovy jako radostný, přitažlivý nebo přístupný, naznačující změny v tom, jak subjekty byly emocionálně rámovány. V narativních termínech, slova jako profesionální nebo odlišný indikovala změny v implikované příběhu nebo nastavení:
[caption id="attachment_218827" align="alignnone" width="872"] Gemini-2.0-Flash byl instruován, aby vyhodnotil, jak každá úprava ovlivnila šest aspektů vnímání diváka. Vlevo: příklad strukturního promptu, který řídil hodnocení modelu. Vpravo: word cloud shrnující posuny v emocích, identitě, narrativu scény, úmyslu, dynamice moci a etických obavách napříč datasetem.
Popisy změn identity zahrnovaly termíny jako mladší, hravý a zranitelný, ukazující, jak malé úpravy mohly ovlivnit, jak jsou jedinci vnímáni. Úmysl za mnoha úpravami byl označen jako přesvědčivý, klamavý nebo estetický. Zatímco většina úprav byla označena jako vyvolávající pouze mírné etické obavy, malá část byla považována za vyvolávající středně závažné nebo závažné etické implikace.
Příklady z MultiFakeVerse, ukazující, jak malé úpravy mění vnímání diváka. Žluté rámečky zvýrazňují upravené oblasti, s doprovodnou analýzou změn v emocích, identitě, narrativu a etických obavách.
Metriky
Vizuální kvalita kolekce MultiFakeVerse byla vyhodnocena pomocí tří standardních metrik: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); a Fréchet Inception Distance (FID):
Hodnoty kvality obrázků pro MultiFakeVerse měřené PSNR, SSIM a FID.
Hodnota SSIM 0,5774 odráží mírný stupeň podobnosti, což je konzistentní s cílem zachovat většinu obrázku a aplikovat cílené úpravy; hodnota FID 3,30 naznačuje, že generované obrázky si zachovávají vysokou kvalitu a rozmanitost; a hodnota PSNR 66,30 decibelů ukazuje, že obrázky si zachovávají dobrou vizuální věrnost po úpravě.
Studie uživatelů
Byla provedena studie uživatelů, aby se zjistilo, jak dobře lidé mohou rozpoznat jemné falešné obrázky v MultiFakeVerse. Osmnáct účastníků bylo ukázáno padesát obrázků, rovnoměrně rozdělených mezi reálné a upravené příklady, pokrývající řadu typů úprav. Každá osoba byla požádána, aby klasifikovala, zda je obrázek reálný nebo falešný, a pokud falešný, aby identifikovala, jaký typ úpravy byl aplikován.
Celková přesnost pro rozhodnutí reálný versus falešný byla 61,67 procent, což znamená, že účastníci špatně klasifikovali obrázky více než jednou třetinou času.
Autoři uvádějí:
‘Analyzujeme lidské předpovědi úrovní manipulace pro falešné obrázky, průměrný průnik mezi předpovězenými a skutečnými úrovněmi manipulace byl nalezen jako 24,96%.
‘To ukazuje, že pro lidské pozorovatele není triviální identifikovat oblasti manipulací v našem datasetu.’
Vytvoření datasetu MultiFakeVerse vyžadovalo rozsáhlé výpočetní zdroje: pro generování instrukcí úprav, bylo provedeno přes 845 000 API volání na modely Gemini a GPT, s náklady na tyto úkoly kolem 1000 dolarů; produkce Gemini-založených obrázků stála přibližně 2867 dolarů; a generování obrázků pomocí GPT-Image-1 stálo přibližně 200 dolarů. ICEdit obrázky byly vytvořeny lokálně na GPU NVIDIA A6000, dokončeny za asi 24 hodin.
Testy
Před testy, dataset byl rozdělen do trénovacích, validačních a testovacích sad, výběrem 70% reálných obrázků pro trénování; 10% pro validaci; a 20% pro testování. Upravené obrázky vygenerované z každého reálného obrázku byly přiřazeny ke stejné sadě jako jejich odpovídající originál.
Další příklady reálného (vlevo) a upraveného (vpravo) obsahu z datasetu.
Proveditelnost detekce falešných obrázků byla měřena pomocí přesnosti na úrovni obrázku (zda systém správně klasifikuje celý obrázek jako reálný nebo falešný) a F1 skóre. Pro lokalizaci upravených oblastí, hodnocení používalo Area Under the Curve (AUC), F1 skóre a intersection over union (IoU).
Dataset MultiFakeVerse byl použit proti vedoucím systémům detekce deepfakes na plné testovací sadě, s rivalem rámci CnnSpot; AntifakePrompt; TruFor; a založený na vidění a jazyce SIDA. Každý model byl nejprve vyhodnocen v zero-shot režimu, pomocí jeho původních předtrénovaných váh bez další úpravy.
Dva modely, CnnSpot a SIDA, byly poté jemně upraveny na trénovacích datech MultiFakeVerse, aby se zhodnotilo, zda opětovné trénování zlepšilo proveditelnost.
Výsledky detekce deepfakes na MultiFakeVerse v zero-shot a jemně upravených podmínkách. Čísla v závorkách ukazují změny po jemném upravení.
Z těchto výsledků, autoři uvádějí:
‘[Modely] trénované na dříve inpaint-based fakes zápasí s identifikací našich VLM-Editing založených padělků, zejména CNNSpot tenduje klasifikovat téměř všechny obrázky jako reálné. AntifakePrompt má nejlepší zero-shot výkon s 66,87% průměrnou třídou-vzájemnou přesností a 55,55% F1 skóre.
‘Po jemném upravení na našem trénovacím sadě, pozorujeme zlepšení výkonu v obou CNNSpot a SIDA-13B, s CNNSpot překonávajícím SIDA-13B v průměrné třídě-vzájemné přesnosti (o 1,92%) i F1-Skóre (o 1,97%).’
SIDA-13B byl vyhodnocen na MultiFakeVerse, aby se měřilo, jak přesně může lokalizovat upravené oblasti v každém obrázku. Model byl testován jak v zero-shot režimu, tak po jemném upravení na datasetu.
V jeho původním stavu, dosáhl skóre intersection-over-union 13,10, F1 skóre 19,92 a AUC 14,06, ukazující slabou lokalizační výkonnost.
Po jemném upravení, skóre se zlepšilo na 24,74 pro IoU, 39,40 pro F1 a 37,53 pro AUC. Nicméně, i po další trénink, model měl stále potíže s nalezením přesně toho, kde byly úpravy provedeny, zdůrazňující, jak obtížné může být detekovat tyto druhy malých, cílených změn.
Závěr
Nová studie odhaluje slepou skvrnu v lidském i strojovém vnímání: zatímco většina veřejné debaty o deepfakes se soustředila na senzační výměny identity, tyto tišší “narativní úpravy” jsou obtížnější k detekci a potenciálně více korozivní v dlouhodobém horizontu.
Jako systémy, jako jsou ChatGPT a Gemini, hrají aktivnější roli při generování tohoto druhu obsahu, a jako my sami zvyšujeme účast na úpravách reality našich vlastních fotografií, modely detekce, které spoléhají na rozpoznání hrubých manipulací, mohou nabízet nedostatečnou obranu.
Co MultiFakeVerse demonstruje, není to, že detekce selhala, ale že alespoň část problému se může posunout do obtížnější, pomalejší formy: jedné, kde malé vizuální lži se nahromadí nezpozorovaně.
Poprvé publikováno ve čtvrtek, 5. června 2025
