Mniejsze Deepfakes Mogą Być Większym Zagrożeniem

Narzędzia AI, takie jak ChatGPT i Google Gemini, są teraz wykorzystywane do tworzenia deepfakes, które nie wymieniają twarzy, ale w bardziej subtelny sposób mogą zmienić całą historię wewnątrz obrazu. Poprzez zmianę gestów, rekwizytów i tła, te edycje oszukują zarówno detektory AI, jak i ludzi, zwiększając stawki dla tego, co jest prawdziwe w sieci.

W obecnej sytuacji, szczególnie w następstwie znaczących ustaw, takich jak ustawa TAKE IT DOWN, wiele z nas kojarzy deepfakes i syntezę tożsamości za pomocą AI z niezgodnymi AI pornografiami i manipulacjami politycznymi – ogólnie, brzydkimi zniekształceniami prawdy.

To przyzwyczaja nas do oczekiwania, że AI-manipulowane obrazy zawsze będą miały na celu wysokiej jakości treści, gdzie jakość renderowania i manipulacja kontekstem mogą osiągnąć sukces w krótkim okresie.

Historycznie jednak znacznie bardziej subtelne zmiany miały często bardziej złowieszczy i trwały wpływ – takie jak fotograficzne sztuczki, które pozwoliły Stalinowi usunąć tych, którzy odpadli od władzy z fotograficznego zapisu, jak to zostało sparodiowane w powieści George’a Orwella Rok 1984, gdzie protagonista Winston Smith spędza swoje dni, prze Pisząc historię i tworząc, niszcząc i “poprawiając” zdjęcia.

W następującym przykładzie problem z drugim zdjęciem polega na tym, że “nie wiemy, czego nie wiemy” – że były szef tajnej policji Stalina, Nikołaj Jeżow, zajmował miejsce, w którym teraz jest tylko bariera bezpieczeństwa:

Teraz widzisz go, teraz go nie ma… Stalinowska manipulacja fotograficzna usuwa dyskredytowanego członka partii z historii. Źródło: Domena publiczna, za pośrednictwem https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Bieżące prądy tego rodzaju, często powtarzane, trwają na wiele sposobów; nie tylko kulturowo, ale także w samym widzeniu komputera, które wywodzi trendy z dominujących tematów i motywów w zbiorach danych szkoleniowych. Aby podać przykład, fakt, że smartfony obniżyły barierę wejścia i znacznie obniżyły koszt fotografii, oznacza, że ich ikonografia stała się nieodłącznie związana z wieloma abstrakcyjnymi pojęciami, nawet wtedy, gdy nie jest to odpowiednie.

Jeśli konwencjonalne deepfaking można postrzegać jako akt “napaści”, perwersyjne i trwałe mniejsze zmiany w audio-wizualnych mediach są bardziej podobne do “gaslightingu”. Dodatkowo, zdolność tego rodzaju deepfaking do pozostania niezauważonym sprawia, że trudno je zidentyfikować za pomocą najnowocześniejszych systemów wykrywania deepfakes (które szukają rażących zmian). Ten podejście jest bardziej podobne do wody, która niszczy skałę przez długi czas, niż kamień rzucony w głowę.

MultiFakeVerse

Badacze z Australii podjęli próbę rozwiązania braku uwagi na “subtelne” deepfaking w literaturze, tworząc znaczący nowy zbiór danych manipulacji obrazów osób, które zmieniają kontekst, emocje i narrację bez zmiany podstawowej tożsamości:

Przykłady z nowej kolekcji, pary prawdziwe/fałszywe, z niektórymi zmianami bardziej subtelnymi niż inne. Źródło: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Tytuł MultiFakeVerse, kolekcja składa się z 845 826 obrazów wygenerowanych za pomocą modeli języka i widzenia (VLM), które mogą być udostępnione online i pobrane, z pozwoleniem.

Autorzy stwierdzają:

‘To podejście VLM umożliwia semantyczne, kontekstowo-świadome zmiany, takie jak modyfikacja działań, scen i interakcji człowieka z obiektem, a nie syntetyczne lub niskopoziomowe zamiany tożsamości i edycje regionów, które są powszechne w istniejących zbiorach danych.

‘Nasze eksperymenty ujawniają, że bieżące modele wykrywania deepfakes i ludzie mają trudności z wykryciem tych subtelnych, ale znaczących manipulacji.’

Badacze przetestowali zarówno ludzi, jak i wiodące systemy wykrywania deepfakes na nowym zbiorze danych, aby zobaczyć, jak dobrze te subtelne manipulacje mogą być zidentyfikowane. Uczestnicy ludzcy mieli trudności, prawidłowo klasyfikując obrazy jako prawdziwe lub fałszywe tylko około 62% czasu.

Istniejące detektory deepfakes, przeszkolone głównie na bardziej oczywistych zbiorach danych z zamianą twarzy lub inpainting, radziły sobie słabo, często nie rejestrując, że jakakolwiek manipulacja miała miejsce. Nawet po dostosowaniu do MultiFakeVerse, wskaźniki wykrywania pozostały niskie, ujawniając, jak słabo bieżące systemy radzą sobie z tymi subtelnymi, narracyjnymi edycjami.

Nowy artykuł nosi tytuł Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations i pochodzi od pięciu badaczy z Monash University w Melbourne i Curtin University w Perth. Kod i powiązane dane zostały udostępnione na GitHubie, oprócz wspomnianego wcześniej hostingu Hugging Face.

Metoda

Zbiór danych MultiFakeVerse został zbudowany z czterech rzeczywistych zbiorów obrazów przedstawiających ludzi w różnych sytuacjach: EMOTIC; PISC, PIPA i PIC 2.0. Rozpoczynając od 86 952 oryginalnych obrazów, badacze wyprodukowali 758 041 wersji zmodyfikowanych.

Ramki Gemini-2.0-Flash i ChatGPT-4o zostały wykorzystane do zaproponowania sześciu minimalnych edycji dla każdego obrazu – edycji zaprojektowanych w celu subtelnej zmiany, w jaki sposób najbardziej widoczna osoba na obrazie byłaby postrzegana przez widza.

Modele zostały zinstruowane, aby wygenerować modyfikacje, które sprawiłyby, że temat wydawałby się naiwny, dumny, żałujący, niedoświadczony lub bezczelny, lub dostosować jakiś element faktów w scenie. Wraz z każdą edycją modele również wygenerowały odniesienie, aby wyraźnie zidentyfikować cel modyfikacji, zapewniając, że następny proces edycyjny mógł zastosować zmiany do odpowiedniej osoby lub obiektu w każdym obrazie.

Autorzy wyjaśniają:

‘Uwaga, odniesienie to szeroko eksplorowany obszar w społeczności, który oznacza frazę, która może rozróżnić cel w obrazie, np. dla obrazu z dwoma mężczyznami siedzącymi przy biurku, jednym rozmawiającym przez telefon, a drugim przeglądającym dokumenty, odpowiednie odniesienie do tego ostatniego byłoby mężczyzna po lewej stronie trzymający kartkę papieru.’

Gdy edycje zostały zdefiniowane, rzeczywista manipulacja obrazu została wykonana przez nakłonienie modeli języka i widzenia do zastosowania określonych zmian, pozostawiając resztę sceny nietkniętą. Badacze przetestowali trzy systemy do tego zadania: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; i ICEdit.

Po wygenerowaniu dwudziestu dwóch tysięcy próbek obrazów, Gemini-2.0-Flash okazał się najbardziej spójnym podejściem, produkując edycje, które naturalnie łączyły się ze sceną bez wprowadzania widocznych artefaktów; ICEdit często produkował bardziej oczywiste fałszerstwa, z zauważalnymi wadami w zmodyfikowanych obszarach; i GPT-Image-1 okazjonalnie wpływał na niezamierzone części obrazu, częściowo ze względu na jego zgodność z ustalonymi proporcjami wyjścia.

Analiza Obrazu

Każdy zmodyfikowany obraz został porównany z oryginałem, aby określić, ile obrazu zostało zmienione. Różnice na poziomie pikseli między dwiema wersjami zostały obliczone, z małym losowym szumem odfiltrowanym, aby skoncentrować się na znaczących edycjach. W niektórych obrazach tylko niewielkie obszary zostały dotknięte; w innych do osiemdziesięciu procent sceny zostało zmodyfikowane.

Aby ocenić, jak bardzo znaczenie każdego obrazu zmieniło się w świetle tych zmian, podpisy zostały wygenerowane dla oryginalnych i zmodyfikowanych obrazów za pomocą modelu języka i widzenia ShareGPT-4V.

Te podpisy zostały następnie przekonwertowane na osadzania za pomocą Long-CLIP, co pozwoliło na porównanie, jak daleko zawartość odbiegała między wersjami. Największe zmiany semantyczne wystąpiły w przypadkach, w których obiekty w pobliżu lub bezpośrednio związane z osobą zostały zmienione, ponieważ te małe dostosowania mogły znacznie zmienić, w jaki sposób obraz był interpretowany.

Gemini-2.0-Flash został następnie wykorzystany do klasyfikacji typu manipulacji zastosowanej do każdego obrazu, w zależności od miejsca i sposobu edycji. Manipulacje zostały pogrupowane w trzy kategorie: poziom osoby edycje obejmowały zmiany wyrazu twarzy, pozy, spojrzenia, ubrania lub innych cech osobowych; poziom obiektu edycje dotyczyły przedmiotów związanych z osobą, takich jak przedmioty, które trzymał lub z którymi wchodził w interakcje na pierwszym planie; i poziom sceny edycje obejmowały tło lub szersze aspekty ustawienia, które nie bezpośrednio dotyczyły osoby.

Potok generowania zbioru danych MultiFakeVerse zaczyna się od rzeczywistych obrazów, gdzie modele języka i widzenia proponują edycje narracyjne ukierunkowane na ludzi, obiekty lub sceny. Źródło: https://arxiv.org/pdf/2506.00868

Ponieważ poszczególne obrazy mogły zawierać wiele typów edycji jednocześnie, dystrybucja tych kategorii została odwzorowana w całym zbiorze danych. Około jednej trzeciej edycji dotyczyło tylko osoby, około jednej piątej dotyczyło tylko sceny, a około jednej szóstej była ograniczona do obiektów.

Ocena Wpływu Percepcyjnego

Gemini-2.0-Flash został wykorzystany do oceny, w jaki sposób manipulacje mogą zmienić percepcję widza w sześciu obszarach: emocja, tożsamość osobista, dynamika władzy, narracja sceny, zamierzony cel manipulacji i zagadnienia etyczne.

Dla emocji edycje były często opisywane słowami takimi jak radosny, zaangażowany lub przystępny, sugerując zmiany w tym, jak temat był emocjonalnie przedstawiany. W narracyjnych kategoriach słowa takie jak profesjonalny lub inny wskazywały zmiany w implikowanej historii lub ustawieniu:

Gemini-2.0-Flash został nakłoniony do oceny, w jaki sposób każda manipulacja wpłynęła na sześć aspektów percepcji widza.

Opisy zmian tożsamości obejmowały słowa takie jak młodszy, zabawny i wrażliwy, pokazując, jak niewielkie zmiany mogą wpłynąć na to, jak osoby są postrzegane. Zamierzony cel wielu edycji został oznaczony jako perswazyjny, oszukańczy lub estetyczny. Podczas gdy większość edycji została uznana za podniesienie tylko łagodnych zagadnień etycznych, niewielka część była postrzegana jako mająca umiarkowane lub poważne implikacje etyczne.

Przykłady z MultiFakeVerse, pokazujące, w jaki sposób niewielkie edycje zmieniają percepcję widza.

Metryki

Jakość wizualna kolekcji MultiFakeVerse została oceniona za pomocą trzech standardowych metryk: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); i Fréchet Inception Distance (FID):

Wyniki jakości obrazu dla MultiFakeVerse, zmierzone przez PSNR, SSIM i FID.

Wynik SSIM 0,5774 odzwierciedla umiarkowany stopień podobieństwa, spójny z celem zachowania większości obrazu przy zastosowaniu ukierunkowanych edycji; wynik FID 3,30 sugeruje, że wygenerowane obrazy zachowują wysoką jakość i różnorodność; a wartość PSNR 66,30 decybeli wskazuje, że obrazy zachowują dobrą wierność wizualną po manipulacji.

Badanie Użytkowników

Przeprowadzono badanie użytkowników, aby sprawdzić, jak dobrze ludzie mogą wykryć subtelne fałszerstwa w MultiFakeVerse. Osiemnastu uczestników zostało pokazanych pięćdziesięciu obrazów, równo podzielonych między prawdziwe i zmodyfikowane przykłady, obejmujące różne typy edycji. Każda osoba została poproszona o klasyfikację, czy obraz jest prawdziwy czy fałszywy, a jeśli fałszywy, aby zidentyfikować, jaki rodzaj manipulacji został zastosowany.

Całkowita dokładność decyzji o tym, co jest prawdziwe, a co fałszywe, wyniosła 61,67%, co oznacza, że uczestnicy błędnie sklasyfikowali obrazy ponad jedną trzecią czasu.

Autorzy stwierdzają:

‘Analizując ludzkie przewidywania poziomów manipulacji dla fałszywych obrazów, średni wskaźnik przecięcia między przewidywanymi a rzeczywistymi poziomami manipulacji wyniósł 24,96%.

‘To pokazuje, że nie jest trywialne dla obserwatorów ludzkich identyfikowanie obszarów manipulacji w naszym zbiorze danych.’

Budowa zbioru danych MultiFakeVerse wymagała znacznych zasobów obliczeniowych: do generowania instrukcji edycji, ponad 845 000 wywołań API zostało wykonanych do modeli Gemini i GPT, z tymi zadaniami nakłonienia kosztującymi około 1000 dolarów; tworzenie obrazów Gemini-based kosztowało około 2867 dolarów; a generowanie obrazów za pomocą GPT-Image-1 kosztowało około 200 dolarów. Obrazy ICEdit zostały utworzone lokalnie na NVIDIA A6000 GPU, ukończono zadanie w ciągu około dwudziestu czterech godzin.

Testy

Przed testami zbiór danych został podzielony na zestawy szkoleniowe, walidacyjne i testowe, wybierając najpierw 70% prawdziwych obrazów do szkolenia; 10% do walidacji; i 20% do testowania. Zmodyfikowane obrazy wygenerowane z każdego oryginalnego obrazu zostały przypisane do tego samego zestawu, co odpowiadający im oryginał.

Kolejne przykłady prawdziwej (po lewej) i zmodyfikowanej (po prawej) zawartości z zestawu danych.

Wyniki wykrywania fałszywych obrazów zostały ocenione za pomocą dokładności na poziomie obrazu (czy system prawidłowo klasyfikuje cały obraz jako prawdziwy lub fałszywy) i F1 scores. Do lokalizacji zmodyfikowanych obszarów ocena używała Area Under the Curve (AUC), F1 scores i intersection over union (IoU).

Zbiór danych MultiFakeVerse został wykorzystany przeciwko wiodącym systemom wykrywania deepfakes na pełnym zestawie testowym, z rywalizującymi ramami CnnSpot; AntifakePrompt; TruFor; i opartym na języku i widzeniu SIDA. Każdy model został najpierw oceniony w zero-shot trybie, używając oryginalnych, wstępnie wytrenowanych wag bez dalszych dostosowań.

Dwa modele, CnnSpot i SIDA, zostały następnie dostosowane do danych szkoleniowych MultiFakeVerse, aby ocenić, czy ponowne szkolenie poprawiło wyniki.

Wyniki wykrywania deepfakes na MultiFakeVerse w trybach zero-shot i dostosowanych.

Z tych wyników autorzy stwierdzają:

‘[Modele] przeszkolone na wcześniejszych fałszerstwach opartych na inpainting mają trudności z identyfikacją naszych fałszerstw opartych na edycji VLM, szczególnie CNNSpot ma tendencję do klasyfikowania prawie wszystkich obrazów jako prawdziwe. AntifakePrompt ma najlepsze wyniki zero-shot z 66,87% średniej dokładności klasy i 55,55% F1-Score.

‘Po dostosowaniu do naszego zestawu szkoleniowego obserwujemy poprawę wyników zarówno w CNNSpot, jak i SIDA-13B, z CNNSpot przewyższając SIDA-13B zarówno pod względem średniej dokładności klasy (o 1,92%), jak i F1-Score (o 1,97%).’

SIDA-13B został oceniony na MultiFakeVerse, aby zmierzyć, jak dokładnie może zlokalizować zmodyfikowane obszary w każdym obrazie. Model został przetestowany w trybie zero-shot i po dostosowaniu do zestawu danych.

W swoim oryginalnym stanie osiągnął wynik przecięcia nad związkiem w wysokości 13,10, F1-Score 19,92 i AUC 14,06, co odzwierciedla słabą wydajność lokalizacji.

Po dostosowaniu wyniki poprawiły się do 24,74 dla IoU, 39,40 dla F1 i 37,53 dla AUC. Jednak nawet po dodatkowym szkoleniu model nadal miał trudności z znalezieniem dokładnego miejsca, w którym edycje zostały wykonane, podkreślając, jak trudno jest wykryć tego rodzaju małe, ukierunkowane zmiany.

Wnioski

Nowe badanie ujawnia punkt ślepy zarówno w percepcji ludzkiej, jak i maszynowej: podczas gdy wiele debat publicznych na temat deepfakes koncentruje się na wymianie tożsamości, te ciche “edycje narracyjne” są trudniejsze do wykrycia i potencjalnie bardziej korozyjne w dłuższej perspektywie.

Podczas gdy systemy takie jak ChatGPT i Gemini odgrywają coraz bardziej aktywną rolę w generowaniu tego rodzaju treści, a my sami coraz częściej uczestniczymy w zmianie rzeczywistości naszych własnych strumieni zdjęć, modele wykrywania, które polegają na wykrywaniu rażących manipulacji, mogą zapewnić niewystarczającą obronę.

Czym MultiFakeVerse demonstruje, nie jest to, że wykrywanie nie powiodło się, ale że przynajmniej część problemu może przechodzić w trudniejszą, wolniejszą postać: tam, gdzie małe kłamstwa wizualne gromadzą się niezauważone.

Po raz pierwszy opublikowane w czwartek, 5 czerwca 2025