Dokładność wykrywania deepfake spada o 49% w ciągu roku postępu wideo AI

Z zainteresowaniem zauważam nowy ukraiński dokument, który wskazuje, że starsze pokolenie detektorów deepfake wideo radzi sobie bardzo słabo z aktualnymi, najnowocześniejszymi wideo generowanymi przez genAI, niezależnie od tego, czy generatory są otwarto‑źródłowe, lokalne instalacje AI, takie jak Wan 2.2 firmy Alibaba lub Hunyuan Video; czy modele dostępne wyłącznie przez API, zamknięte, takie jak Grok Imagine lub Kling.

Kliknij, aby odtworzyć (ZAWARTOŚĆ AUDIO). Trzy przykłady z kategorii „Direct to camera casual” w zestawie danych DF26. Źródło 

W 2024 roku inny dokument już wykazał, że zdolność człowieka do wykrywania wideo AI wynosiła nieznacznie powyżej losowego, czyli 57 %. To, co dodaje nowa praca (zatytułowana DF26: Nie potrafimy już odróżnić fałszywego od prawdziwego), to empiryczny dowód, że automatyczne detektory deepfake dramatycznie spadły w skuteczności od tego czasu – z 94 % do 48 %, w obliczu najnowszych wyjść wideo genAI.

Z nowego zestawu danych wygenerowanego dla tej pracy, przykłady wideo wygenerowanych metodą obraz‑do‑wideo i tekst‑do‑wideo (poniżej), porównane z prawdziwymi wideo po lewej stronie. Korpus koncentruje się na „perswazyjnych” i wiarygodnych ujęciach głowy i ramion, które są obecnie jednymi z najbardziej niepokojących dziedzin genAI. Źródło

Najbardziej stromy spadek w testach przeprowadzonych dla tej pracy wynosi 49 %. Ponieważ wcześniejszy benchmark pochodzi z 2025 roku, a nowa praca testuje szereg najnowszych modeli wideo z generacji 2026, ta wartość oznacza prawie rok pogorszenia skuteczności wykrywania wideo AI.

Szczegóły modeli użytych do generowania wideo, przeciwko którym testowano detektory.

Zamknięte, komercyjne modele użyte do wygenerowania tego wyjścia, które pokonuje detektory, to Grok 1.0; Kling 3.0; Veo 3.1; oraz Wan 2.6. Dla nich wygenerowano jedynie przykłady tekst‑do‑wideo, ponieważ próby generowania obraz‑do‑wideo (I2V) często wywoływały filtry dotyczące „generacji deepfake”, lub naruszałyby regulamin platformy.

Spójrz w moje oczy

Te wyzwalacze wystąpiły prawdopodobnie dlatego, że badacze skupili się na najbardziej potencjalnie potężnej, a być może i złowrogiej formie perswazji wideo – różnorodnych wariacjach wideo typu „głowa i ramiona” oraz „mówiąca głowa”, w których podmioty rozmawiają z kamerą, tak jak w filmach influencerów na YouTube i TikTok, lub w scenariuszu raportowania wiadomości (w tym wywiady prowadzane przez połączenia satelitarne itp.).

Autorzy twierdzą, że te scenariusze są głównymi celami działalności deepfake, nie tylko dlatego, że reprezentują kontekst „influencera” oraz różne inne „informacyjne” – konteksty, w których istnieje założenie wcześniejszego zaufania, a więc relacja ta ma duży potencjał nadużyć (co naturalnie dotyczy przynajmniej w równym stopniu fałszywych połączeń wideo, choć badacze nie zajmują się tym tematem).

Z szczytu ery deepfake opartej na autoenkoderze, manipulacja autentycznym materiałem Richarda Nixona pozwoliła zasymulować jego ogłoszenie o śmierci astronautów Apollo 9 w 1969 roku – wydarzenie, które nigdy nie miało miejsca, ale którego rzeczywisty scenariusz został użyty do nałożenia sfałszowanego głosu i ruchów warg.

Poza skupieniem się na tym scenariuszu influencera, nowy benchmark – oraz stworzone dla niego wideo – koncentrują się na ocenie całego kadru wideo, w przeciwieństwie do historycznych strategii wykrywania deepfake.

Te starsze strategie wykorzystywały manipulację twarzą lub manipulację wyrazu, albo podmianę twarzy (lub w najlepszym wypadku całej głowy) w prawdziwych wideo – co faktycznie było jedynym rozsądnym podejściem, dopóki modele oparte na dyfuzji nie stały się wystarczająco skuteczne, aby je zastąpić w ciągu ostatnich 18‑24 miesięcy.

Odwróć twarz

To już nie jest tak robione; starsza metoda oparta na autoenkoderze sięga początków deepfake pod koniec 2017 roku; a technika ta, która zastępuje jedynie obszar w obrębie zewnętrznych konturów twarzy, została całkowicie wyczerpana do 2022 roku.

Główne pole działań deepfake, 2017‑2023 – ale dla nowej generacji platform wideo genAI nie ma takiej granicy, aby skoncentrować uwagę. Źródło

Niemniej jednak, ponieważ sektor badań naukowych uwielbia stałą długoterminową – gdzie cel jest stały, a różnorodne, rozwijające się podejścia mogą być przeciwko niemu testowane przez lata/dziesięciolecia – metody wykrywania deepfake oparte na „zastępowaniu/zmianie wewnętrznej twarzy” utrzymały się w literaturze oraz w komercyjnych ofertach wykrywania, znacznie dłużej niż ważność docelowej technologii.

Oprócz trzech zamkniętych modeli testowanych w nowej pracy, przetestowano także trzy bardzo wydajne modele open source dostępne dla konsumentów: Wan 2.2 A14B; HunyuanVideo 1.5; oraz LTX 2.3, który ostatnio oszałamia społeczność FOSS genAI. Seria LTX potrafi również generować mowę:

Kliknij, aby odtworzyć: eksperymenty z serią LTX na r/stablediffusion, której społeczność zajmuje się wyłącznie modelami FOSS. Source 

Projekt Danych

Autorzy zamierzają, aby ich nowy zestaw danych, DF26, był zestawem „hold-out” do oceny nieznanych materiałów. Zbiór składa się z 2 691 filmów w trzech scenariuszach wystąpień publicznych: bezpośrednie wystąpienia do kamery lub swobodne przemowy; oficjalne oświadczenia; oraz wywiady studyjne.

Wszystkie klipy wideo generowane przez SI oparto na 271 rzeczywistych klipach wyselekcjonowanych z OpenVid; TalkingCelebs; oraz MAVOS-DD.

Próbka z kolekcji OpenVid, z której pozyskano 271 rzeczywistych filmów jako materiał wyjściowy dla wideo generowanych przez SI w zbiorze DF26. Dwa inne zestawy danych również przyczyniły się do tego nie‑fałszywego komponentu DF26. Source

271 rzeczywistych filmów wykorzystano do generowania wideo SI, wyprowadzając dopasowane zapytania sceniczne z ich klatek, a następnie podając te zapytania – oraz pierwszą klatkę, gdy było to możliwe – do siedmiu modeli generacji wideo, co dało łącznie 2 420 syntetycznych klipów.

Autorzy zapewnili, że żadne rzeczywiste klatki zawierające nakładki tekstowe (np. informacje o tym, kto mówi, itp.) nie były dopuszczane do procesów generacji, ponieważ mogłyby zachęcać do skrótów i założeń. Kandydackie klipy oceniono przy pomocy Gemini 2.5.

Dodatkowo odrzucono segmenty zawierające więcej niż jedną twarz, aby wymusić ustawienie „jednego mówcy”.

Kliknij, aby odtworzyć [NO SOUND]. Z zestawu danych powiązanego z artykułem pochodzą przykłady najnowocześniejszych generacji wideo przy użyciu siedmiu najnowszych i najpotężniejszych modeli generatywnych, zarówno otwartych, jak i zamkniętych. Modele użyte w zestawie danych obejmują także te zdolne do generowania mowy (zobacz przykłady wcześniej w tym artykule). Source

Badacze wykorzystali popularną komercyjną platformę Higgsfield AI, która udostępnia szeroką gamę modeli zamkniętych i otwartych, o różnorodnych poziomach kontroli i środków zabezpieczających.

Korzystając z NVIDIA H200 (141 GB pamięci VRAM) jako podstawowego modelu GPU w wewnętrznym klastrze badawczym, wygenerowanie 1 626 filmów do zbioru zajęło około 440 godzin GPU.

Oprócz zapewnienia, że w wyniku nie pojawia się żaden tekst, konieczne było także ukrycie lub ogólnie unikanie przedstawiania znaków wodnych AI, gdyż również to mogłoby stanowić potencjalny „skrót” dla oceniającego lub systemu oceny.

Testy

Podstawową miarą używaną w końcowej rundzie testów była Pole pod Krzywą ROC (AUC / AUROC), a jako miara uzupełniająca zastosowano Równą Stopę Błędu (EER).

Detektory oparte na klatkach (oceniające pojedyncze klatki niezależnie) przetestowano na 32 równomiernie rozmieszczonych klatkach z każdego wideo, a wyniki następnie uśredniono do jednej wartości. Detektory czasowe (wykorzystujące informacje z kolejnych klatek) analizowały natomiast samą sekwencję wideo.

Wyniki detektorów czasowych DFD-FCG i PwTF-DVD przedstawiono poniżej, wraz z wynikami dla ForAda; Effort; FSFM; GenD-CLIP oraz GenD-DINO; oraz DFD-HR. Wszystkie były trenowane na renomowanym zestawie danych FaceForensics++.

Wyniki testów porównujące detektory deepfake na CelebDF++ i DF26. Wszystkie detektory były trenowane na FaceForensics++, przy czym wyższy AUROC i niższy EER wskazują lepszą wydajność.

Autorzy zauważają, że większość detektorów radzi sobie dobrze na Celeb-DF++ (CDFv3), ale gwałtownie spada w wydajności na bardziej wymagającym nowym zbiorze DF26.

‘[Multiple] detektory najnowszej generacji osiągają wysoką wydajność na benchmarku CelebDF++ [16] (CDFv3), przy czym metody czasowe osiągają AUROC 94,3 i 92,3.

‘Jednak ich wydajność spada znacznie na DF26, do 48,2 i 61,6 AUROC, odpowiednio.

‘Większość metod znacznie pogarsza się, pozostając blisko losowości; najwyższe AUROC 69,7 osiąga GenD-PE.

‘To pokazuje, że DF26 jest trudniejszym benchmarkiem dla najnowocześniejszych detektorów.’

Obserwowano, że image-to-video okazało się trudniejsze do wykrycia niż text-to-video, zarówno dla ludzi, jak i automatycznych detektorów, przy czym PwTF-DVD radził sobie najlepiej z materiałem I2V, a GenD-PE prowadził w T2V.

Wydajność różniła się dramatycznie w zależności od tego, który generator stworzył fałszywy film, co sugeruje, że detektory często uczą się śladów charakterystycznych dla konkretnego generatora, a nie ogólnego podpisu syntetycznego wideo. PwTF-DVD, na przykład, osiągnął 92,9 AUROC na wyjściu text-to-video z Wan 2.2, ale spadł do poziomu zbliżonego do losowości przy HunyuanVideo 1.5 – mimo że oba należały do tego samego nowoczesnego krajobrazu generacji:

Wydajność detektorów w różnych komercyjnych i otwarto‑źródłowych generatorach wideo. Szeroka zmienność między kolumnami pokazuje, że niezawodność wykrywania zależy silnie od tego, który model wygenerował wideo, przy czym GenD-PE osiąga najwyższą średnią AUROC.

Poniżej widzimy, że ponowne trenowanie GenD-PE na nowszym materiale DF26 znacząco poprawiło jego zdolność do wykrywania filmów z generatorów, których nie widział podczas treningu:

Wyniki ponownego trenowania GenD-PE na nieznanych generatorach wideo. Trening na nowszym materiale DF26 ogólnie poprawił wydajność międzygeneratorową w porównaniu z oryginalnym treningiem FaceForensics++.

Trening na HunyuanVideo 1.5 podniósł AUROC przynajmniej do 93,1 dla Grok Imagine 1.0, Veo 3.1 i Wan 2.6, wspierając tezę artykułu, że detektory trenowane wyłącznie na starszych zestawach danych, takich jak FaceForensics++, są słabo dopasowane do współczesnych generatywnych wideo.

Być może przewidywalnie, dwa detektory czasowe radziły sobie znacznie lepiej z wideo open‑source niż z klipami pochodzącymi od modeli komercyjnych. DFD-FCG spadł z 57,4 AUROC na materiale open‑source do 34,5 na wideo zamkniętego źródła; podczas gdy PwTF-DVD spadł z 70,5 do 48,3:

Wyniki porównujące dwa detektory czasowe w zależności od źródła generatora i scenariusza wypowiedzi. Oba radziły sobie znacznie gorzej na wideo zamkniętego źródła, podczas gdy różnice między typami scen były mniejsze.

Jednak artykuł nie dochodzi do wniosku, że modele komercyjne są po prostu trudniejsze do wykrycia, ponieważ różnice w rodzinie modeli, post‑processingu i jakości wizualnej mogą również odgrywać rolę.

Ten rodzaj sceny miał znacznie mniejsze znaczenie: DFD-FCG pozostawał blisko losowości w klipach bezpośrednio do kamery, oficjalnych oświadczeniach i wywiadach studyjnych, podczas gdy PwTF-DVD radził sobie najlepiej w oficjalnych oświadczeniach. Według artykułu, sam generator wydaje się mieć większe znaczenie niż styl prezentacji.

Przeprowadzono również badanie z udziałem ludzi, aby sprawdzić, czy ludzie mają trudności z DF26 w taki sam sposób jak automatyczne detektory. W trakcie 232 sesji etykietowania uczestnicy oceniali krótkie klipy z DF26, CelebDF++ i DeepSpeak v2 jako prawdziwe lub fałszywe, nie wiedząc, ile przykładów każdej klasy zobaczą.

Dokładność ludzi w zestawach DF26, CelebDF++ i DeepSpeak v2. Uczestnicy identyfikowali prawdziwe filmy w podobnych proporcjach we wszystkich trzech zestawach danych, podczas gdy dokładność w przypadku fałszywych filmów DF26 spadła do poziomu bliskiego losowości.

Wydajność na prawdziwych filmach była podobna we wszystkich trzech zestawach danych: 76,0 % dla DF26, 75,5 % dla CelebDF++ i 72,8 % dla DeepSpeak v2. Różnica pojawiła się w przypadku fałszywych filmów, gdzie dokładność spadła do 52,6 % w DF26, w porównaniu z 74,5 % i 69,8 % w dwóch starszych zestawach danych.

Dlatego, według artykułu, choć uczestnicy nie byli ogólnie zdezorientowani DF26, mieli trudności ze znalezieniem konkretnych widocznych dowodów na to, że jego syntetyczne filmy są fałszywe.

Wnioski

Mimo zgłoszonego 16‑krotnego wzrostu częstotliwości deepfake’ów w ciągu ostatnich dwóch lat, rzeczywistość złośliwych deepfake’ów jest w dużej mierze nieobecna w naszym codziennym doświadczeniu, chyba że sami staniemy się ich celem.

W przypadku ofiar seksualnych deepfake’ów jest to w pełni zrozumiałe – ale ponieważ deepfake’i mają coraz większy wpływ na przestępstwo oszustwa, przydatne mogłoby być udostępnienie większej części tego materiału opinii publicznej, aby nasz kontekst został zaktualizowany z „złotej ery” autoenkoderowych deepfake’ów na znacznie bardziej przenikliwy i zwodniczy okres deepfake’ów opartych na dyfuzji.

Oczywiście, większość materiałów dotyczących wyników modeli w nowym badaniu, jak i innych modeli, pojawia się bez odpowiedniego kontekstu na platformach mediów społecznościowych, których moderatorzy albo nie potrafią odróżnić AI od rzeczywistości, albo po prostu nie dbają.

Jednym dodatkowym wskaźnikiem, który możemy zastosować do wątpliwych filmów, jest rozsądna wiarygodność – jednak ta zdolność różni się tak bardzo między jednostkami, że jest niewiarygodna. Dlatego może się okazać, że w okresie przejściowym, gdy przyzwyczajamy się do wpływu tej technologii i jej nieustannie rosnących możliwości, po prostu musimy powstrzymać się od oceny.

Opublikowano po raz pierwszy w poniedziałek, 14 września 2026