Identifiera kändisdeepfakes från yttre ansiktsområden

En ny samarbetsinsats mellan Microsoft och ett kinesiskt universitet har föreslagit en ny metod för att identifiera kändisdeepfakes, genom att utnyttja bristerna i nuvarande deepfaketekniker för att känna igen identiteter som har “projicerats” på andra människor.

Tillvägagångssättet kallas Identity Consistency Transformer (ICT), och fungerar genom att jämföra de yttre delarna av ansiktet (haka, kindben, hårlinje och andra yttre linjement) med ansiktets inre del. Systemet utnyttjar allmänt tillgängliga offentliga bilddata av kända personer, vilket begränsar dess effektivitet till välkända kändisar, vars bilder finns i stort antal i allmänt tillgängliga datamängder för datorseende och på internet.

Förfalskningsområden för förfalskade ansikten över sju tekniker: DeepFake i FF+; DeepFake i Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; och DF-VAE. Populära paket som DeepFaceLab och FaceSwap tillhandahåller liknande begränsade områden. Källa: https://arxiv.org/pdf/2203.01318.pdf

Som bilden ovan visar är nuvarande metoder för deepfakes ganska resursbegränsade och förlitar sig på lämpliga “värdansikten” (bilden eller videon av en person som kommer att ha sin identitet ersatt av deepfaken) för att minimera bevis på ansiktsbyte.

Även om varierande metoder kan omfatta hela pannan och en stor del av hakan och kindbensområdena, är alla mer eller mindre begränsade inom ramen för värdansiktet.

En saliency-karta som betonar de ‘inre’ och ‘yttre’ identiteterna beräknade av ICT. Där en inre ansiktsmatch etableras men en yttre identitet inte motsvarar, utvärderar ICT bilden som falsk.

I tester visade sig ICT kunna upptäcka deepfake-innehåll i förfalskningsvänliga miljöer som lågupplöst video, där innehållet i hela videon är degraderat av kompressionsartefakter, vilket hjälper till att dölja resterande bevis för deepfake-processen – en omständighet som förvirrar många konkurrerande deepfakedetektionsmetoder.

ICT presterar bättre än konkurrenterna i att känna igen deepfake-innehåll. Se videon som är infogad i slutet av artikeln för fler exempel och bättre upplösning. Se den infogade källvideon i slutet av artikeln för ytterligare exempel. Källa: https://www.youtube.com/watch?v=zgF50dcymj8

Den artikeln heter Protecting Celebrities with Identity Consistency Transformer och kommer från nio forskare som är anslutna till University of Science and Technology of China, Microsoft Research Asia och Microsoft Cloud + AI.

Tillförlitlighetsgapet

Det finns minst ett par skäl till varför populära ansiktsbytestekniker som DeepFaceLab och FaceSwap försummar de yttre områdena av de bytte ansiktsidentiteterna.

För det första är utbildning av deepfaketekniker tidskrävande och resurskritisk, och antagandet av “kompatibla” värdansikten/kroppar frigör GPU-cykler och epoker för att koncentrera sig på de relativt oföränderliga inre områdena av ansiktet som vi använder för att skilja identitet (eftersom variabler som viktfluktuation och åldrande är minst benägna att förändra dessa kärnansiktsdrag på kort sikt).

För det andra har de flesta deepfaketekniker (och detta är särskilt fallet med DeepFaceLab, den programvara som används av de mest populära eller ökända praktikerna) begränsad förmåga att replikera “ansiktets slut” marginaler som kind och haka, och är begränsade av det faktum att deras uppströms (2017) kod inte omfattande behandlade denna fråga.

I fall där identiteterna inte matchar väl, måste deepfaketekniken “inpainta” bakgrundsområden runt ansiktet, vilket den gör klumpigt i bästa fall, även i händerna på de bästa deepfakers, som Ctrl Shift Face, vars utdata användes i artiklens studier.

Bäst av de bästa: stillbilder från en deepfake-video av den berömda deepfaker Ctrl-Shift-Face, som byter ut Jim Carrey mot Gary Oldman. Detta arbete representerar troligen några av de bästa resultaten som för närvarande finns tillgängliga via DeepFaceLab och efterbearbetningstekniker. Trots detta förblir bytena begränsade till de relativt få områden som DFL ger till de yttre ansiktsområdena, vilket kräver en herkulisk insats av datakurering och utbildning för att hantera de yttre områdena. Källa: https://www.youtube.com/watch?v=x8igrh1eyLk

Denna “förtäckning” eller avledning av uppmärksamhet undgår i stor utsträckning allmänhetens uppmärksamhet i den nuvarande oron över deepfakes ökande realism, eftersom våra kritiska förmågor kring deepfakes fortfarande utvecklas förbi “chock och förundran”-stadiet.

Splittrade identiteter

Den nya artikeln noterar att de flesta tidigare metoder för deepfakedetektion förlitar sig på artefakter som avslöjar bytet, såsom inkonsekventa huvudpositioner och blinkningar, bland många andra tekniker. Bara den här veckan har en ny deepfakedetektionsartikel föreslagit att använda “signatur” av de varierande modelltyperna i FaceSwap-ramverket för att hjälpa till att identifiera förfalskat video som skapats med det (se bild nedan).

Identifiera deepfakes genom att karakterisera signaturerna av olika modelltyper i FaceSwap-ramverket. Källa: https://arxiv.org/pdf/2202.12951.pdf

I kontrast skapar ICT:s arkitektur två separata, inbäddade identiteter för en person, var och en av vilka måste verifieras innan hela identiteten sluts att vara “sann” film eller bild.

Arkitektur för utbildnings- och testfaserna av ICT.

Splittringen av identiteter underlättas av en vision Transformer, som utför ansiktsidentifiering innan den delar upp de undersökta områdena i token som tillhör de inre eller yttre identiteterna.

Fördela patchar mellan de två parallella identitetssignalerarna.

Artikeln förklarar:

‘Tyvärr tenderar befintliga ansiktsverifieringsmetoder att karakterisera den mest diskriminerande regionen, d.v.s. det inre ansiktet för verifiering och misslyckas med att fånga identitetsinformationen i det yttre ansiktet. Med Identity Consistency Transformer utbildar vi en modell för att lära sig ett par identitetsvektorer, en för det inre ansiktet och den andra för det yttre ansiktet, genom att utforma en Transformer så att de inre och yttre identiteterna kan läras samtidigt i en sammanhängande modell.’

Eftersom det inte finns någon befintlig modell för denna identifieringsprotokoll har författarna utvecklat en ny typ av konsekvensförlust som kan fungera som en måttstock för äkthet. De “inre token” och “yttre token” som resulterar från identitetsutvinningen läggs till de mer konventionella patch-inkapslingarna som produceras av ansiktsidentifieringsramverk.

Data och utbildning

ICT-nätverket utbildades på Microsoft Research’s MS-Celeb-1M-dataset, som innehåller 10 miljoner kändisansiktsbilder som täcker en miljon identiteter, inklusive skådespelare, politiker och många andra typer av framstående personer. Enligt proceduren för tidigare metoder Face X-ray (en annan Microsoft Research-initiativ), skapar ICT:s egen förfalskningsrutin inre och yttre områden av ansikten från denna dataset för att skapa material som kan testas med algoritmen.

För att utföra dessa inre byten identifierar ICT två bilder i datasetet som visar liknande huvudpositioner och ansiktslandmärken, genererar en maskregion av de centrala funktionerna (in i vilken ett byte kan utföras) och utför ett deepfake-byte med RGB-färgkorrigering.

Orsaken till att ICT är begränsad till kändisidentifiering är att den förlitar sig (i sin mest effektiva variation) på en ny referensuppsättning som inkorporerar härledda ansiktsvektorer från en central korpus (i det här fallet MS-Celeb-1M, även om referensen kan utvidgas till nätverks-tillgängliga bilder, som bara troligen finns i tillräcklig kvalitet och kvantitet för välkända offentliga personer).

De härledda vektoruppsättningsparen fungerar som äkthetstoken för att verifiera de inre och yttre ansiktsområdena i tandem.

Författarna noterar att token som erhålls från dessa metoder representerar “hög-nivå”-funktioner, vilket resulterar i en deepfakedetektionsprocess som är mer benägen att överleva utmanande miljöer som lågupplöst eller på annat sätt degraderad video.

Avgörande är att ICT inte letar efter artefaktbaserat bevis, utan snarare fokuserar på identitetsverifieringsmetoder som är mer i överensstämmelse med ansiktsigenkänningstekniker – en tillvägagångssätt som är svårt med lågvolymdata, som är fallet med utredningen av incidenter av deepfake-revenge-porn mot icke-kända mål.

Tester

Tränad på MS-Celeb-1M delades ICT upp i referensassisterad och “blind” versioner av algoritmen, och testades mot en rad konkurrerande dataset och metoder. Dessa inkluderade FaceForensics++ (FF++), en dataset av 1000 autentiska och deepfake-videor skapade över fyra metoder, inklusive Face2Face och FaceSwap; Google’s Deepfake Detection (DFD), som också består av tusentals Google-genererade deepfake-videor; Celeb-DeepFake v1 (CD1), som innehåller 408 riktiga och 795 syntetiska, låg-artefakt-videor; Celeb-DeepFake v2, en utvidgning av V1 som innehåller 590 riktiga och 5 639 falska videor; och Kinas 2020 Deeper-Forensics (Deeper).

De mest uppenbara resultaten från testet är att de konkurrerande metoderna drastiskt minskar i effektivitet när videouppplösningen och kvaliteten minskar. Eftersom några av de allvarligaste potentialen för deepfakes tränger igenom våra diskriminativa förmågor ligger (inte minst för närvarande) i icke-HD eller på annat sätt kvalitetskomprometterad video, verkar detta vara ett betydande resultat.

I resultattabellen ovan ser vi effektiviteten hos de varierande deepfakedetektionsmetoderna på de osynliga dataseten. Grå och asteriskade resultat indikerar jämförelse från ursprungligen publicerade resultat i slutna projekt, som inte kan verifieras externt. Över nästan alla jämförbara ramverk presterar ICT bättre än de konkurrerande deepfakedetektionsmetoderna (visade i fetstil) över de testade dataseten.

Som ett tilläggsprov körde författarna innehåll från YouTube-kanalen av den berömda deepfaker Ctrl Shift Face, och fann att konkurrerande metoder uppnådde betydligt lägre identifieringsscore:

Notabelt här är att FF++-metoder (Xception-c23) och FFD, som uppnår några av de högsta poängen över några av testdatamängderna i den nya artikeln, här uppnår en betydligt lägre poäng än ICT i en “verklig värld”-kontext av höginsats deepfake-innehåll.

Författarna avslutar artikeln med förhoppningen att dess resultat kommer att styra deepfakedetektionsgemenskapen mot liknande initiativ som koncentrerar sig på mer allmänt generaliserbara hög-nivå-funktioner, och bort från “kalla kriget” av artefakt-detektion, där de senaste metoderna rutinmässigt omintetgörs av utvecklingen i deepfake-ramverk, eller av andra faktorer som gör att sådana metoder blir mindre motståndskraftiga.

Se den tillhörande supplementära videon nedan för fler exempel på ICT som identifierar deepfake-innehåll som ofta överlistar alternativa metoder.

Publicerad första gången den 4 mars 2022.