Diepdetectie kan deepfakes in real-time onthullen

Nieuw onderzoek uit Italië heeft aangetoond dat diepdetectie uit afbeeldingen een nuttig hulpmiddel kan zijn om deepfakes te detecteren – zelfs in real-time.

Terwijl de meeste onderzoeken naar deepfakedetectie de afgelopen vijf jaar zich hebben gericht op artifactidentificatie (die kan worden geminimaliseerd door verbeterde technieken of verward met slechte videocodec-compressie), omgevingsverlichting, biometrische kenmerken, temporele disruptie en zelfs menselijke intuïtie, is deze nieuwe studie de eerste die suggereert dat diepdetectie een waardevolle sleutel kan zijn voor deepfake-inhoud.

Voorbeelden van afgeleide dieptekaarten en het verschil in perceptuele diepteginformatie tussen echte en valse afbeeldingen. Bron: https://arxiv.org/pdf/2208.11074.pdf

Kritisch is dat detectieframeworks die zijn ontwikkeld voor deze nieuwe studie zeer goed werken op een lichtgewicht netwerk zoals Xception en acceptabel werken op MobileNet, en het nieuwe artikel erkent dat de lage latentie van inferentie die wordt aangeboden door dergelijke netwerken real-time deepfakedetectie mogelijk kan maken tegen de nieuwe trend van live deepfake-fraude, zoals onlangs werd aangetoond door de aanval op Binance.

Er kan een grotere efficiëntie in inferentietijd worden behaald omdat het systeem geen volledige kleurenafbeeldingen nodig heeft om het verschil tussen valse en echte dieptekaarten te bepalen, maar kan werken met alleen grijswaardenafbeeldingen van de diepteginformatie.

De auteurs stellen: ‘Dit resultaat suggereert dat diepte in dit geval een relevantere bijdrage levert aan classificatie dan kleurartefacten.’

De resultaten vertegenwoordigen een deel van een nieuwe golf van deepfakedetectieonderzoek gericht tegen real-time gezichtssynthesesystemen zoals DeepFaceLive – een focus van inspanning die de afgelopen 3-4 maanden aanzienlijk is toegenomen, na de waarschuwing van de FBI in maart over het risico van real-time video- en audio-deepfakes.

Het artikel heet DepthFake: een diepte-gebaseerde strategie voor het detecteren van Deepfake-video’s en komt van vijf onderzoekers aan de Sapienza Universiteit van Rome.

Randgevallen

Tijdens de training geven auto-encoder-gebaseerde deepfakemodellen prioriteit aan de binnenste gebieden van het gezicht, zoals ogen, neus en mond. In de meeste gevallen, over open source-distributies zoals DeepFaceLab en FaceSwap (beide afgeleid van de oorspronkelijke 2017 Reddit-code voordat deze werd verwijderd), worden de buitenste trekken van het gezicht pas laat in de training goed gedefinieerd en zijn het onwaarschijnlijk dat ze de kwaliteit van de synthese in het binnenste gezichtsgebied evenaren.

Uit een eerdere studie zien we een visualisatie van ‘saliency maps’ van het gezicht. Bron: https://arxiv.org/pdf/2203.01318.pdf

Normaal gesproken is dit niet belangrijk, omdat onze neiging om eerst naar de ogen te kijken en prioriteit te geven, ‘naar buiten’ met afnemende niveaus van aandacht betekent dat we onwaarschijnlijk worden gestoord door deze dalingen in perifere kwaliteit – vooral als we live praten met de persoon die een andere identiteit nabootst, wat sociale conventies en verwerkingsbeperkingen activeert die niet aanwezig zijn wanneer we ‘gerenderde’ deepfake-beelden evalueren.

Het ontbreken van detail of nauwkeurigheid in de getroffen randgebieden van een deepfaked gezicht kan echter algoritme worden gedetecteerd. In maart werd een systeem dat zich richt op het perifere gezichtsgebied aangekondigd. Echter, aangezien het een bovengemiddelde hoeveelheid trainingsdata vereist, is het alleen bedoeld voor beroemdheden die waarschijnlijk worden opgenomen in populaire gezichtsdatasets (zoals ImageNet) die bewezen zijn in huidige computerzicht- en deepfakedetectietechnieken.

In plaats daarvan kan het nieuwe systeem, getiteld DepthFake, generisch werken, zelfs voor onbekende identiteiten, door de kwaliteit van geschatte dieptekaartinformatie in echte en valse videoinhoud te onderscheiden.

Dieper gaan

Dieptekaartinformatie wordt steeds vaker ingebouwd in smartphones, waaronder AI-geassisteerde stereo-implementaties die bijzonder nuttig zijn voor computerzichtstudies. In de nieuwe studie hebben de auteurs het FaceDepth-model van de National University of Ireland gebruikt, een convolutioneel encoder/decoder-netwerk dat efficiënt dieptekaarten kan schatten uit enkelvoudige afbeeldingen.

Het FaceDepth-model in actie. Bron: https://tinyurl.com/3ctcazma

Volgend op de pipeline voor het nieuwe framework van de Italiaanse onderzoekers wordt een 224×224 pixel-patch van het onderwerp uit zowel de oorspronkelijke RGB-afbeelding als de afgeleide dieptekaart geëxtraheerd. Kritisch is dat dit proces toelaat om core-inhoud over te nemen zonder deze te herschalen; dit is belangrijk, omdat standaard herschaling algoritmen de kwaliteit van de gerichte gebieden nadelig zullen beïnvloeden.

Met behulp van deze informatie, uit zowel echte als deepfaked bronnen, hebben de onderzoekers vervolgens een convolutioneel neuronaal netwerk (CNN) getraind dat in staat is om echte van valse instanties te onderscheiden, op basis van de verschillen tussen de perceptuele kwaliteit van de respectieve dieptekaarten.

Conceptuele pipeline voor DepthFake.

Het FaceDepth-model is getraind op realistische en synthetische gegevens met een hybride functie die meer detail biedt aan de buitenste randen van het gezicht, waardoor het goed geschikt is voor DepthFake. Het gebruikt een MobileNet-exemplaar als functie-extractor en werd getraind met 480×640 invoerbeelden die 240×320 dieptekaarten produceren. Elke dieptekaart vertegenwoordigt een kwart van de vier invoerkanalen die in het nieuwe project worden gebruikt.

De dieptekaart wordt automatisch ingebed in de oorspronkelijke RGB-afbeelding om het soort RGBD-afbeelding te bieden, rijk aan diepteginformatie, dat moderne smartphonecamera’s kunnen uitvoeren.

Training

Het model werd getraind op een Xception-netwerk dat al was voorge-trained op ImageNet, hoewel de architectuur enige aanpassing nodig had om de extra diepteginformatie te accommoderen terwijl de correcte initialisatie van gewichten werd behouden.

Bovendien was een mismatch in waardebereiken tussen de diepteginformatie en wat het netwerk verwachtte noodzakelijk, zodat de onderzoekers de waarden normaliseerden tot 0-255.

Tijdens de training werd alleen flipping en rotatie toegepast. In veel gevallen zouden verschillende andere visuele perturbaties aan het model worden gepresenteerd om robuuste inferentie te ontwikkelen, maar de noodzaak om de beperkte en zeer kwetsbare randdieptekaartinformatie in de bronfoto’s te behouden, dwong de onderzoekers om een vereenvoudigd regime te hanteren.

Het systeem werd bovendien getraind op eenvoudige 2-kanaals grijswaarden, om te bepalen hoe complex de bronafbeeldingen moesten zijn om een werkbaar algoritme te verkrijgen.

De training vond plaats via de TensorFlow API op een NVIDIA GTX 1080 met 8GB VRAM, met de ADAMAX-optimizer, voor 25 epochs, met een batchgrootte van 32. De invoeresolutie was vastgesteld op 224×224 tijdens het bijsnijden, en gezichtsdetectie en -extractie werd uitgevoerd met de dlib C++-bibliotheek.

Resultaten

De nauwkeurigheid van de resultaten werd getest tegen Deepfake, Face2Face, FaceSwap, Neural Texture, en de volledige dataset met RGB- en RGBD-invoer, met behulp van het FaceForensic++-framework.

Resultaten op nauwkeurigheid over vier deepfakedetectiemethoden, en tegen de hele ongesplitte dataset. De resultaten zijn gesplitst tussen analyse van bron-RGB-afbeeldingen, en dezelfde afbeeldingen met een ingebedde geschatte dieptekaart. De beste resultaten zijn in het vet gedrukt, met percentagecijfers eronder die de mate aangeven waarin de dieptekaartinformatie het resultaat verbetert.

In alle gevallen verbetert de dieptekanaal de prestaties van het model in alle configuraties. Xception behaalt de beste resultaten, met de mobiele MobileNet net achter. Over dit zeggen de auteurs:

‘[Het] is interessant om op te merken dat MobileNet een beetje minder is dan Xception en beter presteert dan de diepere ResNet50. Dit is een opvallend resultaat wanneer men de doelstelling van het reduceren van inferentietijden voor real-time toepassingen in overweging neemt. Hoewel dit niet de hoofdbijdrage van dit werk is, beschouwen we het nog steeds als een bemoedigend resultaat voor toekomstige ontwikkelingen.’

De onderzoekers merken ook een consistente voorsprong van RGBD- en 2-kanaals grijswaardeninvoer ten opzichte van RGB- en rechttoe-rechtaan grijswaardeninvoer, waarbij wordt opgemerkt dat de grijswaardenconversies van diepteaanname, die computationeel zeer goedkoop zijn, het model in staat stellen om verbeterde resultaten te behalen met zeer beperkte lokale middelen, waardoor de toekomstige ontwikkeling van real-time deepfakedetectie op basis van diepteginformatie wordt vergemakkelijkt.

Publicatie op 24 augustus 2022.