Unsere unterbewussten Fähigkeiten zur Erkennung von Deepfakes könnten zukünftige automatisierte Systeme antreiben

Neue Forschung aus Australien legt nahe, dass unser Gehirn sehr gut darin ist, sophisticatede Deepfakes zu erkennen, auch wenn wir uns bewusst sind, dass die Bilder, die wir sehen, real sind.

Die Ergebnisse deuten weiterhin darauf hin, dass es möglich sein könnte, die neuronalen Reaktionen von Menschen auf Deepfake-Gesichter (anstatt ihrer ausdrücklichen Meinungen) zu verwenden, um automatisierte Deepfake-Erkennungssysteme zu trainieren. Solche Systeme würden auf den Deepfake-Merkmalen der Bilder trainiert werden, nicht auf den verwirrten Schätzungen der Plausibilität, sondern auf unseren instinktiven Wahrnehmungsmechanismen für die Erkennung von Gesichtern.

‘[A]lthough das Gehirn den Unterschied zwischen realen und realistischen Gesichtern erkennen kann, können Beobachter diese nicht bewusst auseinanderhalten. Unsere Ergebnisse über die Dissoziation zwischen Gehirnreaktion und Verhalten haben Auswirkungen auf die Art und Weise, wie wir die Wahrnehmung von Fake-Gesichtern studieren, die Fragen, die wir stellen, wenn wir nach der Identifizierung von Fake-Bildern fragen, und die möglichen Wege, auf denen wir Schutzstandards gegen die Missbrauch von Fake-Bildern etablieren können.’

Die Ergebnisse ergaben sich aus Runden von Tests, die entwickelt wurden, um die Art und Weise zu bewerten, wie Menschen auf falsche Bilder reagieren, einschließlich Bilder von offensichtlich falschen Gesichtern, Autos, Innenräumen und auf dem Kopf stehenden Gesichtern.

Verschiedene Iterationen und Ansätze für die Experimente, bei denen zwei Gruppen von Testpersonen ein kurz gezeigtes Bild als ‘fake’ oder ‘real’ klassifizieren mussten. Quelle: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Die Studie behauptet:

‘Unsere Ergebnisse zeigen, dass Beobachter bei einem kurzen Blick möglicherweise in der Lage sind, Fake-Gesichter zu erkennen. Allerdings haben sie Schwierigkeiten, reale Gesichter von Fake-Gesichtern zu unterscheiden, und in einigen Fällen glaubten sie, dass Fake-Gesichter realer seien als reale Gesichter.

‘Allerdings konnten wir mit Hilfe von EEG und multivariater Musterklassifikation feststellen, dass es möglich war, sowohl unrealistische als auch realistische Gesichter von realen Gesichtern mithilfe von Gehirnaktivität zu dekodieren.

‘Diese Dissoziation zwischen Verhalten und neuronalen Reaktionen für realistische Gesichter liefert wichtige neue Erkenntnisse über die Wahrnehmung von Fake-Gesichtern sowie Auswirkungen auf die zunehmend realistische Klasse von GAN-generierten Gesichtern.’

Die Studie legt nahe, dass die neue Arbeit ‘mehrere Auswirkungen’ auf die angewandte Cybersicherheit hat und dass die Entwicklung von Deepfake-Lernalgorithmen perhaps durch die unterbewusste Reaktion, wie sie in EEG-Aufzeichnungen auf Fake-Bilder gemessen wird, angetrieben werden sollte, anstatt durch die bewusste Schätzung der Gültigkeit eines Bildes.

Die Autoren kommentieren:

‘Dies erinnert an Ergebnisse, die zeigen, dass Menschen mit Prosopagnosie, die nicht in der Lage sind, Gesichter als vertraut oder unbekannt zu klassifizieren, dennoch stärkere autonome Reaktionen auf vertraute Gesichter als auf unbekannte Gesichter zeigen.

‘Ähnlich wie in dieser Studie gezeigt, konnten wir die Differenz zwischen realen und realistischen Gesichtern aus der Gehirnaktivität dekodieren, diese Differenz wurde jedoch nicht verhaltenstechnisch beobachtet. Stattdessen identifizierten die Beobachter 69% der realen Gesichter fälschlicherweise als Fake.’

Die neue Arbeit trägt den Titel Are you for real? Decoding realistic AI-generated faces from neural activity und stammt von vier Forschern der University of Sydney, Macquarie University, Western Sydney University und der University of Queensland.

Daten

Die Ergebnisse ergaben sich aus einer umfassenderen Untersuchung der menschlichen Fähigkeit, manifest falsche, hyper-realistische (aber dennoch falsche) und reale Bilder zu unterscheiden, die über zwei Runden von Tests durchgeführt wurde.

Die Forscher verwendeten Bilder, die von Generative Adversarial Networks (GANs) erstellt wurden, geteilt von NVIDIA.

GAN-generierte menschliche Gesichtsbilder, die von NVIDIA zur Verfügung gestellt wurden. Quelle: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Die Daten umfassten 25 Gesichter, Autos und Schlafzimmer, die in verschiedenen Renderinglevels von ‘unrealistisch’ bis ‘realistisch’ dargestellt wurden. Für den Vergleich von Gesichtern (d. h. für geeignetes nicht-fake-Material) verwendeten die Autoren Auswahlmöglichkeiten aus dem Quelldatenbestand von NVIDIA’s Quelldatenbestand Flickr-Faces-HQ (FFHQ) Dataset. Für den Vergleich der anderen Szenarien verwendeten sie Material aus dem LSUN-Dataset.

Die Bilder wurden letztendlich den Testpersonen entweder richtig herum oder auf dem Kopf stehend präsentiert, und bei verschiedenen Frequenzen, wobei alle Bilder auf 256×256 Pixel vergrößert wurden.

Nachdem alle Materialien zusammengestellt worden waren, wurden 450 Reizbilder für die Tests kuratiert.

Repräsentative Beispiele der Testdaten.

Tests

Die Tests selbst wurden zunächst online durchgeführt, über jsPsych auf pavlovia.org, mit 200 Teilnehmern, die verschiedene Teilmengen der gesammelten Testdaten beurteilten. Die Bilder wurden für 200ms präsentiert, gefolgt von einem leeren Bildschirm, der solange bestand, bis der Betrachter eine Entscheidung darüber traf, ob das gezeigte Bild ‘fake’ oder ‘real’ war. Jedes Bild wurde nur einmal präsentiert, und der gesamte Test dauerte 3-5 Minuten.

Die zweite und aufschlussreichere Runde verwendete persönliche Testpersonen, die mit EEG-Monitoren ausgestattet waren, und wurde auf der Psychopy2-Plattform präsentiert. Jede der zwanzig Sequenzen enthielt 40 Bilder, mit 18.000 Bildern, die über die gesamte Testdatenmenge präsentiert wurden.

Die gesammelten EEG-Daten wurden über MATLAB mit dem CoSMoMVPA-Toolbox decodiert, unter Verwendung eines Leave-one-out-Cross-Validation-Schemas unter Linear Discriminant Analysis (LDA).

Der LDA-Klassifikator war der Teil, der in der Lage war, den Unterschied zwischen der Gehirnreaktion auf Fake-Reize und der Meinung der Testpersonen über die Echtheit des Bildes zu erkennen.

Ergebnisse

Interessiert daran, zu sehen, ob die EEG-Testpersonen zwischen Fake- und realen Gesichtern unterscheiden konnten, aggregierten und verarbeiteten die Forscher die Ergebnisse und fanden heraus, dass die Teilnehmer reale von unrealistischen Gesichtern leicht unterscheiden konnten, aber offensichtlich Schwierigkeiten hatten, realistische, GAN-generierte Fake-Gesichter zu identifizieren. Ob das Bild auf dem Kopf stand oder nicht, schien wenig Unterschied zu machen.

Verhaltensunterscheidung zwischen realen und synthetisch generierten Gesichtern, in der zweiten Runde.

Die EEG-Daten erzählten jedoch eine andere Geschichte.

Die Studie besagt:

‘Obwohl die Beobachter Schwierigkeiten hatten, reale von Fake-Gesichtern zu unterscheiden und tendenziell Fake-Gesichter überklassifizierten, enthielten die EEG-Daten Signalinformationen, die für diese Unterscheidung relevant waren und die sich bedeutend zwischen realistischen und unrealistischen Gesichtern unterschieden, und diese Signale schienen auf eine relativ kurze Verarbeitungsstufe beschränkt zu sein.’

Hier ist die Diskrepanz zwischen EEG-Genauigkeit und der ausdrücklichen Meinung der Testpersonen (d. h. darüber, ob die Gesichtsbilder fake oder nicht waren) nicht identisch, wobei die EEG-Aufzeichnungen näher an der Wahrheit waren als die offensichtliche Wahrnehmung der beteiligten Personen.

Die Forscher kommen zu dem Schluss, dass obwohl die Beobachter möglicherweise Schwierigkeiten haben, Fake-Gesichter stillschweigend zu identifizieren, diese Gesichter ‘eine unterschiedliche Repräsentation im menschlichen visuellen System’ haben.

Die Diskrepanz, die gefunden wurde, hat die Forscher dazu veranlasst, über die mögliche Anwendbarkeit ihrer Ergebnisse für zukünftige Sicherheitsmechanismen nachzudenken:

‘In einem angewandten Setting wie der Cybersicherheit oder Deepfakes könnte die Untersuchung der Erkennungsfähigkeit für realistische Gesichter am besten mit Hilfe von Machine-Learning-Klassifikatoren auf neuroimaging-Daten und nicht auf die Zielverfolgung des Verhaltens erfolgen.’

Sie kommen zu dem Schluss:

‘Das Verständnis der Dissoziation zwischen Gehirn und Verhalten für die Erkennung von Fake-Gesichtern wird praktische Auswirkungen auf die Art und Weise haben, wie wir den potenziell schädlichen und universellen Verbreitung von künstlich generierten Informationen angehen.’

* Meine Umwandlung von Inline-Zitaten in Hyperlinks.

Erstveröffentlicht am 11. Juli 2022.