Naše podvědomé dovednosti detekce deepfake by mohly pohánět budoucí automatizované systémy

Nový výzkum z Austrálie naznačuje, že náš mozek je velmi dobrý v rozpoznávání sofistikovaných deepfake, i když jsme si vědomi, že obrázky, které vidíme, jsou skutečné.

Tento objev dále naznačuje možnost využití lidíových neuronových odpovědí na deepfake tváře (místo jejich prohlášených názorů) pro výcvik automatizovaných systémů detekce deepfake. Tyto systémy by byly vyškoleny na základě charakteristik deepfake obrázků, nikoli na základě odhadů pravdivosti, ale na základě našich instinktivních mechanismů pro rozpoznávání tváří.

‘[A]čkoli mozek může „rozpoznat“ rozdíl mezi skutečnými a realistickými tvářemi, pozorovatelé nemohou vědomě rozlišit mezi nimi. Naše zjištění o disociaci mezi mozkovou odpovědí a chováním mají důsledky pro to, jak studujeme vnímání falešných tváří, otázky, které klademe, když se ptáme na identifikaci falešných obrázků, a možné způsoby, jak můžeme stanovit ochranné standardy proti zneužívání falešných obrázků.’

Výsledky vyplynuly z kol série testů navržených pro hodnocení toho, jak lidé reagují na falešné obrázky, včetně obrázků zjevně falešných tváří, aut, interiérů a obrácených (tj. vzhůru nohama) tváří.

Různé iterace a přístupy pro experimenty, které zahrnovaly dvě skupiny testovaných osob, které musely klasifikovat krátce zobrazený obrázek jako „falešný“ nebo „skutečný“. První kolo se konalo na Amazon Mechanical Turk, se 200 dobrovolníky, zatímco druhé kolo zahrnovalo menší počet dobrovolníků, kteří reagovali na testy, zatímco byli připojeni k EEG strojům. Zdroj: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Článek tvrdí:

‘Naše výsledky ukazují, že i když pozorovatelé mohou mít potíže s rozlišením skutečných tváří od falešných, mozek je schopen rozpoznat rozdíl mezi nimi. ‘

‘Avšak pomocí časově rozlišené EEG a multivariační analýzy vzorců jsme našli, že je možné dekódovat cả nerealistické a realistické tváře z skutečných tváří pomocí mozkové aktivity. ‘

‘Tato disociace mezi chováním a neuronálními odpověďmi pro realistické tváře poskytuje důležité nové důkazy o vnímání falešných tváří a má důsledky pro rozvoj deepfake detekčních systémů.’

Článek naznačuje, že nová práce má „několik důsledků“ v oblasti aplikované kybernetické bezpečnosti a že vývoj deepfake detekčních systémů by měl být perhaps řízen podvědomou odpovědí, jak je měřeno na EEG záznamech v odpovědi na falešné obrázky, spíše než názorem pozorovatele na pravdivost obrázku.

Autoři komentují*:

‘To je podobné jako zjištění, že lidé s prosopagnosií, kteří nemohou behaviorálně klasifikovat nebo rozpoznat tváře jako známé nebo neznámé, přeceňují autonomické odpovědi na známé tváře. ‘

‘Podobně, co jsme ukázali v této studii, je to, že zatímco jsme mohli přesně dekódovat rozdíl mezi skutečnými a realistickými tvářemi z mozkové aktivity, tento rozdíl nebyl vidět behaviorálně. Místo toho pozorovatelé nesprávně identifikovali 69% skutečných tváří jako falešné.’

Nová práce je nazvaná Jste skutečný? Dekódování realistických AI-generovaných tváří z neuronální aktivity a pochází od čtyř výzkumníků z University of Sydney, Macquarie University, Western Sydney University a University of Queensland.

Data

Výsledky vyplynuly z širšího zkoumání lidské schopnosti rozlišit zjevně falešné, hyper-realistické (ale stále falešné) a skutečné obrázky, provedeného ve dvou kolech testování.

Výzkumníci použili obrázky vytvořené pomocí Generative Adversarial Networks (GANs), sdílené společností NVIDIA.

GAN-generované obrázky lidských tváří poskytnuté společností NVIDIA. Zdroj: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data sestávala z 25 tváří, aut a ložnic, v různých úrovních renderování, od „nerealistického“ po „realistický“. Pro srovnání tváří (tj. pro vhodné nefalešné materiály) autoři použili výběr zdrojových dat NVIDIA’s zdrojového datasetu Flickr-Faces-HQ (FFHQ) datasetu. Pro srovnání ostatních scénářů použili materiály z LSUN datasetu.

Obrázky byly nakonec prezentovány testovaným osobám buď správně, nebo vzhůru nohama, a v různých frekvencích, se všemi obrázky přepočtenými na 256×256 pixelů.

Po shromáždění všech materiálů byly pro testy vybrány 450 stimulačních obrázků.

Reprezentativní příklady testovacích dat.

Testy

Testy samy o sobě byly provedeny online, prostřednictvím jsPsych na pavlovia.org, se 200 účastníky, kteří hodnotili různé podmnožiny celkových testovacích dat. Obrázky byly prezentovány po dobu 200 ms, následované prázdnou obrazovkou, která setrvala, dokud pozorovatel neučinil rozhodnutí, zda zobrazený obrázek je skutečný nebo falešný. Každý obrázek byl prezentován pouze jednou a celý test trval 3-5 minut.

Druhé a více odhalující kolo použilo osobní testované osoby s EEG monitory a bylo prezentováno na Psychopy2 platformě. Každá z dvaceti sekvencí obsahovala 40 obrázků, se 18 000 obrázků prezentovaných napříč celým testovacím datem.

Shromážděná EEG data byla dekódována pomocí MATLAB s CoSMoMVPA toolboxem, pomocí leave-one-out cross-validation schématu pod Lineární diskriminační analýzou (LDA).

LDA klasifikátor byl součástí, který mohl rozlišit mezi mozkovou reakcí na falešné stimuly a názorem testované osoby na to, zda je obrázek falešný.

Výsledky

Zajímalo se, zda testovaní osoby mohou rozlišit mezi skutečnými a falešnými tvářemi, výzkumníci agregovali a zpracovali výsledky, přičemž zjistili, že účastníci mohli snadno rozlišit skutečné tváře od nerealistických, ale měli potíže s identifikací realistických, GAN-generovaných falešných tváří. Zda obrázek byl vzhůru nohama, zdálo se, že nemá velký vliv.

Behaviorální rozlišení skutečných a synteticky generovaných tváří ve druhém kole.

Avšak EEG data vyprávěla jinou historii.

Článek uvádí:

‘Ačkoli pozorovatelé měli potíže s rozlišením skutečných tváří od falešných a tendenci přehánět falešné tváře, EEG data obsahovala signální informace relevantní pro toto rozlišení, které se významně lišily mezi realistickými a nerealistickými, a tento signál se zdál být omezen na relativně krátkou fázi zpracování.’

Zde je rozpor mezi přesností EEG a hlášeným názorem testovaných osob (tj. zda obrázky tváří jsou falešné) nejsou identické, s EEG záznamy, které se blíží pravdě než zjevné vnímání lidí zapojených.

Výzkumníci uzavírají, že i když pozorovatelé mohou mít potíže s rozlišením falešných tváří, tyto tváře mají „rozlišitelné reprezentace v lidském vizuálním systému“.

Rozpor nalezený vedl výzkumníky k spekulacím o potenciální aplikovatelnosti svých zjištění pro budoucí bezpečnostní mechanismy:

‘V aplikovaném prostředí, jako je kybernetická bezpečnost nebo Deepfakes, by mohlo být nejlepší zkoumat detekční schopnost pro realistické tváře pomocí strojových učících se klasifikátorů aplikovaných na neuroimagingová data spíše než cílení na behaviorální výkon.’

Oni uzavírají:

‘Porozumění disociaci mezi mozkem a chováním pro detekci falešných tváří bude mít praktické důsledky pro to, jak budeme řešit potenciálně škodlivé a univerzální šíření umělých informací.’

* Moje konverze inline citací na hypertextové odkazy.

První publikováno 11. července 2022.