Andersonの視点
私たちの無意識のディープフェイク検出能力は、将来の自動化システムを支える可能性がある

要点EEGデータは、視覚的に意識できなくても、本物と偽物の顔を区別する潜在的な神経信号が存在することを明らかにしている。
もっと見る
- EEGデータは、視覚的に意識できなくても、本物と偽物の顔を区別する潜在的な神経信号が存在することを明らかにしている。
- この研究は、主観的な人間の判断ではなく脳活動に基づいてディープフェイク検出器を訓練することで、より高い精度が得られる可能性を示唆している。
- 参加者は本物の顔の69%を偽物と誤認し、ディープフェイク検出における意識的な知覚の信頼性の低さが浮き彫りになった。
オーストラリアからの新しい研究によると、人間の脳は、複雑なディープフェイクを認識することに非常に優れており、見ている画像が本物だと意識的に信じている場合でも、脳はそれを認識できることがわかった。
この発見は、さらに、人々が述べた意見ではなく、ディープフェイクの顔に対する神経反応を使って、自動ディープフェイク検出システムを訓練する可能性を示唆している。そうしたシステムは、画像のディープフェイク特性を、混乱したもっともらしさの推定からではなく、顔の個体識別に関わる本能的な知覚メカニズムから学習することになる。
‘脳は本物の顔と本物らしい偽の顔の違いを認識できるが、観察者は意識的にそれらを区別できない。私たちの研究結果は、脳応答と行動の乖離が、偽の顔の認識を研究する方法、偽の画像の識別について問う質問、そして偽の画像の誤用に対する保護基準を確立する方法に影響を与えることを示唆している。’
これらの結果は、明らかに偽の画像、車、室内空間、逆さにした顔などの画像に対する人間の反応を評価するために設計されたテストのラウンドから得られた。

実験のさまざまなイテレーションとアプローチ。2つのテストグループが、画像を「偽物」または「本物」として分類する必要があった。最初のラウンドはAmazon Mechanical Turkで行われ、200人のボランティアが参加した。2回目のラウンドでは、より少人数の、EEG装置に接続されたボランティアがテストに参加した。ソース:https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf
論文では、
‘観察者は、わずかな時間で偽の顔を認識できるかもしれない。しかし、実際の顔を偽の顔から区別することは難しい。時には、偽の顔をより実際の顔であると信じることがあった。’
‘しかし、時間分解EEGと多変量パターン分類法を使用して、脳活動から実際の顔と偽の顔、そして実際の顔と現実的な偽の顔の違いを解読することができた。’
‘この現実的な偽の顔に対する脳応答と行動の乖離は、偽の顔の認識について新たな証拠を提供し、GANによって生成された顔の認識についても重要な意味を持つ。’
論文は、応用サイバーセキュリティにいくつかの示唆があるとし、ディープフェイクを学習する分類器は、画像の真偽についての観察者の意識的な評価ではなく、偽画像への反応をEEGで測定した潜在意識の反応に基づいて開発するほうがよい可能性を指摘している。
著者はコメントしている*:
‘これは、相貌失認の人々が行動上は顔を既知か未知かに分類・識別できなくても、なじみのある顔に対してなじみのない顔より強い自律神経反応を示すという知見を思い起こさせる。’
‘同様に、私たちの研究では、脳活動から実際の顔と偽の顔の違いを解読することができたが、観察者はそれを認識できなかった。実際の顔を偽物であると認識した割合は69%であった。’
新しい研究は、Are you for real? Decoding realistic AI-generated faces from neural activityと題され、シドニー大学、マッコーリー大学、ウエスタンシドニー大学、クイーンズランド大学の4人の研究者によって行われた。
データ
結果は、明らかに偽の画像、超現実的な画像(しかしまだ偽の画像)、実際の画像を区別する人間の能力を調べるために行われた2回のテストから得られた。
研究者は、NVIDIAが公開したGAN(生成対抗ネットワーク)によって生成された画像を使用した。

NVIDIAが提供したGANによって生成された人間の顔画像。ソース:https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam
データは、25の顔、車、ベッドルームの画像で構成され、レンダリングのレベルは「現実的でない」から「現実的」までさまざまだった。顔の比較のために、研究者はNVIDIAのFlickr-Faces-HQ(FFHQ)データセットのソースデータを使用した。他のシナリオの比較のために、LSUNデータセットの素材を使用した。
画像は、最終的にテスト対象者に、正しい向きまたは逆さにした向きで、さまざまな周波数で提示され、すべての画像は256×256ピクセルにリサイズされた。
すべての素材が集められると、テストのために450の刺激画像がキュレーションされた。
テスト
テストは、最初にオンラインで行われ、jsPsychを使用してpavlovia.orgで200人の参加者がさまざまな画像を判断するように求められた。画像は200ミリ秒間提示され、次に空の画面が表示され、参加者が画像が「偽物」または「本物」であるかを判断するまで表示された。各画像は1回だけ提示され、テスト全体は3〜5分で完了した。
2回目のテストでは、EEGモニターを使用して、参加者がテストに参加した。テストはPsychopy2プラットフォームで行われ、20のシーケンスのそれぞれには40の画像が含まれ、テストデータ全体で18,000の画像が提示された。
収集されたEEGデータは、MATLABとCoSMoMVPAツールボックスを使用して、一つ抜き交差検証と線形判別分析(LDA)によって解析された。
LDA分類器は、偽の刺激に対する脳の反応と、参加者の意見の違いを認識できるコンポーネントだった。
結果
研究者は、EEGテスト参加者が偽の顔と実際の顔を区別できるかどうかを調べるために、結果を集計して処理した。参加者は、実際の顔と現実的でない偽の顔の違いを容易に認識できたが、現実的な偽の顔の認識は難しかった。画像が逆さにされたかどうかは、ほとんど差なかった。

2回目のテストでの、実際の顔と合成された顔の行動的区別。
しかし、EEGデータは異なる話を語っていた。
論文では、
‘観察者は、実際の顔と偽の顔の違いを認識するのに苦労し、偽の顔を過剰に分類したが、EEGデータには、この区別に関係し、現実的な偽の顔と非現実的な偽の顔との間で有意に異なる信号情報が含まれていた。この信号は、比較的短い処理段階に制限されていた。’

ここでは、EEGの精度と参加者の意見の違いが見られ、EEGのデータは、参加者の認識よりも真実に近かった。
研究者は、観察者が偽の顔を認識するのに苦労するかもしれないが、偽の顔は人間の視覚システムに独自の表現を持っていることを結論付けた。
この差異は、研究者が将来のセキュリティメカニズムへの応用について推測するよう促した:
‘サイバーセキュリティやディープフェイクのような応用分野では、現実的な顔の検出能力を、行動的パフォーマンスではなく、神経画像データに基づくマシンラーニング分類器を使用して検討することが最も適した方法である可能性がある。’
彼らは結論付けた:
‘偽の顔の認識における脳と行動の乖離を理解することは、人工的に生成された情報の潜在的に有害で広範な拡散に対処する方法に実用的影響を与える。’
* この論文のインライン引用をハイパーリンクに変換したものです。
2022年7月11日に初めて公開されました。













