私たちの潜在的なディープフェイク検出スキルは、将来の自動化システムを動かす可能性がある

オーストラリアからの新しい研究によると、人間の脳は、複雑なディープフェイクを認識することに非常に優れており、見ている画像が実際には偽物であると信じている場合でも、脳はそれを認識できることがわかった。

この発見は、さらに、人間の脳応答（ではなく、人間の意図的な意見）を使用して、ディープフェイク検出システムを自動化する可能性を示唆している。そうしたシステムは、画像のディープフェイク特性を、人間の認識のメカニズムからではなく、脳活動から学習することになる。

‘脳は実際の顔と偽の顔の違いを認識できるが、観察者は意識的にそれらを区別できない。私たちの研究結果は、脳応答と行動の乖離が、偽の顔の認識を研究する方法、偽の画像の識別について問う質問、そして偽の画像の誤用に対する保護基準を確立する方法に影響を与えることを示唆している。’

これらの結果は、明らかに偽の画像、車、室内空間、逆さにした顔などの画像に対する人間の反応を評価するために設計されたテストのラウンドから得られた。

実験のさまざまなイテレーションとアプローチ。2つのテストグループが、画像を「偽物」または「本物」として分類する必要があった。最初のラウンドはAmazon Mechanical Turkで行われ、200人のボランティアが参加した。2回目のラウンドでは、EEGマシンに接続されたボランティアがテストに参加した。ソース：https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

論文では、

‘観察者は、わずかな時間で偽の顔を認識できるかもしれない。しかし、実際の顔を偽の顔から区別することは難しい。時には、偽の顔をより実際の顔であると信じることがあった。’

‘しかし、時間分解EEGと多変量パターン分類法を使用して、脳活動から実際の顔と偽の顔、そして実際の顔と現実的な偽の顔の違いを解読することができた。’

‘この現実的な偽の顔に対する脳応答と行動の乖離は、偽の顔の認識について新たな証拠を提供し、GANによって生成された顔の認識についても重要な意味を持つ。’

論文では、サイバーセキュリティなどの応用分野での潜在的な影響についても言及している。

著者はコメントしている：

‘これは、顔盲症の患者が、顔の違いを認識できないにもかかわらず、知覚できない顔に対して自動的な反応を示すという研究結果と似ている。’

‘同様に、私たちの研究では、脳活動から実際の顔と偽の顔の違いを解読することができたが、観察者はそれを認識できなかった。実際の顔を偽物であると認識した割合は69%であった。’

新しい研究は、Are you for real? Decoding realistic AI-generated faces from neural activityと題され、シドニー大学、マッコーリー大学、ウエスタンシドニー大学、クイーンズランド大学の4人の研究者によって行われた。

データ

結果は、明らかに偽の画像、超現実的な画像（しかしまだ偽の画像）、実際の画像を区別する人間の能力を調べるために行われた2回のテストから得られた。

研究者は、NVIDIAが提供したGAN（生成対抗ネットワーク）によって生成された画像を使用した。

NVIDIAが提供したGANによって生成された人間の顔画像。ソース：https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

データは、25の顔、車、ベッドルームの画像で構成され、レンダリングのレベルは「現実的でない」から「現実的」までさまざまだった。顔の比較のために、研究者はNVIDIAのFlickr-Faces-HQ（FFHQ）データセットのソースデータを使用した。其他のシナリオの比較のために、LSUNデータセットの素材を使用した。

画像は、最終的にテスト対象者に、正しい向きまたは逆さにした向きで、さまざまな周波数で提示され、すべての画像は256×256ピクセルにリサイズされた。

すべての素材が集められると、テストのために450の刺激画像がキュレーションされた。

テストデータの代表的な例。

テスト

テストは、最初にオンラインで行われ、jsPsychを使用してpavlovia.orgで200人の参加者がさまざまな画像を判断するように求められた。画像は200ミリ秒間提示され、次に空の画面が表示され、参加者が画像が「偽物」または「本物」であるかを判断するまで表示された。各画像は1回だけ提示され、テスト全体は3〜5分で完了した。

2回目のテストでは、EEGモニターを使用して、参加者がテストに参加した。テストはPsychopy2プラットフォームで行われ、各シーケンスには40の画像が含まれ、テストデータ全体で18,000の画像が提示された。

収集されたEEGデータは、MATLABとCoSMoMVPAツールボックスを使用して、線形判別分析（LDA）下でクロス検証方式で解析された。

LDA分類器は、偽の刺激に対する脳の反応と、参加者の意見の違いを認識できるコンポーネントだった。

結果

研究者は、EEGテスト参加者が偽の顔と実際の顔を区別できるかどうかを調べるために、結果を集計して処理した。参加者は、実際の顔と現実的でない偽の顔の違いを容易に認識できたが、現実的な偽の顔の認識は難しかった。画像が逆さにされたかどうかは、ほとんど差なかった。

2回目のテストでの、実際の顔と合成された顔の行動的区別。

しかし、EEGデータは異なる話を語っていた。

論文では、

‘観察者は、実際の顔と偽の顔の違いを認識するのに苦労し、偽の顔を過剰に分類したが、EEGデータには、実際の顔と偽の顔の違いを示す信号情報が含まれていた。この信号は、比較的短い処理段階に制限されていた。’

ここでは、EEGの精度と参加者の意見の違いが見られ、EEGのデータは、参加者の認識よりも真実に近かった。

研究者は、観察者が偽の顔を認識するのに苦労するかもしれないが、偽の顔は人間の視覚システムに独自の表現を持っていることを結論付けた。

この差異は、研究者が将来のセキュリティメカニズムへの応用について推測するよう促した：

‘サイバーセキュリティやディープフェイクのような応用分野では、現実的な顔の検出能力を、行動的パフォーマンスではなく、神経画像データに基づくマシンラーニング分類器を使用して検討することが最も効果的である。’

彼らは結論付けた：

‘偽の顔の認識における脳と行動の乖離を理解することは、人工的に生成された情報の普遍的な拡散に対処する方法に実用的影響を与える。’

* この論文のインライン引用をハイパーリンクに変換したものです。

2022年7月11日に初めて公開されました。