ディープフェイクを99%の精度で検出する新しい方法

カリフォルニア大学リバーサイド校のコンピューター科学者チームは、ディープフェイク動画における操作された顔の表情を検出する新しい方法を開発しました。この方法は、顔の表情を99%の精度で検出できるため、現在の最先端の方法よりも精度が高くなります。

新しい研究論文「顔の表情操作の検出とローカリゼーション」は、2022年冬のコンピューター視覚の応用に関する会議で発表されました。

顔の操作を検出する

この方法は、顔のアイデンティティが交換された場合でも、現在の方法と同等の精度を示しました。これは、新しいアプローチが顔の操作を検出するために使用できることを意味し、操作された動画を検出する自動ツールの開発に向けて大きなステップです。

最近のビデオ編集ソフトウェアの進歩により、個人の顔を別の顔に交換したり、元の表情を変更したりすることが容易になりました。ただし、こうした方法を検出することは非常に重要です。これらの方法は、世界中のさまざまな国内外の紛争で使用されています。ただし、表情のみが交換された顔の検出は非常に困難でした。

アミット・ロイ＝チョウダリーは、バーンズ工学大学の電気工学およびコンピューター工学の教授であり、研究の共同著者でもあります。

「ディープフェイク研究分野がより挑戦的になるのは、創造と検出と防止の競争が将来さらに激化することです。ジェネレーティブモデルが進化するにつれて、ディープフェイクは合成しやすくなり、実際のものと区別することがより困難になるでしょう」と彼は述べました。

画像：カリフォルニア大学リバーサイド校

表情操作検出（EMD）

新しい方法は、ディープニューラルネットワーク内でタスクを2つのコンポーネントに分割します。最初のブランチは、顔の表情を認識し、表情を含む領域に関する情報を提供します。これらの領域には、口、目、額などが含まれます。この情報は、操作の検出とローカリゼーションを担当するエンコーダー・デコーダー・アーキテクチャである2番目のブランチに送信されます。

チームは、このフレームワークを表情操作検出（EMD）と命名し、画像内で変更された特定の領域を検出およびローカライズできます。

ガザール・マザヘリは、博士課程の学生であり、研究のリーダーです。

「マルチタスク学習は、顔の表情認識システムによって学習された顕著な特徴を利用して、従来の操作検出システムのトレーニングに利益をもたらすことができます。こうしたアプローチは、顔の表情操作検出で印象的なパフォーマンスを達成します」とマザヘリは述べました。

研究者たちは、2つの課題的な顔操作データセットで実験を実施し、EMDは顔の表情操作およびアイデンティティ交換の両方で優れたパフォーマンスを示すことを実証しました。操作された動画の99%を正確に検出しました。