Andersonの視点
ディープフェイクをリアルタイムで検出できる、深度情報の活用
Unite.AI を Google の優先ソースに追加
イタリアの新しい研究では、画像から得られる深度情報がディープフェイクを検出するための有用なツールとなることが示唆された。ディープフェイク検出の研究の多くは、過去5年間でアーティファクトの検出（改良された技術によって軽減される可能性がある）に焦点を当てていたが、この新しい研究では、深度情報を使用してディープフェイクを検出することを提案している。
ディープフェイク検出の研究は、環境光、生物学的特徴、時間的変化、および人間の直感に焦点を当てていたが、この新しい研究では、深度情報がディープフェイクコンテンツを検出するための有用な鍵となることが示唆された。
実際の画像とディープフェイク画像の深度情報の違い。 ソース：https://arxiv.org/pdf/2208.11074.pdf
この研究では、ディープフェイク検出フレームワークが、軽量ネットワークであるXceptionで非常にうまく機能し、MobileNetでも十分に機能することが示された。また、深度情報を使用することで、リアルタイムのディープフェイク検出が可能になることも示唆された。
このシステムは、深度情報を使用して、実際の画像とディープフェイク画像を区別することができる。深度情報は、画像から得られる追加の情報であり、ディープフェイク検出に役立つ。
研究者は、深度情報を使用することで、ディープフェイク検出の精度が向上することを発見した。深度情報は、画像から得られる追加の情報であり、ディープフェイク検出に役立つ。
エッジケース
ディープフェイクモデルは、顔の内側の領域、たとえば目、鼻、口に重点を置いて訓練される。顔の外側の領域は、訓練の後期になるまで十分に定義されないことが多い。
顔のサリエンシーマップ。 ソース：https://arxiv.org/pdf/2203.01318.pdf
通常、顔の外側の領域は、ディープフェイク検出に重要ではない。人間は、目や口に注目し、外側の領域はあまり注目しないからだ。
しかし、ディープフェイク画像の外側の領域は、アルゴリズムを使用して検出できる。研究者は、外側の領域に重点を置いたディープフェイク検出システムを開発した。
深度への掘り下げ
深度情報は、スマートフォンに組み込まれることが増えており、AI支援のステレオ実装は、コンピュータビジョンの研究に特に役立つ。
FaceDepthモデル。 ソース：https://tinyurl.com/3ctcazma
研究者は、FaceDepthモデルを使用して、画像から深度情報を推定した。FaceDepthモデルは、単一の画像から深度情報を推定することができる。
次に、研究者は、実際の画像とディープフェイク画像の両方から、顔の224×224ピクセルのパッチを抽出して、深度情報を推定した。
DepthFakeのパイプライン。
FaceDepthモデルは、実際の画像とディープフェイク画像の両方から、深度情報を推定することができる。FaceDepthモデルは、MobileNetを特徴抽出器として使用し、480×640の入力画像から240×320の深度マップを出力する。
訓練
モデルは、Xceptionネットワークを使用して訓練された。Xceptionネットワークは、ImageNetで事前訓練された。
深度情報を使用するために、モデルは適応する必要があった。深度情報の値域を0-255に正規化する必要があった。
訓練中、フリッピングと回転のみが適用された。視覚的な変化をモデルに与えることで、ロバストな推論を開発することができた。
また、モデルは、2チャネルのグレースケール画像を使用して訓練された。深度情報を使用することで、モデルはより良い結果を得ることができた。
訓練は、TensorFlow APIを使用して、NVIDIA GTX 1080の8GBのVRAMで行われた。ADAMAXオプティマイザを使用して、25エポックでバッチサイズ32で訓練された。
結果
精度は、Deepfake、Face2Face、FaceSwap、Neural Texture、およびFaceForensic++フレームワークを使用して評価された。
4つのディープフェイク手法と全データセットに対する精度の結果。
深度情報を使用することで、モデルはより良い結果を得ることができた。Xceptionは、最も良い結果を得た。MobileNetも、深度情報を使用することで、より良い結果を得ることができた。
研究者は、深度情報を使用することで、モデルはより良い結果を得ることができたことを発見した。深度情報は、画像から得られる追加の情報であり、ディープフェイク検出に役立つ。
また、研究者は、グレースケール画像を使用することで、モデルはより良い結果を得ることができたことを発見した。グレースケール画像は、深度情報を推定するために使用される。
深度情報を使用することで、モデルはリアルタイムのディープフェイク検出が可能になる。深度情報は、画像から得られる追加の情報であり、ディープフェイク検出に役立つ。
最初に公開された：2022年8月24日。
