Andersonの視点
AIは画像の内容ではなく、デバイスブランドで画像をランク付けしている可能性がある
Unite.AI を Google の優先ソースに追加
新たな研究により、画像中心のAIシステムは写真に写っているものだけでなく、撮影方法も捉えていることが判明した。カメラの種類や画像品質といった隠れた情報が、AIが見ていると認識する内容に静かに影響を与え、異なるデバイスからの写真で誤った結果を招くことがある。
2012年に明らかにされたところによると、旅行サイトがAppleデバイスで閲覧しているユーザーに対して、常に高い価格を表示していたという。 (AAPL ) その後の調査で結論付けられたのは、このデバイス中心の「財布嗅ぎ」がeコマースサイトでほぼ常態化していたということだ。
同様に、特定の写真を撮影したスマートフォンや撮影デバイスは、法医学的手法で推測できる。これは、モデルに限られた数のレンズの既知の特性に基づくものである。そのようなケースでは、撮影デバイスの機種は通常、視覚的な痕跡から推定される。2012年の事例と同様に、どのタイプのカメラで画像が撮られたかを知ることは、潜在的に悪用可能な特性となり得る。
撮影デバイスは画像に重要なメタデータを埋め込む傾向があるが、この機能はユーザーがオフにできることが多い。たとえオンのままであっても、ソーシャルメディアなどの配信プラットフォームは、物流上またはプライバシー保護の目的で、メタデータの一部または全部を除去することがある。
それでも、ユーザーがアップロードした画像のメタデータは、削除されるのではなく再書き換え・再解釈されるか、あるいはそのまま残されることが多い。これは、画像の内容ではなく、撮影方法に関する二次的情報源として機能する。2012年のケースが示すように、この種の情報は商業プラットフォームだけでなく、ハッカーや悪意ある行為者にとっても価値がある可能性がある。
双方向の視点
日・チェコの新たな共同研究により、カメラハードウェアや画像処理（JPEG品質やレンズシャープニングなど）によって残される痕跡は、法医学的ツールで検出できるだけでなく、主要なAIビジョンモデルの‘グローバルな理解’に静かに組み込まれていることが判明した。
これにはCLIPやその他の大規模視覚エンコーダーが含まれ、検索エンジンからコンテンツモデレーションまで幅広く利用されている。新たな研究は、これらのモデルが単に写真の中身を解釈するだけでなく、写真がどのように作られたかも学習できること、そしてこの隠れたシグナルが時に可視的なコンテンツを上回る影響力を持つことを示している。
著者らの PairCams データセットからの例画像ペアで、カメラの種類が AI 画像モデルに与える影響をテストするために作成されたものです。各ペアは、同じ対象またはシーンを同時に、非スマートフォン（左）とスマートフォン（右）で撮影したものです。 Source: https://arxiv.org/pdf/2508.10637
本研究は、AIモデルに対して画像を大幅にマスクしたり切り取ったりした場合でも、驚くほど高い精度でカメラのメーカーとモデルを推測できることを主張している。これは、画像類似性を評価する際に使用される表現空間が、ユーザーのデバイスといった無関係な要因と絡み合い、予測不可能な結果を招く可能性があることを意味する。
たとえば、分類や画像検索といった下流タスクにおいて、この望ましくない「重み付け」により、画像が実際に示す内容に関係なく特定のカメラタイプが優先されることがある。
論文は次のように述べている:
‘メタデータラベルが視覚エンコーダーに痕跡を残し、意味情報を上回るほどになると、予測不可能な結果を招き、汎用性やロバスト性が損なわれ、モデルの信頼性を脅かす可能性がある。’
‘さらに重大なのは、この影響が悪意ある目的で利用され得る点である。たとえば、敵対的攻撃がメタデータを操作してモデルを意図的に誤導・欺くことができ、医療、監視、自律システムなどのセンシティブな領域でリスクを生じさせる。’
本論文は、CLIPなどの対照的視覚言語（CVL）システムが、データからこのような推論を得やすいことを指摘している。
クエリ画像の検索結果で、基礎モデルが視覚的コンテンツだけでなく、JPEG 圧縮やカメラモデルといった隠れたメタデータに基づいて類似画像をランク付けする様子を示しています。
この新しい論文のタイトルは視覚エンコーダにおける処理と取得の痕跡：CLIPはあなたのカメラについて何を知っているか？で、大学大阪とプラハのチェコ工科大学の6人の研究者によるものです。
手法とデータ*
CLIPなどの視覚エンコーダに対する隠れメタデータの影響を検証するため、著者らはメタデータを画像処理パラメータ（JPEG圧縮やシャープ化など）と取得パラメータ（カメラモデルや露出設定など）の2カテゴリに分けて扱いました。
新たにモデルを訓練するのではなく、研究者らは47の広く使用されている視覚エンコーダを凍結された事前学習状態で評価し、CLIPなどの対照的なビジョン・言語モデル、自己教師ありモデルとしてDINO、そして従来の教師ありネットワークを含めました。
処理パラメータについては、研究者らは制御された変換をImageNetおよびiNaturalist 2018 データセットに適用し、JPEG圧縮の6段階、シャープ化の3設定、リサイズの3スケール、補間方法の4種を含めました。
iNaturalist データセットからの画像とそれに付随するアノテーションの例です。出典: https://arxiv.org/pdf/1707.06642
モデルは画像内容のみを用いて各変換設定を復元できるかどうかでテストされ、予測が成功すればエンコーダがこれらの処理選択に関する情報を内部表現に保持していることを示します。
取得パラメータを調査するため、研究者らはFlickrExifという356,459枚の画像からなるデータセットを作成し、保存されたExif メタデータを含め、さらにPairCamsというデータセットを構築しました。これはスマートフォンと非スマートフォンカメラで同時に撮影された730組の画像ペアで構成されています。
FlickrExif データセットは Flickr API を利用して、Exif メタデータを伴う画像をダウンロードすることで構築されました。月間 2,000〜4,000 枚の安全な画像が収集され、2000 年初頭から 2024 年中頃までの期間のものが対象で、許諾条件が緩やかなもののみが選別されました。過度なユーザー偏りを防ぐため、各貢献者は年ごとに月当たり最大 10 枚までに制限されました。
PairCams データセットでは、すべての写真が自動設定かつフラッシュなしで撮影されており、画像内容に関係なくカメラハードウェアの違いだけに対する視覚エンコーダの応答を比較できるようにしています：
著者がキュレーションした PairCams データセットからのさらなる例です。
著者らは2つのパラメータ群についてテストを行いました：画像処理パラメータ（圧縮や色変換など）と画像取得パラメータ（カメラのメーカーやモデルなど）。
画像処理パラメータと取得パラメータを分析し、それぞれのクラス数を示しています。
テスト
画像処理やカメラ種別に関する情報が視覚エンコーダの埋め込み内部に保持されているかを判定するため、著者らは埋め込みからメタデータラベルを直接予測する分類器を訓練しました。分類器の性能がランダム推測と同等であれば、処理やデバイスに関する詳細がモデルに捕捉されていないことを示唆します。
しかし、偶然以上の性能が得られれば、これらの技術的痕跡が実際にエンコードされており、下流タスクに影響を与える可能性があることを示します。
処理痕跡をテストするため、著者らは各訓練画像にランダムな処理設定（例：特定の JPEG 圧縮レベル）を割り当て、バッチ内のすべてのテスト画像は同一の設定を共有させました。
すべての設定に対する平均分類精度は、異なるランダムシードでの反復試行と組み合わせられ、画像処理の技術的詳細がモデルの内部表現に一貫して捕捉されているかどうかを判断できるようにしました：
エンコーダ埋め込みから画像処理パラメータを予測する分類精度。凍結モデルに線形分類器を適用。JPEG 圧縮、シャープ化、リサイズ、補間について、対照的なビジョン・言語（オレンジ）、教師あり（緑）、自己教師あり（青）の3つのモデルカテゴリで、ImageNet（上段）と iNaturalist 2018（下段）で評価。ランダム推測のベースラインは破線で示す。
4つの処理パラメータすべてにわたり、対照的なビジョン・言語モデルは隠れた画像操作を認識する能力が最も高いことを示した。モデルの中には、ImageNet の埋め込みから JPEG 圧縮、シャープ化、リサイズ設定を予測する際に 80% 超の精度を達成したものもある。
特に ConvNeXt をベースとした教師ありエンコーダは高い性能を示したが、自己教師ありモデルは一貫して劣っていた。
補間は検出が最も難しいパラメータであったが、上位の CVL および教師ありモデルは両データセットでランダムベースラインの 25% を大きく上回る結果を達成した。
次に、カメラに関する情報がモデル表現に埋め込まれているかを検証するため、著者らは取得パラメータ（カメラメーカー、カメラモデル、露出、絞り、ISO、焦点距離など）ごとに別々の訓練セットとテストセットを作成した。
ほとんどのパラメータでは、5,000 件以上のサンプルがあるクラスのみを使用し、500 枚の画像をランダムに 取り置きしてテストに用い、残りのサンプルは各クラスが 200 件の訓練サンプルになるようにダウンサンプリングした。『model (all)』および『model (smart)』パラメータのようにクラスあたりのデータが少ない場合、著者らは代わりに 500 枚以上の画像があるクラスを使用し、各クラスを 訓練 と テスト のサブセットに 4:1 の比率で分割した。
撮影者は訓練、検証、テストの各セットで分離されたままで、画像特徴に基づいてカメラ情報を予測するシンプルな分類器が訓練された。
分類器が画像の意味的内容に影響されないようにするため、各画像の 90% を中心部でマスクした（下記例参照）。著者らは、このマスクレベルではすべてのビジュアルエンコーダが ImageNet 上でほぼランダムな性能となり、意味的シグナルが効果的に除去されたと主張している：
マスク率に対する ImageNet 検証精度。90% のマスクでは、すべてのモデルの意味ラベル予測性能がほぼランダムに低下し、意味的手がかりが効果的に除去されたことを示す。下部の例画像がマスクレベルを示している。
各画像の 90% をマスクした状態でも、ほとんどの対照的ビジョン・言語モデルと教師あり ConvNeXt エンコーダは、偶然レベルを大きく上回る精度でカメラ関連ラベルを予測し続けた。多くの CVL モデルは、スマートフォンと非スマートフォン画像を区別する精度が 70% を超えた。
他の教師ありエンコーダや SigLIP、そしてすべての自己教師ありモデルははるかに性能が低下した。マスクを適用しない場合、CVL モデルは再びカメラ種別による最も強いクラスタリングを示し、これらのモデルが他よりも取得情報を深く埋め込んでいることが確認された：
2 つのビジュアルエンコーダの t‑SNE 可視化。色は各画像がスマートフォンで撮影されたか非スマートフォンカメラで撮影されたかを示す。
下流での重要性
メタデータがこのようにモデルに影響を与えることを確認した上で、隠れた処理痕跡が画像解釈に干渉する傾向が評価された。
同じ画像の2つのバージョンが異なる方法で処理された場合、埋め込みはコンテンツではなく処理スタイルに従って整理されることが多かった。いくつかのケースでは、犬の写真を大幅に圧縮したものが、圧縮設定が同じで内容は無関係な画像と、圧縮されていない元のバージョンよりも類似しているとみなされた。
処理パラメータが意味予測に与える影響を示す。ImageNet（上）と iNaturalist（下）における意味分類精度を、5 つの処理設定下で比較する。ベースラインでは、すべての訓練・テスト画像が同一の処理ラベルを共有する。all-diff 設定では、テスト画像が訓練セットに存在しない処理値を使用する。pos-same と neg-same では、処理ラベルが意味的に類似した画像または非類似な画像に合わせられる。uniform 設定では、処理ラベルが訓練セット全体にランダムに割り当てられる。結果は ImageNet で k=10、iNaturalist で k=1 を用いて報告した。
最も大きな歪みは JPEG 圧縮によって引き起こされ、次いでシャープ化とリサイズが続き、補間はわずかな影響しか与えませんでした。著者らは、これらの結果が処理の痕跡が意味情報を上回り、画像の理解の仕方を左右できることを示していると主張しています。
結論として、彼らは警告します：
‘我々はメタデータラベルが基礎的な視覚エンコーダにエンコードされていることと、潜在的な原因に関する手がかりを提供したことは確認しましたが、問題の根源を明確に特定することはできません。さらに調査することは、モデルの再学習にかかるコストや、プライベートデータセットや未公開の実装詳細が頻繁に使用されることから、困難です。
‘具体的な緩和策は提案しませんが、我々はこの問題を将来の研究における重要な領域として強調します。’
結論
文献では『手法が内容を上回る』という痕跡やサインに対する法医学的関心が高まっており、フレーミング領域や特定のデータセットを特定しやすくなるほど、ディープフェイク検出器やデータやモデルの出所・年代を分類するシステムなどの形でこの情報を活用しやすくなります。
これは AI モデルを訓練する本来の目的に反します。すなわち、中心的な抽象概念は生成手段とは独立してキュレーションされ、そこに手段の痕跡を残さないべきです。実際、データセットや撮影デバイスは特性やドメイン特性を持ち、コンテンツから切り離すことは実質的に不可能です。なぜならそれら自体が『歴史的視点』を表しているからです。
* 本稿は従来とは異なる構成であり、我々はその独特なフォーマットと提示方法にできる限り適応します。本来 (存在しない) 「Method」セクションに入るべき多くの資料が付録の様々な箇所に振り分けられており、主稿を8ページに収めるためと推測されますが、明瞭さが大きく犠牲になっています。時間不足により改善の機会を逃した場合は、謝罪いたします。
最初の公開日：2025年8月20日水曜日
