AIが過ぎ去った時代のiPhoneを描くのを止める方法

AI画像生成器はどのように過去を描写するのだろうか？新たな研究によると、AI画像生成器はスマートフォンを18世紀に落とし込み、ノートパソコンを1930年代の風景に挿入し、掃除機を19世紀の家に置くことが示唆されている。これらのモデルがどのように歴史を想像するのか、そしてそもそも文脈的な歴史的正確性を実現できるのか、という疑問が浮上している。

 

2024年初頭には、Googleの 双子座 マルチモーダルAIモデルは、 不適切な状況における人口統計上の公平性たとえば、あり得ない出自を持つ第二次世界大戦のドイツ兵を生成するなど:

これは、補償の努力が バイアス AIモデルは歴史的背景を考慮に入れていなかった。このケースでは、この問題はすぐに解決された。しかし、 拡散ベース モデルは、現代と歴史的な側面や遺物を混同する歴史のバージョンを生成する傾向があります。

これは部分的に エンタングルメント訓練データで頻繁に一緒に出現する特性が、モデルの出力で融合される。例えば、スマートフォンのような現代的な物体が、データセット内で話す、聞くという行為と頻繁に共起する場合、モデルは、プロンプトが歴史的な設定を指定している場合でも、それらの行動を現代的なデバイスと関連付けることを学習する可能性がある。これらの関連付けがモデルの 内部表現、その活動を現代の文脈から切り離すことが難しくなり、歴史的に不正確な結果につながります。

スイスの新しい論文では、潜在的拡散モデルにおける絡み合った歴史的世代の現象を調査し、 写実的な人物を創造する能力が非常に高い それでも、歴史上の人物を歴史的な方法で描写することを好む。

プロンプト 「[歴史的時代]に友人と笑っている人物の写実的な画像」3つのテストモデルのうち1つは、否定的なプロンプトを無視することが多い。 「モノクロ」 代わりに、特定の時代における視覚メディアを反映した色彩処理を採用し、たとえば 1950 年代や 1970 年代のセルロイド フィルムの落ち着いた色調を模倣しています。

3つのモデルの創造能力をテストしたところ、 時代錯誤 （対象期間外のもの、または「時間外」のもの - 対象期間の 未来 彼らは、その過去だけでなく、時代を超えた活動（「歌う」や「料理する」など）を現代の文脈や設備と混同する傾向が一般的にあることを発見した。

注目すべきは、スマートフォンは写真の表現法や他の多くの歴史的文脈から切り離すことが特に難しいということです。なぜなら、スマートフォンの普及と描写は、次のような影響力のあるハイパースケールデータセットでよく表現されているからです。 一般的なクロール:

問題の深刻さを解明し、この厄介な問題に対する今後の研究の方向性を示すため、論文の著者らは生成システムをテストするための専用のデータセットを開発した。これについては後ほど詳しく見ていこう。 新作というタイトルの 総合的な歴史：拡散モデルにおける過去の視覚的表現の評価チューリッヒ大学の2人の研究者によるもので、データセットとコードは公開されています。

脆い「真実」

論文のテーマの中には、人種の過少代表など、文化的に敏感な問題に触れているものもある。 と性別 歴史的表象において。ジェミニが、甚だしく不平等な第三帝国において人種平等を押し付けたことは、不条理で侮辱的な歴史修正である一方、「伝統的な」人種表象（拡散モデルによって「更新」されたもの）を復元することは、しばしば事実上、歴史を「再び白塗り」することとなる。

最近のヒットの歴史番組の多くは、 ブリッジャートンは、将来のトレーニングデータセットに影響を与える可能性のある方法で歴史的な人口統計の正確性を曖昧にし、LLMで生成された時代画像を従来の基準に合わせる取り組みを複雑化させます。しかし、これは複雑な問題です。 歴史的傾向 （西洋の）歴史は富と白人を優遇し、多くの「重要でない」物語を語らないままにしてきた。

これらの扱いにくく常に変化する文化的パラメータを念頭に置き、研究者の新しいアプローチを見てみましょう。

方法とテスト

生成モデルが歴史的文脈をどのように解釈するかをテストするために、著者らは ヒストビズは、一般的な人間の活動を描写した 30,000 のプロンプトから生成された XNUMX 枚の画像のデータセットで、それぞれが XNUMX の異なる期間にわたってレンダリングされています。

活動としては、 料理, 祈る or 音楽を聴くは、その普遍性から選ばれ、特定の美学に縛られないよう中立的な形式で表現されています。データセットの期間は17世紀から現代までで、20世紀の5つの年代にも重点を置いています。

広く使用されている 30,000 つのオープンソース拡散モデルを使用して、XNUMX 枚の画像が生成されました。 安定拡散XL; 安定拡散 3、および フラックス.1研究者たちは、期間を唯一の変数として切り離すことで、歴史的手がかりがこれらのシステムによってどのように視覚的に符号化されるか、あるいは無視されるかを評価するための構造化された基盤を構築した。

ビジュアルスタイルの優位性

著者は、生成モデルが特定の ビジュアルスタイル 歴史的時代を描くとき、​​たとえ指示に媒体や美的感覚についての言及が含まれていなかったとしても、モデルは特定の世紀を特徴的なスタイルと関連付けることが多いように思われた。

この傾向を測定するために、著者らは たたみ込みニューラルネットワーク (CNN) HistVis データセット内の各画像を 5 つのカテゴリのいずれかに分類します。 描画; 彫刻; イラスト; 絵画、または 写真撮影これらのカテゴリーは、期間を跨いで出現する共通のパターンを反映し、構造化された比較をサポートすることを目的としています。

分類器は、 VGG16 事前学習済みモデル ImageNet および 微調整 クラスごとに1,500の例題を用意し、 ウィキアート派生データセット。WikiArtはモノクロ写真とカラー写真を区別しないため、別途 カラフルさスコア 低彩度の画像をモノクロとしてラベル付けするために使用されました。

学習済みの分類器をデータセット全体に適用した結果、17つのモデルすべてが時代ごとに一貫した文体のデフォルトを課していることが示されました。SDXLは18世紀と3世紀を彫刻と関連付け、SD1とFLUX.3は絵画に傾向しています。XNUMX世紀の年代では、SDXNUMXはモノクロ写真に重点を置き、SDXLは現代のイラストを返すことが多いです。

これらの好みは、迅速な調整にもかかわらず持続することがわかり、モデルがスタイルと歴史的文脈の間の定着したつながりをエンコードしていることを示唆しています。

モデルが歴史的期間と特定の期間をどの程度強く結び付けているかを定量化する ビジュアルスタイル著者らは、 ビジュアルスタイルの優位性 （VSD）。各モデルと期間において、VSDは最も一般的なスタイルを共有すると予測される出力の割合として定義されます。

スコアが高いほど、その期間の出力は単一のスタイルで支配的であることを示し、スコアが低いほど、ばらつきが大きいことを示します。これにより、各モデルが特定のスタイル慣習にどれだけ厳密に従っているかを、時系列で比較することが可能になります。

HistVis データセット全体に適用すると、VSD メトリックはさまざまなレベルの収束を明らかにし、各モデルが過去の視覚的解釈をどの程度絞り込むかを明確にするのに役立ちます。

上記の結果表は、各モデルの歴史的期間におけるVSDスコアを示しています。17世紀と18世紀では、SDXLは高い一貫性で彫刻を表現する傾向がありますが、SD3とFLUX.1は絵画表現を好みます。20世紀と21世紀になると、SD3とFLUX.1は写真表現に近づきますが、SDXLはより多様性に富みますが、多くの場合、イラスト表現がデフォルトとなります。

これら 20 つのモデルはすべて、1910 世紀初頭、特に 1930 年代、1950 年代、XNUMX 年代のモノクロ画像に対する強い好みを示しています。

これらのパターンを軽減できるかどうかをテストするために、著者らは 迅速なエンジニアリングフォトリアリズムを明確に要求し、否定的なプロンプトを用いてモノクロ出力を抑制しました。場合によっては、支配スコアが低下し、例えば、主導的なスタイルがモノクロから 絵画17 世紀と 18 世紀に。

しかし、こうした介入によって真にフォトリアリスティックな画像が生み出されることはほとんどなく、モデルのスタイルのデフォルトが深く根付いていることが分かります。

歴史的一貫性

次の分析では、 歴史的一貫性生成された画像に、時代背景に適合しない物体が含まれていたかどうか。著者らは、固定された禁止項目のリストを使用する代わりに、大規模言語モデル（LLM）と視覚言語モデル（VLM）を活用し、歴史的文脈に基づいて場違いと思われる要素を特定する柔軟な手法を開発した。

検出方法はHistVisデータセットと同じ形式で、各プロンプトは歴史的期間と人間の活動を組み合わせたものだった。各プロンプトに対し、GPT-4oは指定された期間に場違いとなるオブジェクトのリストを生成し、提案されたオブジェクトごとにGPT-4oは はい、もしくは、いいえ 生成された画像にそのオブジェクトが表示されたかどうかを確認するために設計された質問。

例えば、次のようなプロンプトが与えられた場合 「18世紀に音楽を聴く人」GPT-4oは、 現代のオーディオ機器 歴史的に不正確であるとし、疑問を抱かせる その人は18世紀には存在しなかったヘッドフォンやスマートフォンを使っているのでしょうか?.

これらの質問は視覚的な質問応答のセットアップでGPT-4oに返され、モデルは画像をレビューして はい or いいえ それぞれに答えます。このパイプラインにより、現代のオブジェクトの事前定義された分類に依存せずに、歴史的に考えにくいコンテンツを検出することができました。

生成された画像に時代錯誤がどの程度頻繁に出現するかを測定するため、著者らは頻度と重大度を評価するための簡便な手法を導入した。まず、GPT-4oが同じ物体を説明する際に用いる、わずかな表現の違いを考慮した。

例えば、現代のオーディオ機器とデジタルオーディオ機器は同等のものとして扱われました。二重カウントを避けるため、 ファジーマッチングシステム は、真に異なる概念に影響を与えずに、これらの表面的なバリエーションをグループ化するために使用されました。

提案された時代錯誤がすべて正規化されると、次の 2 つのメトリックが計算されました。 周波数 特定の期間とモデルにおいて、特定のオブジェクトが画像にどのくらい頻繁に出現したかを測定し、 重症度 モデルによって示唆された後、そのオブジェクトがどの程度確実に表示されるかを測定しました。

現代の携帯電話が1.0回フラグ付けされ、生成された画像0.5枚に出現した場合、深刻度スコアはXNUMXとなります。XNUMX枚にしか出現しない場合は、深刻度スコアはXNUMXとなります。これらのスコアは、時代錯誤が発生したかどうかだけでなく、各期間におけるモデルの出力にどれほど深く埋め込まれているかを特定するのに役立ちました。

上記では、各モデルで最も一般的な 15 個の時代錯誤を、出現頻度とプロンプトとの一貫性に基づいてランク付けして表示しています。

衣類は頻繁に登場するが、散在している。一方、オーディオ機器やアイロン器具などのアイテムは、頻度は低いものの、高い一貫性を持って登場している。このパターンは、モデルがしばしば プロンプトのアクティビティ 期間よりも長く。

SD3 は、特に 19 世紀と 1930 年代の画像において、時代錯誤の割合が最も高く、次いで FLUX.1 と SDXL が続きました。

この検出手法が人間の判断とどの程度一致するかを検証するため、著者らはSD1,800（時代錯誤率が最も高いモデル）からランダムに抽出した3枚の画像を用いてユーザースタディを実施し、各画像を2,040人のクラウドワーカーが評価した。信頼性の高い回答をフィルタリングした後、234人のユーザーによる72件の判断が含まれ、この手法はXNUMX%のケースで多数決と一致した。

人口動態

最終分析では、モデルが人種と性別を時系列的にどのように描写しているかを検証しました。著者らはHistVisデータセットを用いて、モデルの出力と言語モデルによって生成されたベースライン推定値を比較しました。これらの推定値は正確ではありませんでしたが、歴史的な妥当性について大まかな感覚を提供し、モデルが意図した時代に合わせて描写を適応させているかどうかを明らかにするのに役立ちました。

これらの描写を大規模に評価するために、著者らはモデルが生成した人口統計と、それぞれの時間と活動の大まかな予測値を比較するパイプラインを構築した。まず、 フェアフェイス 分類器、 レスネット3410 万枚以上の画像でトレーニングされた機械学習ベースのツールにより、生成された出力から性別と人種を検出し、各シーンの顔が男性または女性に分類される頻度を測定したり、期間全体にわたって人種カテゴリを追跡したりできるようになりました。

信頼性の低い結果はノイズを減らすために除外され、特定の時間と活動に関連付けられたすべての画像について予測が平均化されました。FairFaceの読み取り値の信頼性を確認するために、 ディープフェイス 5,000枚の画像サンプルに使用されました。XNUMXつの分類器は高い一致を示し、本研究で使用された人口統計学的データの一貫性を裏付けました。

モデルの出力を過去の妥当性と比較するため、著者らはGPT-4oに各活動と期間における性別と人種の分布の予測値を推定させた。これらの推定値は、グラウンドトゥルースではなく、大まかなベースラインとして機能した。そこで、以下のXNUMXつの指標が使用された。 過小評価 および 過剰表現モデルの出力が LLM の予想からどれだけ外れたかを測定します。

結果は明確なパターンを示した。FLUX.1は、次のようなシナリオでも男性を過剰に代表することが多い。 料理、女性が期待されていた。SD3とSDXLは、次のようなカテゴリーで同様の傾向を示した。 , 教育 および 宗教白人の顔は全体的に予想以上に多く登場しましたが、この偏りは最近の期間では減少しています。また、一部のカテゴリでは白人以外の顔の表現が予想外に急増しており、モデルの挙動は歴史的背景ではなくデータセットの相関関係を反映している可能性があることを示唆しています。

著者らは結論する：

私たちの分析により、[テキスト画像変換/TTI]モデルは、歴史的時代の微妙な理解よりも、限定的な文体的符号化に依存していることが明らかになりました。各時代は特定の視覚スタイルと強く結びついており、結果として歴史の描写は一面的なものになってしまいます。

「特に、人物の写実的な描写は、FLUX.20 と SD1 のまれな例外を除いて 3 世紀以降にのみ登場しており、モデルは歴史的背景に柔軟に適応するのではなく、学習した連想を強化することを示唆しており、リアリズムは現代的な特徴であるという考えを永続させています。」

「さらに、頻繁に起こる時代錯誤は、これらのモデルの潜在空間では歴史的期間が明確に区別されていないことを示唆している。なぜなら、近代の遺物は前近代的な環境で出現することが多く、教育や文化遺産の文脈におけるTTIシステムの信頼性が損なわれているからだ。」

まとめ：

拡散モデルの学習中、新しい概念は潜在空間内の定義済みのスロットにきちんと収まるわけではありません。むしろ、出現頻度と関連する概念との近さによって形作られたクラスターを形成します。その結果、概念は明確な経験的分離ではなく、出現頻度と典型的な文脈との関係性に基づいて存在する、緩く組織化された構造が形成されます。

このため、大規模で汎用的なデータセットの中で何が「歴史的」とみなされるのかを区別することが困難になります。新しい論文の調査結果が示唆するように、多くの時代は 見ます より深い歴史的詳細よりも、それらを描写するために使用されたメディアによるものです。

これが、例えば2025世紀の人物の19年品質のフォトリアリスティックな画像を生成することが依然として困難な理由の一つです。多くの場合、モデルは映画やテレビから引き出された視覚的比喩に頼ることになります。それらが要求に合致しない場合、データにはそれを補うものがほとんどありません。このギャップを埋めるには、重複する概念を分離する技術の将来的な改善が不可欠となるでしょう。

 

初版発行日：26年2025月XNUMX日（月）