ソートリーダー
AIエンジンの回答が一致しても、それは証明にならない:300件の商品情報に関する質問から分かったこと

要点モデル間の一致は、あるバージョンがどれだけ広く普及しているかを測るものであり、それが最新かどうかを測るものではない。
もっと見る
- モデル間の一致は、あるバージョンがどれだけ広く普及しているかを測るものであり、それが最新かどうかを測るものではない。
- 相互チェックは単一エンジンの外れ値を捉えるが、すべてのモデルが共有する回答を検出することはできない。
- 回答はすべての公式注記を含みながら、それらの注記を誤った階層に配置することがある。
この記事は、香水のノートに関する質問にChatGPT、Gemini、Perplexityがどう答えるかを調べた、Scentoによる2026年10月の調査結果に基づいています(調査方法、データ、限界の全容)。
AIエージェントの設計でよく使われる安全策の一つは、複数のモデルに質問する、あるいは同じモデルに複数回質問し、回答が一致した内容を信頼することです。この考え方には確かな根拠があります。自己整合性は、複数の推論経路をサンプリングし、多数派の回答を採用する手法で、推論ベンチマークの精度を高めます。また、あるモデルに別のモデルを評価させる方法は、LLMを審判役として評価する手法を扱った研究で、人間の評価者と高い一致率を示しています。ただし、同研究の著者らは、提示順、冗長さ、自己評価を高める傾向によるバイアスも記録しています。
商品情報は、一致が正確さを意味するかどうかを検証するのに適しています。通常、正解はその商品を製造する企業が公表しているからです。香水を使って検証したところ、答えは「一部に限られる」でした。
検証方法
プロンプトは、香水のトップノート、ハートノート、ベースノートを尋ねる一文でした。2026年10月20日、45のフレグランスメゾンの製品から選んだ香水100点について、ChatGPT、Gemini、Perplexityに同じ質問を送りました。各モデルへの問い合わせは、米国の所在地から英語で1回ずつ行い、合計300回でした。Geminiは1回の問い合わせでサービスエラーが発生したため、回答は99件でした。
香水91点については、各メゾンが自社サイトで公表しているノート一覧を正解としました。残る9点については、正規販売店2社が一致して掲載している一覧を正解としました。評価には、言語モデルを一切使わないスクリプトを用いました。このスクリプトは、各回答に含まれるすべてのノートを411項目の用語集に照合し、その結果を正解と比較しました。評価20件を手作業で確認したところ、17件は完全に一致し、19件はノート1項目以内の差でした。ただし、確認者はスクリプトの結果を見られたため、この確認はブラインドではありませんでした。
測定したのは4項目です。再現率(回答に公式ノートがいくつ含まれているか)、適合率(回答に挙げられたノートのうち、公式ノートがいくつあるか)、完全一致(公式ノートがすべて含まれ、余分なノートがないこと)、配置(各ノートが正しいトップ、ハート、ベースの区分に置かれているか)です。
発見1:各エンジンは、何が含まれているかについて一致する
再現率で見ると、3つのエンジンにほとんど差はありません。再現率の中央値はいずれも1.00でした。ChatGPTは回答の82%で公式ノートをすべて挙げ、Perplexityは78%、Geminiは69%でした。
回答全体が一致するケースは、はるかに少数でした。3つすべてのエンジンが回答した香水99点のうち、公式ノートをすべて挙げたのは59点でした。公式一覧と完全に一致したのは、わずか39点です。少なくとも1つのエンジンが完全一致した香水は79点で、20点ではどのエンジンも完全一致しませんでした。
およそ5件に1件(香水99点のうち20点)では、3つのエンジンすべてが公式ノートをすべて挙げていましたが、少なくとも1つのエンジンが一覧にないノートも追加していました。再現率だけを確認していれば、3つの回答すべてが合格になっていたでしょう。
発見2:各エンジンで共通する回答は、あらゆる合意確認を通過する
最も示唆に富む結果は、エンジン間で共通していた回答でした。
Jean Paul Gaultier Le Male Elixirについて、見解が一致した2つの販売店が挙げているノートは3つです。トップノートはラベンダー、ハートノートはトンカビーン、ベースノートはベンゾインです。ChatGPT、Gemini、Perplexityはそれぞれ、まったく同じ7ノートのピラミッドを回答しました。3つの公式ノートはすべて含まれていましたが、トンカビーンとベンゾインは互いの区分に入れ替わり、さらに4つのノートが追加されていました。別々の3つのエンジンが同一の回答を返し、その回答は公式情報から同じ箇所で外れていました。
Viktor&Rolf Flowerbombについて、メゾンが公表しているノートは4つです。GeminiとPerplexityは同じ11ノートのピラミッドを回答し、公式ノートを1つ見落とす一方で、8つを追加しました。その後、Perplexityはブランドの現在の説明では4つの公式ノートが強調されていると指摘し、2つのバージョンを併記したうえで、古いほうを先に示しました。
回答が一致する理由は、今回のデータからは分かりません。しかし、実務上の要点はその原因に左右されません。システムが同じウェブ上のテキスト群を参照している場合、多数決で分かるのは、ある情報がどれほど広く流通しているかであって、それが最新かどうかではありません。エンジン間の一致は、回答がブランド自身の現在の公表内容と一致していることを示す根拠としては弱いものです。
発見3:1つのエンジンだけが返す外れ値は見つけやすい
一方、余分なノートの中には、1つのエンジンだけが挙げたものもあり、まさにこうした違いは比較によって見つけられます。Geminiは回答の32%で、他の2つのエンジンがどちらも挙げなかったノートを少なくとも1つ追加しました。ChatGPTでは10%、Perplexityでは11%でした。
Prada Infusion de Vétiverについて、メゾンが公表しているノートは4つです。ChatGPTとPerplexityは、その4つだけを正しい区分に挙げました。Geminiは12個を挙げ、そのうち8個は他のエンジンが一切挙げなかったもので、適合率は0.33でした。Rochas Eau de Rochasでは、Perplexityは10ノートの一覧と完全に一致しましたが、Geminiは18個を挙げ、そのうち10個は他のエンジンが挙げていないノートでした。
この場合、相互確認は有効です。2つの回答が一致していれば、そこから外れた回答が目立つからです。開発者が念頭に置くべきなのは、この非対称性です。不一致は有用な警告になります。一致は保証にはなりません。
発見4:事実は正しくても、構成が間違っている
回答によっては、正しい香調が挙げられていても、位置が違っていました。Montblanc Explorerについて、ChatGPTは公式リストにある9つの香調のうち6つを挙げましたが、その6つのうち正しい段階に置かれていたのは2つだけで、配置の正確度は33%でした。香調が回答のどこかに含まれているかだけを確認するチェックでは、6つのうち4つが誤った段階にあることを見逃してしまいます。
商品情報を判断材料に変換するエージェントにとって、構造も意味の一部です。サイズ、互換性、用量、成分など、ほかのカテゴリーの情報についても同じことが言えます。情報が回答のどこかに含まれているかだけを確認する評価では、この種の誤りを見逃します。
商品タイプ別に見られる傾向
デザイナーズ香水についての回答では、ニッチ香水についての回答よりも、3つのエンジンすべてでリストにない香調が含まれる頻度が高く、その差は22~32パーセントポイントでした。ChatGPTでは差が最も大きく、デザイナーズ香水についての回答では10件中4件に少なくとも1つのリスト外の香調が含まれていたのに対し、ニッチ香水の回答では10件中1件未満でした。
公式リストが短いほど、エンジンが香調を付け加える余地が大きくなるため、3つのエンジンの回答をまとめ、リストの長さに応じて3つのグループに分けることで、この要因を調整しました。それでも、どのグループでもデザイナーズ香水の回答のほうが余分な香調を含む割合が高く、リストが5つ以下の場合は70%対31%(回答数は27件と29件)、6~8つの場合は61%対21%(51件と42件)、9つ以上の場合は26%対13%(72件と77件)でした。サンプル数は少なく、各グループがそれぞれ異なるブランドと出典ページから構成されているため、原因を特定することはできません。この傾向からうかがえるのは、正確さは商品セグメントによって異なり、カタログ全体を単一の数値で示すと、その違いが隠れてしまう可能性があるということです。
ショッピングエージェントを構築するチームにとっての意味
合意は真実の確認ではなく、意見の食い違いを見つけるために使う。モデル同士を比較すれば、一方だけが付け加えた情報を低コストで見つけられます。しかし、モデル同士が同じ誤りを共有している場合は検出できないため、それを最終確認にしてはいけません。
自社が管理する情報は、自社が管理する情報源に基づかせる。メーカーの仕様など、情報の管理主体が明確な場合、最も信頼できる方法は、出典ページを記録した構造化データから情報を取得することです。オープン標準を使えば、これを実現できます。ページ上のschema.orgのProductマークアップや、エージェントがデータソースに直接問い合わせるためのModel Context Protocolがその例です。GoogleのAI機能に関するガイダンスでは、構造化データはページ上に表示されているテキストと一致している必要があり、これらの機能に表示されるために特別なschema.orgマークアップは必要ないと説明されています。
再現率だけでなく、適合率、完全一致、構造も評価する。すべての情報に加えて、創作した情報を3つ含む回答は、再現率のテストには合格しても、ユーザーに誤解を与えます。
参照データがある場合は、決定論的に採点する。構造化データと照合するルールベースの採点は、再現性と監査可能性があり、モデル特有の見落としにも左右されません。
複数回実行する。回答は実行のたびに変わります。Andrew Lissimoreも、このサイトでAIによるショッピング推奨の測定について述べています。今回の調査では、香水ごとに各エンジンへ1回ずつ問い合わせたため、実行ごとの変動はわかっていません。
調査の限界
各香水について、各エンジンに1日、1か国から英語で1回ずつ質問しました。Claudeと、ウェブ検索機能のないエンジンはテストしていません。公式リストにない香調が、必ずしも誤りとは限りません。ブランドが主要な香調だけを公開する場合もあるため、適合率は正確さの下限値です。採点器は同じ100種類の香水を使って調整されており、サンプルの大半は、リストを検証できた欧米のデザイナーズブランドとニッチブランドです。
こうした限界はあるものの、傾向には一貫性がありました。3つのエンジンが一致しているとわかるのは、あるバージョンの情報が広く繰り返されているということです。その情報が最新かどうかを示せるのは、出典だけです。では、2つ目のモデルと照合して自己検証するエージェントを使っている方にお聞きします。2つのモデルが同じ誤った回答をしたとき、そのエージェントはどう対応しますか。












