思想领袖
当 AI 引擎给出相同答案,并不代表答案正确:300 个产品事实问题揭示了什么

要点模型之间的一致性衡量的是一个版本传播得有多广,而不是它是否为当前版本。
查看更多
- 模型之间的一致性衡量的是一个版本传播得有多广,而不是它是否为当前版本。
- 交叉核对能发现单个引擎的异常值,但无法检测出所有模型共有的答案。
- 一个答案可以包含每一条官方注释,却把这些注释放在了错误的层级中。
本文基于 Scento 于 2026 年 10 月开展的一项研究。该研究考察了 ChatGPT、Gemini 和 Perplexity 如何回答有关香水香调的问题(完整的方法、数据和局限性)。
在 AI 智能体设计中,一种常见的安全措施是询问多个模型,或多次询问同一个模型,并相信它们一致认可的答案。这种做法有扎实的理论依据。自洽性会对多个推理路径进行采样,并采纳多数路径得出的答案;它能够提升模型在推理基准测试中的准确率。将 LLM 作为裁判进行评估这项研究探讨了用一个模型为另一个模型评分的做法,结果显示其评分与人工评审的高度一致;不过,作者也记录了位置偏差、冗长偏差和自我强化偏差。
产品事实很适合用来检验意见一致是否意味着答案准确,因为正确答案通常由产品制造商记录在案。我们以香水为对象进行了测试,结果是:一致意见只有部分正确。
测试方法
提示词只有一句话,要求列出某款香水的前调、中调和基调。2026 年 10 月 20 日,我们将这条提示词分别用于 100 款香水;这些香水来自 45 个品牌,每款都询问 ChatGPT、Gemini 和 Perplexity。所有调用均以英语在美国地区各运行一次,总计 300 次。Gemini 返回了 99 个答案,其中一次调用因服务错误而失败。
对于 91 款香水,参照依据是品牌在自家网站公布的香调列表。其余 9 款则以两家授权零售商一致认可的列表为准。评分由一个完全不使用语言模型的脚本完成。脚本将每个答案中的所有香调映射到一份包含 411 种香调的词汇表,再将映射结果与参照列表进行比较。我们人工核查了 20 个评分结果,其中 17 个完全一致,19 个相差不超过一个香调。这项核查并非盲测,因为审核者能够看到脚本给出的结果。
我们衡量了四项指标:召回率(答案包含多少官方香调)、精确率(答案列出的香调中有多少是官方香调)、完全匹配(列出全部官方香调,且没有多余项)和位置准确性(每种香调是否位于正确的前调、中调或基调层级)。
发现一:各引擎对香调内容的判断一致
从召回率来看,三个引擎几乎没有区别。它们的召回率中位数均为 1.00。ChatGPT 在 82% 的答案中列出了所有官方香调,Perplexity 为 78%,Gemini 为 69%。
但三个引擎对完整答案达成一致的情况要少得多。在三者都给出答案的 99 款香水中,有 59 款的所有官方香调都被三个引擎全部列出。只有 39 款的答案都与官方列表完全一致。至少有一个引擎给出完全准确答案的有 79 款;有 20 款则没有任何一个引擎答对。
大约每五款香水中就有一款(99 款中的 20 款)出现这样的情况:三个引擎都列出了所有官方香调,但至少有一个引擎还添加了列表中没有的香调。按召回率进行检查,三个答案都会通过。
发现二:一致的答案能通过所有共识检查
最值得借鉴的结果,来自各引擎给出相同答案的情况。
对于 Jean Paul Gaultier Le Male Elixir,两家意见一致的零售商列出了三种香调:前调为薰衣草,中调为零陵香豆,基调为安息香。ChatGPT、Gemini 和 Perplexity 各自给出了一份完全相同、包含七种香调的金字塔。三者都包含了全部三种参照香调,却把零陵香豆和安息香放进了对方所属的层级,还额外添加了四种香调。三个独立引擎给出同一个答案,而这个答案在相同之处偏离了参照列表。
对于 Viktor&Rolf Flowerbomb,品牌列出了四种香调。Gemini 和 Perplexity 都给出了相同的、包含 11 种香调的金字塔,漏掉了一种官方香调,并添加了八种。随后,Perplexity 在答案中指出,品牌当前的介绍突出展示了这四种官方香调;因此,它同时保留了两个版本,并将较早的版本放在前面。
我们的数据无法说明这些答案为何一致。但实际需要关注的问题并不取决于原因。当不同系统都依赖同一批网络文本时,多数意见反映的是某个版本传播得有多广,而不是它是否仍然有效。不同系统之间意见一致,只能算是很弱的证据,无法证明答案与品牌如今自行发布的信息相符。
发现三:单个引擎给出的离群答案最容易识别
其他额外香调只出现在某一个引擎的答案中,而这正是比较不同答案能够发现的问题。在 Gemini 的答案中,有 32% 至少添加了一种其他两个引擎都未提及的香调;ChatGPT 和 Perplexity 的这一比例分别为 10% 和 11%。
对于 Prada Infusion de Vétiver,品牌列出了四种香调。ChatGPT 和 Perplexity 都准确列出了这四种香调,且位置完全正确。Gemini 则列出了 12 种,其中八种是其他引擎都未提及的,精确率为 0.33。对于 Rochas Eau de Rochas,Perplexity 与包含 10 种香调的列表完全一致,而 Gemini 列出了 18 种,其中 10 种是其他引擎都未提及的。
在这里,交叉核对效果很好:当两个答案一致时,离群答案就会显得格外突出。这正是开发者应当牢记的不对称之处。意见不一致是有用的警报;意见一致却不是正确性的证明。
发现四:事实正确,结构有误
有些回答提到了正确的香调,却把它们放错了位置。以 Montblanc Explorer 为例,ChatGPT 找出了九个官方香调中的六个,但这六个中只有两个位于正确的香调层级,位置准确率为 33%。如果检查只看某个香调是否出现在回答中的任何位置,就会漏掉六个香调中有四个处于错误层级这一问题。
对于任何会依据产品事实作出决策的智能体来说,信息结构本身就承载着意义。其他类别中的尺码、兼容性、剂量或成分也是如此。如果评估只检查事实是否在回答中的某处出现,就会漏掉这一类错误。
不同产品类型呈现出的规律
在三个引擎中,关于设计师香水的回答比关于小众香水的回答更常出现官方清单之外的香调,两者相差 22 至 32 个百分点。ChatGPT 的差距最大:其设计师香水回答中,十个有四个至少包含一个清单之外的香调;而小众香水回答中,不到十个有一个出现这种情况。
官方清单越短,引擎补充香调的空间就越大。为控制清单长度的影响,我们汇总了三个引擎的回答,并按香调数量分成三组。在每一组中,设计师香水回答出现额外香调的比例仍然更高:清单不超过五个香调时为 70%,而另一组为 31%(分别有 27 个和 29 个回答);清单包含六至八个香调时为 61%,而另一组为 21%(分别有 51 个和 42 个回答);清单包含九个或更多香调时为 26%,而另一组为 13%(分别有 72 个和 77 个回答)。样本量较小,而且每组数据来自不同的品牌和来源页面,因此我们无法确定造成这种差异的原因。这一规律表明,准确性会因产品细分领域而异;只看整个产品目录的单一数据,可能会掩盖这种差异。
这对构建购物智能体的团队意味着什么
用共识来发现分歧,而不是确认事实。比较不同模型是一种低成本的办法,可以标出仅出现在个别回答中的补充内容。但这种做法无法发现各模型共同给出的答案,因此不应成为最后一道检查。
以自有来源核实自有事实。如果某项事实有明确的责任方,例如制造商的产品规格,最可靠的做法是从带有来源页面信息的结构化记录中检索。开放标准让这一做法切实可行:在页面上使用 schema.org 产品标记,并通过 模型上下文协议让智能体直接查询数据源。Google 关于人工智能功能的指南指出,结构化数据应与页面上可见的文本一致;要出现在这些功能中,并不需要使用特殊的 schema.org 标记。
评估精确率、完全匹配和结构,而不只是召回率。一个回答即使包含所有事实,又多编造了三个内容,也能通过召回率测试,却仍然会误导用户。
有参考数据时,采用确定性评分。将回答与结构化数据进行比对的规则评分器具有可重复性且可审计,也不会受到模型盲点的影响。
不止运行一次。每次运行的回答都可能不同。Andrew Lissimore 曾在本网站谈到这一点,讨论了如何衡量人工智能购物推荐。我们的研究对每款香水、每个引擎只调用了一次,因此并不清楚多次运行之间会有多大差异。
研究的局限性
每款香水都只在同一天、以英语、从一个国家的环境中向每个引擎询问一次。我们没有测试 Claude,也没有测试不具备网络搜索功能的引擎。官方清单中没有列出的香调并不一定就是错误,因为品牌有时只公布主要香调;因此,精确率只能视为正确性的下限。评分器是在同一批 100 款香水上调校的,样本也主要来自那些香调清单可供核实的西方设计师品牌和小众品牌。
在这些局限之内,呈现出的规律是一致的。三个引擎意见相同,只能说明某个版本的事实广为流传;只有来源才能告诉你它是否仍然准确。对于那些让智能体用第二个模型检查自身的团队,这里有一个问题:当两个模型给出同一个错误答案时,你的智能体会怎么做?












