사상 리더
AI 엔진들의 답이 일치해도 증명은 아니다: 제품 정보 질의 300건이 보여 주는 것

핵심 포인트모델 간의 일치는 해당 버전이 얼마나 널리 퍼졌는지를 측정하는 것이지 그것이 최신인지 여부를 측정하는 것이 아닙니다.
더 보기
- 모델 간의 일치는 해당 버전이 얼마나 널리 퍼졌는지를 측정하는 것이지 그것이 최신인지 여부를 측정하는 것이 아닙니다.
- 교차 확인은 한 엔진의 이상치를 잡아내지만 모든 모델이 공유하는 답변을 감지할 수는 없습니다.
- 답변은 모든 공식 노트를 포함하면서도 그 노트들을 잘못된 계층에 배치할 수 있습니다.
이 글은 향수 노트에 관한 질문에 ChatGPT, Gemini, Perplexity가 어떻게 답하는지 살펴본 Scento의 2026년 10월 연구 결과를 바탕으로 합니다(전체 방법론, 데이터 및 한계).
AI 에이전트를 설계할 때 흔히 쓰는 안전장치 중 하나는 둘 이상의 모델에 질문하거나 같은 모델에 여러 번 질문한 뒤, 서로 일치하는 답을 신뢰하는 것이다. 이 접근법에는 탄탄한 근거가 있다. 여러 추론 경로를 표본으로 삼아 다수결 답변을 선택하는 자기 일관성은 추론 벤치마크에서 정확도를 높인다. LLM을 심판자로 삼아 평가하기 연구에서 살펴본 것처럼 한 모델을 이용해 다른 모델을 채점하면 인간 평가자와 높은 일치도를 보인다. 다만 해당 연구의 저자들은 위치 편향, 장황함 편향, 자기 강화 편향도 함께 확인했다.
제품 정보는 답의 일치가 정확성을 뜻하는지 시험하기에 적합하다. 대개 제품을 만든 회사가 정답을 문서로 공개하기 때문이다. 우리는 향수를 대상으로 이를 시험했고, 결과는 ‘일부만 그렇다’였다.
테스트 방법
프롬프트는 향수의 탑 노트, 하트 노트, 베이스 노트를 묻는 한 문장으로 구성했다. 2026년 10월 20일, 45개 향수 브랜드의 향수 100종 각각에 대해 같은 질문을 ChatGPT, Gemini, Perplexity에 보냈다. 모든 호출은 미국 내 한 위치에서 영어로 한 번씩 실행해 총 300건을 진행했다. 한 번은 서비스 오류로 호출이 끝나 Gemini는 답변 99건을 반환했다.
향수 91종은 해당 브랜드가 자사 사이트에 공개한 노트 목록을 기준으로 삼았다. 나머지 9종은 공인 소매업체 두 곳이 합의한 목록을 기준으로 삼았다. 채점은 언어 모델을 전혀 사용하지 않는 스크립트로 진행했다. 스크립트는 각 답변의 모든 노트를 411개 노트 용어집에 대응시킨 다음, 그 결과를 기준 목록과 비교했다. 채점 결과 20건을 직접 확인한 결과, 17건은 정확히 일치했고 19건은 노트 하나 차이 이내였다. 검토자가 스크립트의 결과를 볼 수 있었으므로 이 확인은 블라인드 방식이 아니었다.
네 가지 항목을 측정했다. 재현율(답변에 포함된 공식 노트의 수), 정밀도(답변에서 언급한 노트 중 공식 노트의 수), 완전 일치(공식 노트만 빠짐없이 포함했는지), 배치 정확도(각 노트를 올바른 탑·하트·베이스 단계에 배치했는지)다.
발견 1: 엔진들은 어떤 노트가 있는지에 관해 일치한다
재현율만 보면 세 엔진은 거의 구분되지 않는다. 각 엔진의 재현율 중앙값은 1.00이었다. ChatGPT는 답변의 82%에서 모든 공식 노트를 제시했고, Perplexity는 78%, Gemini는 69%였다.
답변 전체가 일치하는 경우는 훨씬 드물었다. 세 엔진 모두 답변한 향수 99종 가운데 59종에서는 세 엔진 모두 모든 공식 노트를 제시했다. 세 엔진 모두 공식 목록과 정확히 일치한 경우는 39종에 불과했다. 최소 한 엔진이 정확히 답한 향수는 79종이었고, 세 엔진 모두 정확히 답하지 못한 향수는 20종이었다.
향수 99종 가운데 약 5분의 1(20종)에서는 세 엔진 모두 모든 공식 노트를 제시했지만, 그중 최소 한 엔진은 목록에 없는 노트도 추가했다. 재현율만 확인했다면 세 답변 모두 통과했을 것이다.
발견 2: 모두가 같은 답을 하면 모든 합의 검사를 통과한다
가장 시사점이 큰 결과는 엔진들이 공통으로 내놓은 답변에서 나왔다.
Jean Paul Gaultier Le Male Elixir의 경우, 서로 합의한 소매업체 두 곳은 노트 세 가지를 제시한다. 탑 노트는 라벤더, 하트 노트는 통카빈, 베이스 노트는 벤조인이다. ChatGPT, Gemini, Perplexity는 각각 똑같은 7개 노트 피라미드를 내놓았다. 세 엔진 모두 기준 목록의 노트 세 가지를 포함했지만, 통카빈과 벤조인을 서로의 단계에 배치하고 노트 네 가지를 더 추가했다. 서로 다른 엔진 세 개가 완전히 똑같은 답을 내놓았지만, 그 답은 기준 목록에서 같은 부분을 잘못 다뤘다.
Viktor&Rolf Flowerbomb의 경우, 브랜드는 노트 네 가지를 목록으로 제시한다. Gemini와 Perplexity는 둘 다 똑같은 11개 노트 피라미드를 내놓아 공식 노트 하나를 빠뜨리고 여덟 개를 추가했다. 이후 Perplexity는 브랜드의 현재 설명에 공식 노트 네 가지가 강조되어 있다고 언급하면서 두 버전을 모두 제시하고 오래된 버전을 먼저 내세웠다.
데이터만으로는 답이 일치한 이유를 알 수 없다. 하지만 실질적인 요점은 그 원인과 무관하다. 시스템들이 같은 웹 텍스트 풀을 참조한다면 다수결은 어떤 버전이 얼마나 널리 퍼졌는지를 보여 줄 뿐, 그 버전이 최신인지 알려 주지는 않는다. 엔진들끼리 답이 일치한다는 사실은 그 답이 브랜드가 현재 자사 사이트에 공개한 내용과 일치한다는 점을 뒷받침하는 근거로는 약하다.
발견 3: 한 엔진만 내놓은 엉뚱한 답은 쉽게 찾아낼 수 있다
추가된 노트 중에는 한 엔진만 제시한 것도 있었으며, 바로 이런 경우를 비교 검토로 찾아낼 수 있다. Gemini는 답변의 32%에서 다른 두 엔진은 언급하지 않은 노트를 최소 하나 추가했다. ChatGPT는 10%, Perplexity는 11%였다.
Prada Infusion de Vétiver의 경우, 브랜드는 노트 네 가지를 제시한다. ChatGPT와 Perplexity는 이 네 가지를 정확히, 올바른 단계에 모두 배치해 답했다. Gemini는 노트 12가지를 제시했는데, 그중 여덟 가지는 다른 엔진이 하나도 언급하지 않은 노트였으며 정밀도는 0.33이었다. Rochas Eau de Rochas의 경우, Perplexity는 노트 10개 목록과 정확히 일치했지만 Gemini는 노트 18가지를 제시했고, 그중 10가지는 다른 엔진이 언급하지 않았다.
이런 경우에는 교차 검증이 효과적이다. 두 답변이 일치하는 가운데 하나만 튀는 답이 눈에 띄기 때문이다. 개발자가 기억해야 할 비대칭성이 바로 여기에 있다. 불일치는 유용한 경보지만, 일치가 정답을 보증하지는 않는다.
발견 4: 사실은 맞지만 구조는 틀렸다
일부 답변은 향조를 맞혔지만, 그중 일부를 잘못된 단계에 배치했습니다. Montblanc Explorer의 경우 ChatGPT는 공식 향조 9개 중 6개를 맞혔지만, 그 6개 가운데 올바른 단계에 배치한 것은 2개뿐이어서 배치 정확도는 33%였습니다. 향조가 답변 어딘가에 포함되어 있는지만 확인하는 평가로는 6개 중 4개가 잘못된 단계에 배치됐다는 사실을 파악할 수 없습니다.
제품 정보를 바탕으로 의사결정을 내리는 에이전트라면 어떤 것이든 정보의 구조 자체가 의미를 전달합니다. 다른 범주의 제품에서 크기, 호환성, 복용량 또는 성분을 다룰 때도 마찬가지입니다. 정보가 답변 어딘가에 포함되어 있는지만 확인하는 평가는 이런 유형의 오류를 놓치게 됩니다.
제품 유형별 양상
세 엔진 모두에서 디자이너 향수에 관한 답변은 니치 향수에 관한 답변보다 공식 목록에 없는 향조를 더 자주 포함했으며, 그 차이는 22~32%포인트였습니다. 격차가 가장 컸던 것은 ChatGPT였습니다. 디자이너 향수 답변은 10개 중 4개에 적어도 하나의 미등재 향조가 포함됐지만, 니치 향수 답변은 10개 중 1개 미만이었습니다.
공식 목록이 짧으면 엔진이 향조를 추가할 여지가 커집니다. 따라서 목록 길이의 영향을 통제하기 위해 세 엔진의 답변을 합쳐 세 구간으로 나눴습니다. 그래도 각 구간에서 디자이너 향수 답변에 추가 향조가 더 자주 포함됐습니다. 향조가 5개 이하인 목록에서는 70% 대 31%(답변 27개와 29개), 6~8개인 목록에서는 61% 대 21%(51개와 42개), 9개 이상인 목록에서는 26% 대 13%(72개와 77개)였습니다. 표본이 적고 각 집단이 서로 다른 향수 하우스와 출처 페이지를 바탕으로 구성됐기 때문에 원인을 분리해 파악할 수는 없습니다. 다만 이 양상은 제품 부문에 따라 정확도가 달라지며, 전체 카탈로그를 하나의 수치로 나타내면 그런 차이가 가려질 수 있음을 시사합니다.
쇼핑 에이전트를 만드는 팀에 주는 시사점
합의는 의견 차이를 찾는 데 활용하고, 사실을 확인하는 근거로 삼지 마세요. 모델을 비교하면 한 모델에서만 나타나는 추가 정보를 적은 비용으로 찾아낼 수 있습니다. 하지만 모델들이 공통으로 내놓는 답변의 오류는 감지할 수 없으므로, 이것만으로 검증을 끝내서는 안 됩니다.
자체적으로 관리하는 정보는 자체 출처를 근거로 삼으세요. 제조업체 사양처럼 사실의 소유자가 분명한 경우, 출처 페이지가 함께 기록된 구조화된 데이터에서 정보를 가져오는 것이 가장 신뢰할 수 있는 방법입니다. 공개 표준을 이용하면 이를 실현할 수 있습니다. 페이지에 schema.org Product 마크업을 적용하고, 에이전트가 데이터 소스에 직접 질의하도록 Model Context Protocol을 활용하는 것입니다. Google의 AI 기능에 관한 안내에 따르면 구조화된 데이터는 페이지에 표시된 텍스트와 일치해야 하며, 해당 기능에 노출되기 위해 특별한 schema.org 마크업이 필요한 것은 아닙니다.
재현율만 보지 말고 정밀도, 완전 일치 여부, 구조도 평가하세요. 모든 사실에 더해 지어낸 정보 세 가지까지 포함한 답변은 재현율 평가를 통과하더라도 사용자에게 잘못된 정보를 전달합니다.
참조 데이터가 있다면 판정을 결정론적으로 수행하세요. 규칙 기반 평가기를 구조화된 데이터와 대조하면 결과를 반복해서 재현하고 감사할 수 있으며, 모델이 가진 사각지대의 영향도 받지 않습니다.
한 번 이상 실행하세요. 답변은 실행할 때마다 달라집니다. Andrew Lissimore는 이 사이트에서 AI 쇼핑 추천을 측정하는 방법을 다루며 이 점을 지적했습니다. 이번 연구에서는 향수마다 엔진별로 한 번씩만 질의했기 때문에 실행 간 변동은 알 수 없습니다.
연구의 한계
각 향수는 엔진별로 하루에 한 번, 한 국가에서 영어로 질의했습니다. Claude와 웹 검색 기능이 없는 엔진은 시험하지 않았습니다. 향수 하우스가 핵심 향조만 공개하는 경우도 있으므로, 공식 목록에 없는 향조가 반드시 틀린 것은 아닙니다. 따라서 정밀도는 정확도의 하한선입니다. 평가기는 동일한 향수 100종을 대상으로 조정했으며, 표본은 목록을 검증할 수 있었던 서구권 디자이너 및 니치 향수 하우스에 주로 한정됐습니다.
이러한 한계 안에서는 일관된 양상이 나타났습니다. 세 엔진이 합의한다는 것은 특정 형태의 정보가 널리 반복되고 있음을 알려줄 뿐입니다. 정보가 최신인지 알려주는 것은 출처뿐입니다. 따라서 에이전트가 두 번째 모델과 대조해 자체 검증을 수행하도록 하는 분이라면, 두 모델이 똑같이 틀린 답을 내놓을 때 에이전트가 어떻게 하는지 자문해 보세요.












