Лидеры мнений

Когда ИИ-модели согласны, это ещё не доказательство: что показали 300 запросов о фактах о товарах

Sebastian Dobrincu
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыСогласие между моделями измеряет, насколько широко распространилась версия, а не то…
Показать больше
  • Согласие между моделями измеряет, насколько широко распространилась версия, а не то, является ли она актуальной.
  • Перекрёстная проверка выявляет выбросы одного движка, но не может обнаружить ответ, который разделяют все модели.
  • Ответ может содержать все официальные примечания, но размещать эти примечания в неправильных уровнях.

Статья основана на результатах исследования Scento, проведённого в октябре 2026 года и посвящённого тому, как ChatGPT, Gemini и Perplexity отвечают на вопросы о нотах парфюмерии (полная методика, данные и ограничения).

Распространённый способ подстраховаться при разработке ИИ-агентов — обратиться к нескольким моделям или несколько раз к одной и довериться ответу, с которым они согласны. У этого подхода есть серьёзные основания. Самосогласованность, при которой рассматриваются несколько вариантов рассуждения и выбирается ответ большинства, повышает точность на тестах на рассуждение. Оценка одной модели другой, изученная в работе «Оценка LLM в роли судьи», показывает высокую степень согласия с оценками людей, хотя авторы также отмечают смещения, связанные с позицией, многословием и самовосхвалением.

Факты о товарах хорошо подходят для проверки того, означает ли согласие точность: правильный ответ обычно опубликован компанией-производителем. Мы проверили это на парфюмерии, и результат оказался неоднозначным.

Как проходила проверка

Запрос состоял из одного предложения с просьбой назвать верхние, сердечные и базовые ноты аромата. 20 октября 2026 года мы отправили его для каждого из 100 ароматов, выбранных у 45 парфюмерных домов, в ChatGPT, Gemini и Perplexity. Каждый запрос отправляли один раз, на английском языке, из США — всего 300 запросов. Gemini дал 99 ответов: один запрос завершился ошибкой сервиса.

Для 91 аромата эталоном служил список нот, опубликованный парфюмерным домом на собственном сайте. Для остальных 9 — список, с которым согласны два авторизованных продавца. Ответы оценивал скрипт, который вообще не использовал языковую модель. Он сопоставлял каждую ноту в ответе со словарём из 411 нот, а затем сравнивал результат с эталоном. При ручной проверке 20 оценок 17 совпали полностью, а 19 — с расхождением не более чем в одну ноту. Проверка не была слепой: проверяющий видел результат работы скрипта.

Мы измеряли четыре показателя: полноту (сколько официальных нот содержит ответ), точность (сколько названных в нём нот являются официальными), точное совпадение (все официальные ноты без лишних) и правильность распределения (находится ли каждая нота на нужном уровне — в верхних, сердечных или базовых нотах).

Вывод 1. Модели согласны с тем, какие ноты присутствуют

По полноте все три модели практически не отличаются друг от друга. Медианное значение полноты у каждой составило 1,00. ChatGPT назвал все официальные ноты в 82% ответов, Perplexity — в 78%, а Gemini — в 69%.

Согласие по поводу ответа целиком встречалось гораздо реже. Из 99 ароматов, на которые ответили все три модели, во всех трёх ответах присутствовали все официальные ноты для 59 ароматов. При этом все три модели точно воспроизвели официальный список только в 39 случаях. Хотя бы одна модель дала точный ответ для 79 ароматов, а для 20 ароматов точного ответа не дала ни одна.

Примерно в каждом пятом случае (для 20 из 99 ароматов) все три модели назвали все официальные ноты, но как минимум одна из них добавила и ноты, которых нет в списке. Проверка только на полноту засчитала бы все три ответа.

Вывод 2. Общие ответы проходят любые проверки на согласованность

Самыми показательными оказались результаты, в которых модели сошлись.

Для Jean Paul Gaultier Le Male Elixir два согласных между собой продавца указывают три ноты: лаванду — в верхних, бобы тонка — в сердечных, бензоин — в базовых. ChatGPT, Gemini и Perplexity выдали одинаковую пирамиду из семи нот. В каждом ответе присутствовали все три ноты из эталонного списка, бобы тонка и бензоин оказались на местах друг друга, а также были добавлены ещё четыре ноты. Три отдельные модели, один и тот же ответ — и все они одинаково расходятся с эталоном.

Для Viktor&Rolf Flowerbomb парфюмерный дом указывает четыре ноты. Gemini и Perplexity выдали одинаковую пирамиду из 11 нот: пропустили одну официальную ноту и добавили восемь. Затем Perplexity отметил, что в актуальном описании бренда выделены четыре официальные ноты, поэтому привёл обе версии, поставив на первое место более старую.

Наши данные не позволяют сказать, почему ответы совпадают. Но практический вывод не зависит от причины. Если системы опираются на один и тот же массив веб-текстов, голосование большинством показывает, насколько широко распространилась та или иная версия, а не актуальна ли она. Согласие между моделями — лишь слабое подтверждение того, что ответ соответствует тому, что бренд публикует сегодня.

Вывод 3. Отклонения одной модели легко обнаружить

Некоторые дополнительные ноты встречались только в ответах одной модели — именно такие случаи легко выявить при сравнении. В 32% своих ответов Gemini добавил как минимум одну ноту, которую не назвала ни одна из двух других моделей; для ChatGPT этот показатель составил 10%, а для Perplexity — 11%.

Для Prada Infusion de Vétiver парфюмерный дом указывает четыре ноты. ChatGPT и Perplexity назвали именно эти четыре ноты и распределили их по правильным уровням. Gemini назвал двенадцать нот, включая восемь, которых не указала ни одна другая модель; точность составила 0,33. Для Rochas Eau de Rochas Perplexity точно воспроизвёл список из десяти нот, тогда как Gemini назвал 18 нот, десять из которых не упоминались ни в одном другом ответе.

Перекрёстная проверка здесь работает хорошо: отклонение заметно на фоне двух совпадающих ответов. Именно эту асимметрию разработчикам систем важно учитывать. Несогласие — полезный сигнал тревоги. Согласие — не гарантия.

Вывод 4. Верные факты, неверная структура

Некоторые ответы содержали правильные ноты, но не на тех местах. В случае Montblanc Explorer ChatGPT сопоставил шесть из девяти официальных нот, однако лишь две из этих шести находились на правильном уровне пирамиды; точность размещения составила 33%. Проверка, которая лишь выясняет, упоминается ли нота где-либо в ответе, не обнаружит, что четыре из шести указаны не на том уровне.

Для любого агента, который использует сведения о товарах для принятия решений, структура имеет значение. То же относится к размерам, совместимости, дозировке и ингредиентам в других категориях. Оценка, проверяющая лишь, встречаются ли факты где-либо в ответе, не выявит этот тип ошибки.

Закономерность в зависимости от типа продукта

В ответах о дизайнерской парфюмерии ноты, отсутствующие в официальных списках, встречались чаще, чем в ответах о нишевой парфюмерии, во всех трех системах; разница составляла от 22 до 32 процентных пунктов. Наибольший разрыв наблюдался у ChatGPT: в четырех из десяти ответов о дизайнерской парфюмерии была как минимум одна нота, отсутствующая в официальном списке, тогда как в ответах о нишевой парфюмерии такие ноты встречались менее чем в одном случае из десяти.

Короткий официальный список оставляет системе больше возможностей добавить ноты, поэтому мы учли длину списков: объединили ответы всех трех систем и разделили их на три группы. В каждой группе в ответах о дизайнерской парфюмерии дополнительные ноты встречались чаще: 70% против 31% для списков из пяти нот или меньше (27 и 29 ответов), 61% против 21% для списков из шести — восьми нот (51 и 42) и 26% против 13% для списков из девяти нот или больше (72 и 77). Выборки невелики, а поскольку каждая группа формировалась на основе отдельного набора парфюмерных домов и страниц-источников, установить причину мы не можем. Эта закономерность, однако, позволяет предположить, что точность зависит от сегмента продукта, а один общий показатель для всего каталога может скрыть эту разницу.

Что это означает для команд, разрабатывающих торговых агентов

Используйте согласие моделей, чтобы выявлять расхождения, а не подтверждать истинность. Сравнение моделей — недорогой способ обнаружить единичные добавления. Но если модели дают один и тот же ответ, этот метод их не выявит, поэтому использовать его как единственную проверку не следует.

Подкрепляйте собственные факты данными из собственного источника. Если у факта есть владелец, например производитель спецификации, надежнее всего получить его из структурированной записи, содержащей ссылку на страницу-источник. Открытые стандарты делают это возможным: разметка Product в schema.org на странице и Model Context Protocol, позволяющий агентам напрямую запрашивать источник данных. Google в рекомендациях по функциям ИИ указывает, что структурированные данные должны соответствовать видимому тексту на странице и что для появления в этих функциях специальная разметка schema.org не нужна.

Оценивайте точность, точное совпадение и структуру, а не только полноту. Ответ, в котором есть все факты и еще три выдуманных, пройдет проверку на полноту, но все равно введет пользователя в заблуждение.

Используйте детерминированную оценку, если есть эталонные данные. Проверка по правилам с сопоставлением структурированных данных воспроизводима и поддается аудиту, а также не наследует слепые зоны модели.

Проводите несколько запусков. Ответы меняются от запуска к запуску — об этом Эндрю Лиссимор писал на этом сайте в статье об оценке рекомендаций товаров, сформированных ИИ. В нашем исследовании мы отправили по одному запросу о каждом парфюме каждой системе, поэтому вариативность результатов между запусками неизвестна.

Ограничения исследования

Каждый парфюм проверяли в каждой системе один раз, в течение одного дня, на английском языке и из одной страны. Claude и системы без веб-поиска не проверялись. Нота, отсутствующая в официальном списке, не обязательно является ошибочной: парфюмерные дома иногда публикуют только основные ноты, поэтому точность — это нижняя граница правильности. Проверку настраивали на тех же 100 парфюмах; выборка состоит преимущественно из западных дизайнерских и нишевых парфюмерных домов, чьи списки удалось проверить.

В рамках этих ограничений закономерность была устойчивой. Если три системы согласны, это говорит о том, что определенная версия фактов широко повторяется. Только источник позволяет понять, актуальна ли она. Поэтому вот вопрос для всех, чей агент сверяет свои ответы со второй моделью: что делает ваш агент, когда две модели дают один и тот же неправильный ответ?

Sebastian Dobrincu — основатель и генеральный директор компании Scento, парижской онлайн-компании по продаже парфюмерии, которая ежегодно продаёт в Европе более 3 миллионов парфюмерных отливантов. Scento разработала и провела это исследование точности ответов ИИ, а также бесплатно публикует данные о нотах ароматов для разработчиков и ИИ-агентов.