Лідери думок
Коли моделі ШІ погоджуються, це ще не доказ: що показали 300 запитів про факти щодо продуктів

Ключові моментиУзгодженість між моделями вимірює, наскільки широко поширилася версія, а не те, чи вона…
Показати більше
- Узгодженість між моделями вимірює, наскільки широко поширилася версія, а не те, чи вона актуальна.
- Перехресна перевірка виявляє викиди одного рушія, але не може виявити відповідь, яку поділяють усі моделі.
- Відповідь може містити кожну офіційну примітку, розміщуючи ці примітки в неправильних рівнях.
Ця стаття ґрунтується на результатах дослідження Scento за жовтень 2026 року про те, як ChatGPT, Gemini та Perplexity відповідають на запитання про ноти парфумів (повна методика, дані та обмеження).
Поширений запобіжний захід у розробці ШІ-агентів — запитувати кілька моделей або ту саму модель кілька разів і довіряти відповіді, з якою вони погоджуються. Ця ідея має ґрунтовне підґрунтя. Самоузгодженість, коли модель генерує кілька варіантів міркувань і обирає відповідь більшості, підвищує точність на тестах на здатність до міркування. Використання однієї моделі для оцінювання іншої, досліджене в праці «Оцінювання LLM як судді», дає високий рівень узгодженості з оцінками людей, хоча автори також описують упередження, пов’язані з позицією, багатослівністю та самовихвалянням.
Факти про продукти — вдалий матеріал для перевірки того, чи означає узгодженість точність, адже правильну відповідь зазвичай можна знайти в інформації, опублікованій компанією-виробником. Ми перевірили це на парфумах, і результат такий: лише частково.
Як проводили тестування
Запит складався з одного речення з проханням назвати верхні, середні та базові ноти аромату. 20 жовтня 2026 року ми надіслали його щодо кожного зі 100 парфумів від 45 парфумерних домів до ChatGPT, Gemini та Perplexity. Кожен запит надсилали один раз англійською мовою з території США — усього 300 запитів. Gemini надала 99 відповідей, оскільки один запит завершився помилкою сервісу.
Для 91 парфуму еталоном був перелік нот, опублікований парфумерним домом на власному сайті. Для решти 9 еталоном став перелік, з яким погоджувалися два авторизовані продавці. Оцінювання виконувала програма, яка взагалі не використовувала мовної моделі. Вона зіставляла кожну ноту у відповіді з глосарієм із 411 нот, а потім порівнювала результат з еталоном. Під час ручної перевірки 20 оцінок 17 збіглися точно, а 19 — з похибкою не більш як в одну ноту. Перевірка не була сліпою, оскільки рецензент бачив результат роботи програми.
Ми вимірювали чотири показники: повноту (скільки офіційних нот містить відповідь), точність (скільки з названих у ній нот є офіційними), точний збіг (усі офіційні ноти й нічого зайвого) та правильність розміщення (чи відповідає кожна нота верхньому, середньому або базовому рівню).
Висновок 1: Моделі погоджуються щодо того, які ноти є в ароматі
За повнотою всі три моделі майже не відрізняються. Медіанне значення повноти для кожної становило 1,00. ChatGPT назвав усі офіційні ноти у 82% відповідей, Perplexity — у 78%, а Gemini — у 69%.
Повний збіг відповідей траплявся значно рідше. Із 99 парфумів, щодо яких відповіли всі три моделі, у 59 випадках усі три назвали кожну офіційну ноту. Лише для 39 парфумів усі три точно відтворили офіційний перелік. Принаймні одна модель дала точну відповідь щодо 79 парфумів, а щодо 20 жодна не відповіла точно.
Приблизно в одному випадку з п’яти (20 зі 99 парфумів) усі три моделі назвали кожну офіційну ноту, але принаймні одна з них додала ноти, яких у переліку немає. Перевірка повноти зарахувала б усі три відповіді.
Висновок 2: Спільні відповіді проходять будь-яку перевірку на узгодженість
Найпоказовішими виявилися результати, у яких усі моделі дійшли однакової відповіді.
Для Jean Paul Gaultier Le Male Elixir два продавці, чиї переліки збігаються, вказують три ноти: лаванду у верхніх, боби тонка в середніх і бензоїн у базових. ChatGPT, Gemini та Perplexity видали однакову піраміду із семи нот. У кожній відповіді були всі три еталонні ноти, але боби тонка й бензоїн поміняли місцями, а також додали ще чотири ноти. Три окремі моделі — однакова відповідь, яка в тих самих місцях відхиляється від еталона.
Для Viktor&Rolf Flowerbomb парфумерний дім наводить чотири ноти. Gemini та Perplexity повернули однакову піраміду з 11 нот: пропустили одну офіційну ноту й додали вісім. У відповіді Perplexity потім зазначалося, що в актуальному описі бренду виділено чотири офіційні ноти, тож вона містила обидва варіанти, але спершу подавала старіший.
Наші дані не дають змоги пояснити, чому відповіді збігаються. Але практичний висновок не залежить від причини. Якщо системи спираються на той самий масив текстів з інтернету, голосування більшістю показує, наскільки широко поширився певний варіант, а не те, чи є він актуальним. Узгодженість між моделями — слабкий доказ того, що відповідь відповідає інформації, яку бренд публікує сьогодні.
Висновок 3: Відповіді, що відрізняються від інших, найлегше виявити
Інші додаткові ноти траплялися лише у відповідях однієї моделі — саме такі випадки й виявляє порівняння. У 32% своїх відповідей Gemini додала принаймні одну ноту, якої не назвала жодна з двох інших моделей. Для ChatGPT цей показник становив 10%, а для Perplexity — 11%.
Для Prada Infusion de Vétiver парфумерний дім наводить чотири ноти. ChatGPT і Perplexity повернули саме ці чотири ноти, розміщені саме на відповідних рівнях. Gemini назвала дванадцять нот, зокрема вісім, яких не назвала жодна інша модель; точність її відповіді становила 0,33. Для Rochas Eau de Rochas Perplexity точно відтворила перелік із десяти нот, тоді як Gemini назвала 18 нот, десять із яких не згадала жодна інша модель.
Тут перехресна перевірка працює добре: відповідь, що відрізняється від інших, помітна на тлі двох однакових. Саме цю асиметрію мають враховувати розробники. Розбіжність — корисний сигнал тривоги. Узгодженість — не гарантія.
Висновок 4: Правильні факти, неправильна структура
У деяких відповідях правильні ноти були зазначені не на тих місцях. Для Montblanc Explorer ChatGPT правильно визначив шість із дев’яти офіційних нот, але лише дві з них розмістив на належному рівні; точність розміщення становила 33%. Перевірка, яка лише з’ясовує, чи згадана нота десь у відповіді, не виявила б, що чотири з шести нот опинилися не на тому рівні.
Для будь-якого агента, який перетворює факти про товари на підставу для рішень, структура має значення. Те саме стосується розмірів, сумісності, дозування чи інгредієнтів в інших категоріях. Оцінювання, яке перевіряє лише, чи згадані факти десь у відповіді, не виявить такого типу помилок.
Закономірність залежно від типу товару
У всіх трьох системах у відповідях про дизайнерські парфуми частіше траплялися ноти, яких не було в офіційному переліку, ніж у відповідях про нішеві парфуми; різниця становила від 22 до 32 відсоткових пунктів. Найбільший розрив спостерігався у ChatGPT: щонайменше одну ноту поза переліком містили чотири з десяти відповідей про дизайнерські парфуми — порівняно з менш ніж однією з десяти відповідей про нішеві.
Короткий офіційний перелік дає системі більше можливостей додати ноти, тож ми врахували довжину переліків: об’єднали відповіді всіх трьох систем і розподілили їх на три групи. У кожній із них у відповідях про дизайнерські парфуми додаткові ноти траплялися частіше: 70% проти 31% для переліків із п’ятьма нотами або менше (27 і 29 відповідей), 61% проти 21% для переліків із шістьма-восьмома нотами (51 і 42) та 26% проти 13% для переліків із дев’ятьма нотами або більше (72 і 77). Вибірки невеликі, а оскільки кожна група ґрунтувалася на окремому наборі парфумерних домів і сторінок-джерел, ми не можемо визначити причину цієї різниці. Однак закономірність свідчить, що точність залежить від сегмента товарів, а один показник для всього каталогу може приховати цю різницю.
Що це означає для команд, які створюють агентів для покупок
Використовуйте узгодженість, щоб виявляти розбіжності, а не підтверджувати істину. Порівняння моделей — недорогий спосіб виявити поодинокі додані факти. Воно не виявить помилкову відповідь, яку поділяють усі моделі, тож таку перевірку не слід вважати остаточною.
Підтверджуйте факти, за які відповідає компанія, джерелом, яким вона володіє. Якщо за певний факт хтось відповідає, наприклад виробник за свої специфікації, найнадійніше отримати його зі структурованого запису, у якому зазначено сторінку-джерело. Відкриті стандарти роблять це практичним: розмітка типу товару schema.org на сторінці та протокол Model Context Protocol, за допомогою якого агенти можуть безпосередньо надсилати запити до джерела даних. У рекомендаціях Google щодо функцій ШІ зазначено, що структуровані дані мають відповідати видимому тексту на сторінці, а для появи в цих функціях спеціальна розмітка schema.org не потрібна.
Оцінюйте точність, точний збіг і структуру, а не лише повноту. Відповідь, яка містить усі факти й додатково три вигадані, пройде перевірку на повноту, але все одно введе користувача в оману.
Коли є еталонні дані, оцінюйте результати детерміновано. Перевірка за правилами на основі структурованих даних дає відтворювані результати, які можна перевірити; крім того, вона не має тих самих сліпих зон, що й модель.
Повторюйте перевірку. Відповіді відрізняються від запуску до запуску — на це звернув увагу Ендрю Ліссімор на цьому сайті, говорячи про вимірювання рекомендацій щодо покупок, створених ШІ. У нашому дослідженні для кожного парфуму в кожній системі зробили один запит, тож варіативність між запусками невідома.
Обмеження дослідження
Запит про кожен парфум у кожній системі подавали один раз, в один день, англійською мовою та з однієї країни. Claude і системи без вебпошуку не тестували. Відсутність ноти в офіційному переліку не означає автоматично, що вона неправильна, адже парфумерні доми іноді публікують лише ключові ноти, тому точність є нижньою межею правильності. Грейдер налаштували на тих самих 100 парфумах, а вибірка складається переважно із західних дизайнерських і нішевих парфумерних домів, чиї переліки можна було перевірити.
У межах цих обмежень закономірність була послідовною. Згода трьох систем свідчить, що певна версія фактів широко повторюється. Лише джерело може показати, чи актуальна вона. Тож ось запитання до всіх, чий агент перевіряє себе за допомогою другої моделі: що робить ваш агент, коли дві моделі дають однакову неправильну відповідь?












