Myslitelé

Když se systémy AI shodnou, není to důkaz: co ukazuje 300 dotazů na fakta o produktech

Sebastian Dobrincu
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyShoda mezi modely měří, jak široce se verze rozšířila, spíše než zda je aktuální.
Zobrazit více
  • Shoda mezi modely měří, jak široce se verze rozšířila, spíše než zda je aktuální.
  • Vzájemná kontrola odhalí odlehlé hodnoty jednoho enginu, ale nedokáže odhalit odpověď, kterou sdílejí všechny modely.
  • Odpověď může obsahovat každou oficiální poznámku, a přesto tyto poznámky zařadit do nesprávných úrovní.

Tento článek vychází ze zjištění studie společnosti Scento z října 2026, která zkoumala, jak ChatGPT, Gemini a Perplexity odpovídají na otázky týkající se vonných tónů parfémů (úplná metodika, data a omezení).

Jednou z běžných pojistek při navrhování agentů AI je položit otázku více modelům, případně témuž modelu opakovaně, a důvěřovat odpovědi, na které se shodnou. Tato myšlenka má pevné základy. Sebekonzistence, která spočívá ve vzorkování několika postupů uvažování a výběru nejčastější odpovědi, zvyšuje přesnost v testech uvažování. Použití jednoho modelu k hodnocení jiného, zkoumané ve studii Hodnocení LLM jako rozhodčího, dosahuje vysoké shody s lidskými hodnotiteli, autoři však zároveň dokumentují zkreslení způsobená pořadím, upovídaností a sebepropagací.

Fakta o produktech jsou vhodným tématem pro ověření, zda shoda znamená přesnost, protože správnou odpověď obvykle uvádí přímo společnost, která daný produkt vyrábí. Ověřili jsme to na parfémech a výsledek zněl: jen částečně.

Jak test probíhal

Zadání tvořila jediná věta, která se ptala na vrchní, střední a základní tóny vůně. Dne 20. října 2026 jsme tento dotaz položili u každého ze 100 parfémů od 45 značek modelům ChatGPT, Gemini a Perplexity. Každý dotaz jsme odeslali jednou, v angličtině a z lokality v USA, celkem tedy 300 dotazů. Gemini vrátilo 99 odpovědí, protože jedno volání skončilo chybou služby.

U 91 parfémů jsme jako referenci použili seznam vonných tónů, který značka zveřejňuje na svém webu. U zbývajících 9 šlo o seznam, na němž se shodují dva autorizovaní prodejci. Hodnocení prováděl skript, který vůbec nepoužíval jazykový model. Namapoval každý tón z jednotlivých odpovědí na glosář 411 tónů a výsledek pak porovnal s referenčním seznamem. Když jsme 20 hodnocení zkontrolovali ručně, 17 se shodovalo přesně a 19 se lišilo nejvýše o jeden tón. Tato kontrola nebyla zaslepená, protože hodnotitel viděl výsledek skriptu.

Měřili jsme čtyři ukazatele: úplnost (kolik oficiálních tónů odpověď obsahuje), přesnost (kolik uvedených tónů je oficiálních), přesnou shodu (všechny oficiální tóny a žádné navíc) a správné umístění (zda je každý tón zařazen do správné vrchní, střední či základní vrstvy).

Zjištění 1: Modely se shodují na tom, které tóny ve vůni jsou

Pokud jde o úplnost, jsou si všechny tři modely téměř k nerozeznání. Medián úplnosti činil u každého 1,00. ChatGPT uvedl všechny oficiální tóny v 82 % odpovědí, Perplexity v 78 % a Gemini v 69 %.

Shoda na celé odpovědi byla mnohem vzácnější. Z 99 parfémů, na které odpověděly všechny tři modely, uvedly všechny tři všechny oficiální tóny u 59. Přesně se oficiálnímu seznamu shodovaly všechny tři pouze u 39 parfémů. Alespoň jeden model odpověděl přesně u 79 parfémů, zatímco u 20 se netrefil žádný.

Přibližně v jednom z pěti případů (u 20 z 99 parfémů) uvedly všechny tři modely všechny oficiální tóny, alespoň jeden z nich však přidal i tóny, které v seznamu nejsou. Kontrola úplnosti by všechny tři odpovědi vyhodnotila jako správné.

Zjištění 2: Shodné odpovědi projdou každou kontrolou konsenzu

Nejpoučnější byly výsledky, na kterých se modely shodly.

U parfému Jean Paul Gaultier Le Male Elixir uvádějí dva prodejci, kteří se shodují, tři tóny: levanduli ve vrchní vrstvě, tonkové boby ve střední a benzoin v základní. ChatGPT, Gemini i Perplexity vytvořily totožnou pyramidu se sedmi tóny. Každá odpověď obsahovala všechny tři referenční tóny, tonkové boby a benzoin zařadila do vzájemně prohozených vrstev a přidala další čtyři tóny. Tři samostatné modely, jedna totožná odpověď — a všechny se od reference odchylují na stejných místech.

U parfému Viktor&Rolf Flowerbomb uvádí značka čtyři tóny. Gemini i Perplexity vrátily stejnou pyramidu s 11 tóny, vynechaly jeden oficiální tón a přidaly dalších osm. Perplexity pak ve své odpovědi poznamenalo, že současný popis značky zdůrazňuje čtyři oficiální tóny, takže ponechalo obě verze a jako první uvedlo tu starší.

Z našich dat nelze určit, proč se odpovědi shodují. Praktický závěr však na příčině nezávisí. Když systémy čerpají ze stejného souboru webových textů, hlasování většiny měří, nakolik se určitá verze rozšířila, nikoli zda je aktuální. Shoda mezi nimi je jen slabým důkazem, že odpověď odpovídá tomu, co značka zveřejňuje dnes.

Zjištění 3: Odchylky jediného modelu se odhalují snadno

Jiné přidané tóny se objevily pouze u jednoho modelu — a právě takové případy srovnání snadno odhalí. Gemini přidalo alespoň jeden tón, který neuvedl žádný z ostatních modelů, ve 32 % svých odpovědí. U ChatGPT to bylo 10 % a u Perplexity 11 %.

U parfému Prada Infusion de Vétiver uvádí značka čtyři tóny. ChatGPT a Perplexity vrátily přesně tyto čtyři a zařadily je na správná místa. Gemini jich uvedlo dvanáct, včetně osmi, které neuvedl žádný jiný model, a dosáhlo přesnosti 0,33. U parfému Rochas Eau de Rochas se Perplexity přesně shodovalo se seznamem deseti tónů, zatímco Gemini jich uvedlo 18, z toho deset takových, které žádný jiný model nezmínil.

Vzájemná kontrola zde funguje dobře: odlišná odpověď vynikne vedle dvou shodných. Právě tuto asymetrii by měli mít tvůrci systémů na paměti. Neshoda je užitečný varovný signál. Shoda není potvrzení správnosti.

Zjištění 4: Správná fakta, chybná struktura

Některé odpovědi uváděly správné vonné noty, ale zařazovaly je do nesprávných vrstev. U parfému Montblanc Explorer správně určilo ChatGPT šest z devíti oficiálních not, ale pouze dvě z těchto šesti zařadilo do správné vrstvy. Přesnost zařazení tak činila 33 %. Kontrola, která by pouze zjišťovala, zda se nota někde v odpovědi objevuje, by nezachytila, že čtyři ze šesti jsou zařazeny do nesprávné vrstvy.

Pro každého agenta, který na základě faktů o produktech rozhoduje, je důležitá i jejich struktura. Totéž platí pro velikosti, kompatibilitu, dávkování nebo složení v jiných kategoriích. Hodnocení, které ověřuje pouze to, zda se fakta někde v odpovědi objevují, tento typ chyby přehlédne.

Vzorec podle typu produktu

Odpovědi o značkových parfémech obsahovaly noty neuvedené na seznamu častěji než odpovědi o niche parfémech, a to u všech tří modelů; rozdíl činil 22 až 32 procentních bodů. Největší rozdíl vykázalo ChatGPT: alespoň jednu notu neuvedenou na seznamu obsahovaly čtyři z deseti jeho odpovědí o značkových parfémech, oproti méně než jedné z deseti odpovědí o niche parfémech.

Krátký oficiální seznam dává modelu větší prostor k doplnění dalších not, proto jsme zohlednili délku seznamu tak, že jsme spojili výsledky všech tří modelů a rozdělili odpovědi do tří skupin. Odpovědi o značkových parfémech přesto obsahovaly další noty častěji v každé z nich: u seznamů s pěti notami nebo méně to bylo 70 % oproti 31 % (27 a 29 odpovědí), u seznamů se šesti až osmi notami 61 % oproti 21 % (51 a 42 odpovědí) a u seznamů s devíti nebo více notami 26 % oproti 13 % (72 a 77 odpovědí). Vzorky jsou malé a protože každá skupina vycházela z vlastní sady parfémových domů a zdrojových stránek, příčinu nedokážeme určit. Výsledky však naznačují, že přesnost se liší podle segmentu produktů a jediný údaj za celý katalog může tyto rozdíly zakrýt.

Co to znamená pro týmy vyvíjející nákupní agenty

Využívejte shodu k odhalení rozporů, ne k potvrzení pravdivosti. Porovnávání modelů je snadný způsob, jak odhalit jednotlivá doplnění, která se objevují jen v jedné odpovědi. Neodhalí však chybnou odpověď, na níž se modely shodnou, a nemělo by proto být posledním krokem kontroly.

Fakta o vlastních produktech opírejte o vlastní zdroj. Pokud má nějaký údaj vlastníka, například specifikace výrobce, nejspolehlivější je získat jej ze strukturovaného záznamu, který obsahuje odkaz na zdrojovou stránku. Otevřené standardy to umožňují: značení Product ze schema.org přímo na stránce a Model Context Protocol, díky němuž mohou agenti dotazovat zdroj dat přímo. Pokyny Googlu k funkcím AI uvádějí, že strukturovaná data by měla odpovídat viditelnému textu na stránce a že k zobrazení v těchto funkcích není potřeba žádné zvláštní značení schema.org.

Hodnoťte přesnost, přesnou shodu a strukturu, nejen úplnost. Odpověď, která obsahuje všechna fakta a navíc tři vymyšlená, projde testem úplnosti, a přesto uživatele uvede v omyl.

Tam, kde jsou k dispozici referenční data, používejte deterministické hodnocení. Hodnocení založené na pravidlech a porovnání se strukturovanými daty je opakovatelné a auditovatelné a nepodléhá slepým místům modelu.

Opakujte test vícekrát. Odpovědi se při každém spuštění mohou lišit, jak na tomto webu upozornil Andrew Lissimore v souvislosti s měřením doporučení AI pro nakupování. V naší studii jsme každému modelu položili jeden dotaz na každý parfém, takže nevíme, jak se výsledky liší mezi jednotlivými spuštěními.

Omezení studie

Na každý parfém jsme se každého modelu zeptali jednou, během jediného dne, v angličtině a z jedné země. Claude ani modely bez vyhledávání na webu jsme netestovali. Nota, která chybí na oficiálním seznamu, nemusí být automaticky chybná, protože parfémové domy někdy zveřejňují jen hlavní noty; přesnost je proto dolní hranicí správnosti. Hodnoticí nástroj jsme vyladili na stejných 100 parfémech a vzorek tvoří převážně západní značkové a niche parfémové domy, jejichž seznamy bylo možné ověřit.

V rámci těchto omezení byl výsledek konzistentní. Shoda tří modelů vám říká, že určitá verze faktů se široce opakuje. Pouze zdroj vám ale řekne, zda je aktuální. A tak tu máme otázku pro každého, jehož agent ověřuje své odpovědi pomocí druhého modelu: co váš agent udělá, když dva modely dají stejnou chybnou odpověď?

Sebastian Dobrincu je zakladatelem a generálním ředitelem společnosti Scento, online prodejce parfémů se sídlem v Paříži, který v Evropě prodá ročně přes 3 miliony odstřiků parfémů. Společnost Scento navrhla a provedla tuto studii přesnosti odpovědí umělé inteligence a bezplatně zveřejňuje data o vonných tónech parfémů pro vývojáře a agenty umělé inteligence.