Liderzy opinii

Gdy modele AI są zgodne, nie jest to dowód: co pokazuje 300 zapytań o fakty dotyczące produktów

Sebastian Dobrincu
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyZgodność między modelami mierzy, jak szeroko rozprzestrzeniła się dana wersja, a nie…
Zobacz więcej
  • Zgodność między modelami mierzy, jak szeroko rozprzestrzeniła się dana wersja, a nie to, czy jest aktualna.
  • Wzajemna weryfikacja wychwytuje odstające wyniki jednego silnika, ale nie potrafi wykryć odpowiedzi, którą podzielają wszystkie modele.
  • Odpowiedź może zawierać każdą oficjalną uwagę, umieszczając te uwagi w niewłaściwych poziomach.

Ten artykuł opiera się na wynikach badania Scento z października 2026 r., dotyczącego odpowiedzi ChatGPT, Gemini i Perplexity na pytania o nuty zapachowe perfum (pełna metodologia, dane i ograniczenia).

Częstym zabezpieczeniem w projektowaniu agentów AI jest zadanie pytania więcej niż jednemu modelowi albo kilkukrotnie temu samemu modelowi, a następnie zaufanie odpowiedzi, co do której są zgodne. Ta koncepcja ma solidne podstawy. Metoda samospójności, w której analizuje się kilka ścieżek rozumowania i wybiera odpowiedź większości, poprawia wyniki w testach porównawczych rozumowania. Wykorzystywanie jednego modelu do oceniania innego, analizowane w pracy Ocenianie LLM-a jako sędziego, pozwala uzyskać wysoki poziom zgodności z ocenami ludzi, choć autorzy opisują również błędy związane z kolejnością, rozwlekłością i autopromocją.

Fakty dotyczące produktów dobrze nadają się do sprawdzenia, czy zgodność oznacza trafność, ponieważ prawidłowa odpowiedź jest zwykle podana przez firmę, która wytwarza dany produkt. Sprawdziliśmy to na przykładzie perfum, a wynik brzmiał: tylko częściowo.

Jak przebiegał test

Polecenie składało się z jednego zdania z prośbą o podanie nut głowy, serca i bazy danego zapachu. 20 października 2026 r. przesłaliśmy je w odniesieniu do każdych ze 100 perfum pochodzących od 45 domów perfumeryjnych do ChatGPT, Gemini i Perplexity. Każde zapytanie wysłano raz, po angielsku, z lokalizacji w USA: łącznie 300 zapytań. Gemini zwrócił 99 odpowiedzi, ponieważ jedno zapytanie zakończyło się błędem usługi.

W przypadku 91 perfum punktem odniesienia była lista nut opublikowana przez dany dom perfumeryjny na jego własnej stronie. W przypadku pozostałych 9 była to lista, co do której zgadzało się dwóch autoryzowanych sprzedawców. Ocenę przeprowadził skrypt, który w ogóle nie korzystał z modelu językowego. Przyporządkował każdą nutę z każdej odpowiedzi do jednego z 411 haseł w glosariuszu, a następnie porównał wynik z punktem odniesienia. Gdy ręcznie sprawdziliśmy 20 ocen, 17 było całkowicie zgodnych, a w 19 różnica wynosiła najwyżej jedną nutę. Sprawdzenie nie było zaślepione, ponieważ osoba oceniająca widziała wynik skryptu.

Mierzyliśmy cztery elementy: pełność (ile oficjalnych nut zawiera odpowiedź), precyzję (ile z wymienionych w niej nut jest oficjalnych), dokładne dopasowanie (wszystkie oficjalne nuty i żadnych dodatkowych) oraz rozmieszczenie (czy każda nuta znajduje się na właściwym poziomie: głowy, serca lub bazy).

Wniosek 1: modele zgadzają się co do tego, jakie nuty występują

Pod względem pełności wszystkie trzy modele wyglądają niemal tak samo. Mediana pełności wyniosła 1,00 dla każdego z nich. ChatGPT podał wszystkie oficjalne nuty w 82% odpowiedzi, Perplexity w 78%, a Gemini w 69%.

Zgodność całych odpowiedzi była znacznie rzadsza. Spośród 99 perfum, na temat których odpowiedziały wszystkie trzy modele, w przypadku 59 każdy z nich podał wszystkie oficjalne nuty. Tylko w 39 przypadkach wszystkie trzy dokładnie dopasowały się do oficjalnej listy. Co najmniej jeden model podał dokładną odpowiedź w przypadku 79 perfum, a w przypadku 20 żaden tego nie zrobił.

W około jednym przypadku na pięć (20 ze 99 perfum) wszystkie trzy modele podały każdą oficjalną nutę, ale co najmniej jeden z nich dodał też nuty, których nie ma na liście. Sprawdzenie pełności uznałoby wszystkie trzy odpowiedzi za poprawne.

Wniosek 2: wspólne odpowiedzi przechodzą wszystkie testy zgodności

Najbardziej pouczające były wyniki, co do których modele były zgodne.

W przypadku Jean Paul Gaultier Le Male Elixir dwóch zgodnych sprzedawców podaje trzy nuty: lawendę w nucie głowy, fasolę tonka w nucie serca i benzoes w nucie bazy. ChatGPT, Gemini i Perplexity wygenerowały identyczną piramidę siedmiu nut. Każdy z nich uwzględnił wszystkie trzy nuty z listy referencyjnej, umieścił fasolę tonka i benzoes na wzajemnie zamienionych poziomach oraz dodał cztery kolejne nuty. Trzy niezależne modele, jedna identyczna odpowiedź, która w tych samych miejscach odbiega od listy referencyjnej.

W przypadku Viktor&Rolf Flowerbomb dom perfumeryjny podaje cztery nuty. Gemini i Perplexity zwróciły tę samą piramidę 11 nut, pominęły jedną oficjalną nutę i dodały osiem. W odpowiedzi Perplexity zaznaczyło następnie, że obecny opis marki podkreśla cztery oficjalne nuty, więc uwzględniło obie wersje, zaczynając od starszej.

Nasze dane nie pozwalają stwierdzić, dlaczego odpowiedzi są zgodne. Praktyczny wniosek nie zależy jednak od przyczyny. Gdy systemy korzystają z tego samego zbioru tekstów internetowych, głosowanie większościowe pokazuje, jak szeroko rozpowszechniła się dana wersja, a nie czy jest aktualna. Zgodność między nimi jest słabym dowodem na to, że odpowiedź odpowiada temu, co marka publikuje obecnie.

Wniosek 3: odpowiedzi odbiegające od pozostałych są najłatwiejsze do wychwycenia

Inne dodatkowe nuty pojawiały się wyłącznie w odpowiedziach jednego modelu — i właśnie takie przypadki łatwo wykryć przez porównanie. W 32% odpowiedzi Gemini dodał co najmniej jedną nutę, której nie wymienił żaden z dwóch pozostałych modeli; w przypadku ChatGPT było to 10%, a Perplexity 11%.

W przypadku Prada Infusion de Vétiver dom perfumeryjny podaje cztery nuty. ChatGPT i Perplexity zwróciły dokładnie te cztery nuty, umieszczone we właściwych miejscach. Gemini podał ich dwanaście, w tym osiem, których nie wymienił żaden inny model, osiągając precyzję 0,33. W przypadku Rochas Eau de Rochas Perplexity dokładnie dopasowało się do listy dziesięciu nut, podczas gdy Gemini podał 18 nut, z których dziesięciu nie wymienił żaden inny model.

W tym przypadku porównanie działa dobrze: odpowiedź odbiegająca od pozostałych wyróżnia się na tle dwóch zgodnych odpowiedzi. To właśnie tę asymetrię powinni mieć na uwadze twórcy systemów. Rozbieżność to użyteczny sygnał alarmowy. Zgodność nie jest certyfikatem.

Wniosek 4: właściwe fakty, niewłaściwa struktura

Niektóre odpowiedzi zawierały właściwe nuty, ale przypisane do niewłaściwych warstw. W przypadku Montblanc Explorer ChatGPT wskazał sześć z dziewięciu oficjalnych nut, ale tylko dwie z tych sześciu znalazły się we właściwej warstwie, co oznacza 33-procentową trafność przypisania. Sprawdzenie, które polegałoby jedynie na ustaleniu, czy dana nuta pojawia się gdziekolwiek w odpowiedzi, nie wykryłoby, że cztery z sześciu znalazły się w niewłaściwej warstwie.

W przypadku każdego agenta, który wykorzystuje informacje o produktach do podejmowania decyzji, ich struktura ma znaczenie. To samo dotyczy rozmiarów, kompatybilności, dawkowania czy składników w innych kategoriach. Ocena sprawdzająca jedynie, czy informacje pojawiają się gdziekolwiek w odpowiedzi, nie wykryje tego rodzaju błędu.

Wzorzec według typu produktu

We wszystkich trzech silnikach odpowiedzi dotyczące perfum projektantów częściej zawierały nuty spoza oficjalnej listy niż odpowiedzi dotyczące perfum niszowych; różnica wynosiła od 22 do 32 punktów procentowych. Największą różnicę wykazał ChatGPT: co najmniej jedną nutę spoza listy zawierały cztery na dziesięć jego odpowiedzi dotyczących perfum projektantów, w porównaniu z mniej niż jedną na dziesięć odpowiedzi dotyczących perfum niszowych.

Krótka oficjalna lista daje silnikowi więcej miejsca na dodawanie nut, dlatego uwzględniliśmy długość listy, łącząc wyniki ze wszystkich trzech silników i dzieląc odpowiedzi na trzy przedziały. W każdym z nich odpowiedzi dotyczące perfum projektantów nadal częściej zawierały dodatkowe nuty: 70% w porównaniu z 31% przy listach liczących najwyżej pięć nut (27 i 29 odpowiedzi), 61% w porównaniu z 21% przy listach liczących od sześciu do ośmiu nut (51 i 42 odpowiedzi) oraz 26% w porównaniu z 13% przy listach zawierających co najmniej dziewięć nut (72 i 77 odpowiedzi). Próby są niewielkie, a ponieważ każda grupa pochodziła z innego zestawu domów perfumeryjnych i stron źródłowych, nie możemy wyodrębnić przyczyny. Wyniki sugerują jednak, że dokładność różni się w zależności od segmentu produktów, a pojedyncza wartość dla całego katalogu może to ukrywać.

Co to oznacza dla zespołów tworzących agentów zakupowych

Wykorzystuj zgodność modeli do wykrywania rozbieżności, a nie do potwierdzania prawdziwości. Porównywanie modeli to tani sposób na wychwycenie dodatków pojawiających się tylko w pojedynczych odpowiedziach. Nie pozwala jednak wykryć błędu powielanego przez wszystkie modele, dlatego nie powinno być ostatnim etapem weryfikacji.

Opieraj własne informacje na własnym źródle. Jeśli dana informacja ma właściciela, na przykład jest specyfikacją producenta, najpewniejszym sposobem jest pobranie jej ze strukturalnego rekordu zawierającego odnośnik do strony źródłowej. Otwarte standardy to ułatwiają: typ Product w schema.org na stronie oraz Model Context Protocol, który pozwala agentom bezpośrednio wysyłać zapytania do źródła danych. Zgodnie ze wskazówkami Google dotyczącymi funkcji AI dane strukturalne powinny być zgodne z widocznym tekstem na stronie, a do wyświetlania się w tych funkcjach nie są potrzebne żadne specjalne znaczniki schema.org.

Oceniaj precyzję, dokładne dopasowanie i strukturę, a nie tylko czułość. Odpowiedź zawierająca wszystkie fakty oraz trzy wymyślone informacje przejdzie test czułości, a mimo to wprowadzi użytkownika w błąd.

Gdy dostępne są dane referencyjne, oceniaj w sposób deterministyczny. Ocena oparta na regułach i porównaniu z danymi strukturalnymi jest powtarzalna i możliwa do audytu, a ponadto nie ma martwych punktów charakterystycznych dla modeli.

Przeprowadzaj test więcej niż raz. Odpowiedzi różnią się między kolejnymi uruchomieniami — zwracał na to uwagę Andrew Lissimore w tym serwisie, pisząc o mierzeniu rekomendacji zakupowych generowanych przez AI. W naszym badaniu każde perfumy sprawdziliśmy tylko raz w każdym silniku, dlatego nie znamy zmienności wyników między kolejnymi uruchomieniami.

Ograniczenia badania

Każde perfumy sprawdzono raz w każdym silniku, jednego dnia, po angielsku i z jednego kraju. Nie testowaliśmy Claude’a ani silników bez wyszukiwania w sieci. Brak nuty na oficjalnej liście nie oznacza automatycznie, że jest błędna, ponieważ domy perfumeryjne czasem publikują tylko najważniejsze nuty; dlatego precyzja stanowi dolną granicę poprawności. Mechanizm oceniający dostrojono na tych samych 100 perfumach, a próba obejmuje głównie zachodnie domy perfumeryjne tworzące perfumy projektanckie i niszowe, których listy można było zweryfikować.

W tych granicach wzorzec był spójny. Zgodność trzech silników mówi, że dana wersja informacji jest powszechnie powtarzana. Tylko źródło pozwala ustalić, czy jest aktualna. Oto więc pytanie do wszystkich, których agent sprawdza się za pomocą drugiego modelu: co robi wasz agent, gdy dwa modele podają tę samą błędną odpowiedź?

Sebastian Dobrincu jest założycielem i dyrektorem generalnym Scento, internetowej firmy perfumeryjnej z siedzibą w Paryżu, która sprzedaje w Europie ponad 3 miliony odlewek perfum rocznie. Scento zaprojektowało i przeprowadziło to badanie dokładności odpowiedzi AI, a dane o nutach zapachowych publikuje bezpłatnie dla programistów i agentów AI.