Tankeledare

När AI-motorer är överens är det inget bevis: vad 300 frågor om produktfakta visar

Sebastian Dobrincu
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterÖverensstämmelse mellan modeller mäter hur vitt en version har spridits snarare än om…
Visa mer
  • Överensstämmelse mellan modeller mäter hur vitt en version har spridits snarare än om den är aktuell.
  • Korsvis kontroll fångar avvikelser från en enskild motor men kan inte upptäcka ett svar som alla modeller delar.
  • Ett svar kan innehålla varje officiell not medan det placerar dessa noter i fel nivåer.

Den här artikeln bygger på resultat från Scentos studie från oktober 2026 av hur ChatGPT, Gemini och Perplexity svarar på frågor om parfymnoter (fullständig metod, data och begränsningar).

Ett vanligt skyddsnät i utformningen av AI-agenter är att fråga mer än en modell, eller samma modell flera gånger, och lita på det svar de är överens om. Idén har en gedigen grund. Självkonsistens, där flera resonemangsvägar prövas och det vanligaste svaret väljs, förbättrar träffsäkerheten på riktmärken för resonemang. Att låta en modell bedöma en annan, vilket undersöks i Att bedöma LLM:er med en LLM, ger hög överensstämmelse med mänskliga bedömare, även om författarna också dokumenterar positioneringsbias, verbositetsbias och självförhärligandebias.

Produktfakta lämpar sig väl för att testa om samstämmighet innebär träffsäkerhet, eftersom det rätta svaret oftast finns dokumenterat av företaget som tillverkar produkten. Vi testade detta på parfym, och svaret var: bara delvis.

Så gick testet till

Frågan bestod av en enda mening där vi bad om en dofts toppnoter, hjärtnoter och basnoter. Den ställde vi om var och en av 100 parfymer från 45 parfymhus till ChatGPT, Gemini och Perplexity den 20 oktober 2026. Varje fråga skickades en gång, på engelska och från en plats i USA: totalt 300 frågor. Gemini gav 99 svar, eftersom ett anrop slutade med ett tjänstefel.

För 91 parfymer var referensen notlistan som parfymhuset publicerar på sin egen webbplats. För de återstående 9 var den en lista som två auktoriserade återförsäljare var överens om. Bedömningen gjordes med ett skript som inte använde någon språkmodell alls. Det mappade varje not i svaren till en ordlista med 411 noter och jämförde sedan resultatet med referensen. När vi kontrollerade 20 bedömningar för hand stämde 17 exakt och 19 med högst en nots skillnad. Kontrollen var inte blind, eftersom granskaren kunde se skriptets resultat.

Vi mätte fyra saker: återkallning (hur många officiella noter ett svar innehåller), precision (hur många av de noter som nämns är officiella), exakt träff (alla officiella noter, inget utöver dem) och placering (om varje not hamnar i rätt topp-, hjärt- eller bastonsskikt).

Resultat 1: Motorerna är överens om vilka noter som finns

När det gäller återkallning ser de tre motorerna nästan likadana ut. Medianen för återkallning var 1,00 för var och en. ChatGPT fick med varje officiell not i 82 % av svaren, Perplexity i 78 % och Gemini i 69 %.

Det var betydligt ovanligare att de var överens om hela svaret. Av de 99 parfymer som alla tre motorerna svarade om fick alla tre med varje officiell not för 59. Alla tre överensstämde exakt med den officiella listan för endast 39. Minst en motor gav ett exakt svar för 79 parfymer, och för 20 parfymer gjorde ingen det.

I ungefär ett fall av fem (20 av de 99 parfymerna) fick alla tre motorerna med varje officiell not, men minst en av dem lade också till noter som inte finns på listan. En kontroll av återkallningen skulle ha godkänt alla tre svaren.

Resultat 2: Gemensamma svar klarar alla konsensuskontroller

De mest lärorika resultaten var de som motorerna hade gemensamt.

För Jean Paul Gaultier Le Male Elixir anger de två återförsäljare som är överens tre noter: lavendel i toppen, tonkaböna i hjärtat och bensoin i basen. ChatGPT, Gemini och Perplexity gav alla samma pyramid med sju noter. Varje svar innehöll de tre referensnoterna, placerade tonkaböna och bensoin i varandras skikt och lade till ytterligare fyra noter. Tre separata motorer, ett identiskt svar – och svaret avviker från referensen på samma ställen.

För Viktor&Rolf Flowerbomb anger parfymhuset fyra noter. Gemini och Perplexity gav båda samma pyramid med 11 noter, missade en officiell not och lade till åtta. I sitt svar noterade Perplexity sedan att varumärkets aktuella beskrivning lyfter fram de fyra officiella noterna, så modellen tog med båda versionerna och inledde med den äldre.

Våra data kan inte säga varför svaren stämmer överens. Men den praktiska poängen är densamma oavsett orsak. När systemen hämtar information från samma samling webbtexter visar en majoritetsomröstning hur utbredd en version är, inte om den är aktuell. Att systemen är överens är ett svagt belägg för att svaret stämmer med det som varumärket självt publicerar i dag.

Resultat 3: Avvikelser från en enda motor är lätta att upptäcka

Andra extra noter förekom bara i svaren från en enskild motor, och det är just sådana avvikelser som jämförelser fångar upp. I 32 % av sina svar lade Gemini till minst en not som ingen av de andra motorerna nämnde, jämfört med 10 % för ChatGPT och 11 % för Perplexity.

För Prada Infusion de Vétiver anger parfymhuset fyra noter. ChatGPT och Perplexity gav exakt dessa fyra, på exakt rätt platser. Gemini gav tolv, däribland åtta som ingen annan motor nämnde, vilket gav en precision på 0,33. För Rochas Eau de Rochas stämde Perplexity exakt med listan på tio noter, medan Gemini gav 18 noter, varav tio inte nämndes av någon annan motor.

Här fungerar faktakontroll mellan svaren väl: en avvikelse sticker ut när två svar är överens. Det är den asymmetri som utvecklare bör ha i åtanke. Oenighet är en användbar varningssignal. Samstämmighet är inget kvalitetsintyg.

Resultat 4: Rätt fakta, fel struktur

Vissa svar innehöll rätt noter, men på fel plats. För Montblanc Explorer stämde ChatGPT överens med sex av de nio officiella noterna, men bara två av dessa sex låg på rätt nivå, vilket motsvarar en placeringsprecision på 33 %. En kontroll som bara frågar om en not förekommer någonstans i svaret skulle inte upptäcka att fyra av de sex ligger på fel nivå.

För alla agenter som omvandlar produktfakta till beslut har strukturen betydelse. Detsamma gäller storlekar, kompatibilitet, dosering och ingredienser i andra kategorier. En utvärdering som bara kontrollerar om fakta förekommer någonstans i svaret missar den här typen av misstag.

Ett mönster utifrån produkttyp

Svar om designerdofter innehöll oftare noter som inte fanns på listan än svar om nischdofter, i alla tre motorerna, med skillnader på 22 till 32 procentenheter. ChatGPT uppvisade den största skillnaden: fyra av tio svar om designerdofter innehöll minst en not som inte fanns på listan, jämfört med färre än ett av tio svar om nischdofter.

En kort officiell lista ger en motor större utrymme att lägga till noter. Därför kontrollerade vi för listornas längd genom att slå samman svaren från alla tre motorer och dela in dem i tre grupper. Svaren om designerdofter innehöll fortfarande oftare extra noter i varje grupp: 70 % jämfört med 31 % för listor med högst fem noter (27 respektive 29 svar), 61 % jämfört med 21 % för listor med sex till åtta noter (51 respektive 42) och 26 % jämfört med 13 % för listor med minst nio noter (72 respektive 77). Urvalen är små, och eftersom varje grupp hämtades från olika parfymhus och källsidor kan vi inte isolera orsaken. Mönstret tyder däremot på att träffsäkerheten varierar mellan produktsegment och att en enda siffra för en hel katalog kan dölja det.

Vad det här innebär för team som bygger shoppingagenter

Använd samstämmighet för att hitta avvikelser, inte för att bekräfta sanningen. Att jämföra modeller är ett enkelt sätt att upptäcka enstaka tillägg. Det kan inte upptäcka svar som modellerna är överens om, så det bör inte vara den sista kontrollen.

Förankra fakta om en produkt i en källa som ägs av den som ansvarar för uppgifterna. När en uppgift har en ansvarig källa, till exempel en tillverkares specifikation, är det säkraste sättet att hämta den från en strukturerad post som anger källsidan. Öppna standarder gör detta praktiskt möjligt: uppmärkning med schema.org Product på sidan och Model Context Protocol, som gör det möjligt för agenter att fråga en datakälla direkt. Googles vägledning om AI-funktioner säger att strukturerade data ska stämma överens med den synliga texten på sidan och att det inte behövs någon särskild schema.org-uppmärkning för att synas i de funktionerna.

Bedöm precision, exakt matchning och struktur, inte bara täckning. Ett svar som innehåller alla fakta plus tre påhittade uppgifter klarar ett täckningstest, men vilseleder ändå användaren.

Bedöm deterministiskt när referensdata finns. En regelbaserad bedömare som jämför svar med strukturerade data ger reproducerbara och granskningsbara resultat, och har inte samma blinda fläckar som en modell.

Kör mer än en gång. Svaren varierar mellan körningar, vilket Andrew Lissimore tog upp här på webbplatsen i samband med att mäta AI:s shoppingrekommendationer. I vår studie gjorde vi ett anrop per parfym och motor, så variationen mellan körningar är okänd.

Studiens begränsningar

Varje parfym efterfrågades en gång per motor, under en dag, på engelska och från ett land. Claude och motorer utan webbsökning testades inte. En not som saknas på en officiell lista är inte automatiskt felaktig, eftersom parfymhus ibland bara publicerar de viktigaste noterna. Därför utgör precisionen en nedre gräns för korrektheten. Bedömningsmodellen finjusterades på samma 100 parfymer, och urvalet består till största delen av västerländska designer- och nischparfymhus vars listor gick att verifiera.

Inom dessa begränsningar var mönstret konsekvent. När tre motorer är överens visar det att en viss version av uppgifterna återges ofta. Det är bara källan som kan tala om huruvida uppgifterna är aktuella. Så här är frågan till alla vars agent kontrollerar sig själv mot en andra modell: vad gör agenten när två modeller ger samma felaktiga svar?

Sebastian Dobrincu är grundare och vd för Scento, ett Parisbaserat nätföretag inom parfym som säljer över 3 miljoner parfymprover i dekantflaskor om året i Europa. Scento utformade och genomförde den här studien av AI-svarens träffsäkerhet och publicerar sina data om parfymnoter kostnadsfritt för utvecklare och AI-agenter.