Tankeledere
Når AI-motorer er enige, er det ikke et bevis: Hvad 300 spørgsmål om produktfakta viser

NøglepunkterEnighed mellem modeller måler, hvor udbredt en version er, snarere end om den er aktuel.
Vis mere
- Enighed mellem modeller måler, hvor udbredt en version er, snarere end om den er aktuel.
- Krydstjek fanger afvigelser fra en enkelt motor, men kan ikke opdage et svar, som alle modeller deler.
- Et svar kan indeholde alle officielle noter, mens det placerer disse noter i de forkerte niveauer.
Denne artikel bygger på resultater fra Scentos undersøgelse fra oktober 2026 af, hvordan ChatGPT, Gemini og Perplexity besvarer spørgsmål om parfumens noter (fuld metode, data og begrænsninger).
Et almindeligt sikkerhedsnet i udviklingen af AI-agenter er at spørge mere end én model eller spørge den samme model flere gange og stole på det svar, de er enige om. Idéen bygger på et solidt grundlag. Selvkonsistens, hvor man afprøver flere ræsonnementsveje og vælger det svar, flertallet peger på, øger nøjagtigheden på ræsonnementsbenchmarks. Når én model bruges til at bedømme en anden, som undersøgt i Evaluering med LLM’er som dommere, er der høj overensstemmelse med menneskelige bedømmere, selvom forfatterne også dokumenterer bias knyttet til rækkefølge, omfang og selvforherligelse.
Produktfakta er et godt sted at undersøge, om enighed betyder nøjagtighed, fordi det rigtige svar som regel er nedskrevet af virksomheden, der fremstiller produktet. Vi undersøgte det med parfumer, og svaret var: kun delvist.
Sådan foregik testen
Prompten var en enkelt sætning, der bad om en dufts top-, hjerte- og bundnoter. Den blev sendt for hver af 100 parfumer fra 45 parfuméhuse til ChatGPT, Gemini og Perplexity den 20. oktober 2026. Alle forespørgsler blev kørt én gang, på engelsk og fra en placering i USA: 300 i alt. Gemini returnerede 99 svar, da én forespørgsel endte med en tjenestefejl.
For 91 parfumer var referencegrundlaget den liste over noter, som parfuméhuset offentliggør på sin egen hjemmeside. For de resterende 9 var det en liste, som to autoriserede forhandlere var enige om. Bedømmelsen blev udført af et script, der slet ikke brugte en sprogmodel. Det knyttede hver note i hvert svar til en ordliste med 411 noter og sammenlignede derefter resultatet med referencegrundlaget. Da vi kontrollerede 20 bedømmelser manuelt, stemte 17 fuldstændigt, og 19 afveg med højst én note. Kontrollen var ikke blind, fordi den, der gennemgik resultaterne, kunne se scriptets resultat.
Vi målte fire ting: genfinding (hvor mange officielle noter et svar indeholder), præcision (hvor mange af de nævnte noter der er officielle), præcist match (alle officielle noter og intet ekstra) og placering (om hver note står i det rigtige top-, hjerte- eller bundlag).
Resultat 1: Motorerne er enige om, hvad der er til stede
Målt på genfinding virker de tre motorer næsten ens. Medianen for genfinding var 1,00 for hver af dem. ChatGPT returnerede alle officielle noter i 82 % af svarene, Perplexity i 78 % og Gemini i 69 %.
Enighed om hele svaret var langt sjældnere. Af de 99 parfumer, som alle tre motorer besvarede, returnerede alle tre samtlige officielle noter for 59. Alle tre matchede kun den officielle liste præcist for 39. Mindst én motor ramte præcist for 79, og for 20 parfumer gjorde ingen af dem det.
I cirka ét ud af fem tilfælde (20 af de 99 parfumer) returnerede alle tre motorer samtlige officielle noter, men mindst én af dem tilføjede også noter, som ikke står på listen. En kontrol af genfinding ville have godkendt alle tre svar.
Resultat 2: Fælles svar består alle konsensuskontroller
De mest lærerige resultater var dem, motorerne havde til fælles.
For Jean Paul Gaultier Le Male Elixir angiver de to forhandlere, der er enige, tre noter: lavendel i toppen, tonkabønne i hjertet og benzoin i bunden. ChatGPT, Gemini og Perplexity gav hver især en identisk pyramide med syv noter. Alle tre inkluderede de tre noter fra referencegrundlaget, placerede tonkabønne og benzoin i hinandens lag og tilføjede fire noter mere. Tre separate motorer, ét identisk svar, og svaret afviger fra referencegrundlaget de samme steder.
For Viktor&Rolf Flowerbomb angiver parfuméhuset fire noter. Gemini og Perplexity returnerede begge den samme pyramide med 11 noter, overså én officiel note og tilføjede otte. Perplexitys svar bemærkede derefter, at brandets aktuelle beskrivelse fremhæver de fire officielle noter, så det medtog begge versioner og begyndte med den ældre.
Vores data kan ikke fortælle, hvorfor svarene stemmer overens. Men den praktiske pointe afhænger ikke af årsagen. Når systemer bygger på den samme pulje af webtekster, viser en flertalsafstemning, hvor udbredt en version er, ikke om den er aktuel. Enighed mellem dem er kun et svagt tegn på, at svaret stemmer overens med det, brandet selv offentliggør i dag.
Resultat 3: Afvigelser fra én motor er de lette at opdage
Andre ekstra noter forekom kun hos én motor, og det er netop den slags, en sammenligning fanger. I 32 % af sine svar tilføjede Gemini mindst én note, som ingen af de to andre motorer nævnte, mod 10 % for ChatGPT og 11 % for Perplexity.
For Prada Infusion de Vétiver angiver parfuméhuset fire noter. ChatGPT og Perplexity returnerede præcis de fire noter på præcis de rigtige pladser. Gemini returnerede tolv, herunder otte, som ingen anden motor nævnte, hvilket gav en præcision på 0,33. For Rochas Eau de Rochas matchede Perplexity listen med ti noter præcist, mens Gemini returnerede 18 noter, hvoraf ti ikke blev nævnt af nogen anden motor.
Krydstjek fungerer godt her: En afvigelse skiller sig ud, når to svar stemmer overens. Det er den asymmetri, udviklere bør have in mente. Uenighed er et nyttigt advarselssignal. Enighed er ikke et kvalitetsstempel.
Resultat 4: Rigtige fakta, forkert struktur
Nogle svar havde de rigtige noter, men placeret forkert. For Montblanc Explorer fandt ChatGPT seks af de ni officielle noter, men kun to af de seks var placeret på det korrekte niveau, hvilket giver en placeringsnøjagtighed på 33 %. En kontrol, der kun undersøger, om en note optræder et sted i svaret, ville ikke opdage, at fire af de seks er placeret på det forkerte niveau.
For enhver agent, der omsætter produktfakta til beslutninger, har strukturen betydning. Det samme gælder størrelser, kompatibilitet, dosering og ingredienser i andre kategorier. En evaluering, der kun kontrollerer, om faktaene optræder et sted i svaret, overser denne type fejl.
Et mønster på tværs af produkttyper
Svar om designparfumer indeholdt oftere noter, der ikke stod på listen, end svar om nicheparfumer på alle tre motorer, med forskelle på 22 til 32 procentpoint. ChatGPT viste den største forskel: Fire ud af ti af svarene om designparfumer indeholdt mindst én note, der ikke stod på listen, sammenlignet med færre end ét ud af ti af svarene om nicheparfumer.
En kort officiel liste giver en motor større mulighed for at tilføje noter, så vi tog højde for listens længde ved at samle svarene fra alle tre motorer og inddele dem i tre grupper. Svar om designparfumer indeholdt stadig oftere ekstra noter i hver gruppe: 70 % mod 31 % for lister med fem noter eller færre (27 og 29 svar), 61 % mod 21 % for lister med seks til otte noter (51 og 42) og 26 % mod 13 % for lister med ni eller flere noter (72 og 77). Stikprøverne er små, og da hver gruppe stammer fra sit eget udvalg af parfumiehuse og kildesider, kan vi ikke isolere årsagen. Mønstret tyder dog på, at nøjagtigheden varierer mellem produktsegmenter, og at ét samlet tal for et helt katalog kan skjule det.
Hvad det betyder for teams, der udvikler shoppingagenter
Brug enighed til at finde uenighed, ikke til at bekræfte sandheden. Det er en billig måde at finde enkeltstående tilføjelser på at sammenligne modeller. Metoden kan ikke opdage et svar, som modellerne er enige om, og bør derfor ikke være den sidste kontrol.
Forankr egne fakta i en egen kilde. Når en oplysning har en ejer, f.eks. en producents specifikation, er den mest pålidelige metode at hente den fra en struktureret datapost, der angiver kildesiden. Åbne standarder gør dette muligt i praksis: schema.org-produkt-opmærkning på siden og Model Context Protocol, som lader agenter forespørge en datakilde direkte. Googles vejledning om AI-funktioner siger, at strukturerede data skal stemme overens med den synlige tekst på siden, og at særlig schema.org-opmærkning ikke er nødvendig for at blive vist i disse funktioner.
Vurder præcision, eksakt match og struktur, ikke kun genfinding. Et svar, der indeholder alle fakta plus tre opdigtede oplysninger, består en test af genfinding, men vildleder stadig brugeren.
Bedøm deterministisk, når der findes referencedata. En regelbaseret bedømmer, der sammenligner med strukturerede data, giver resultater, som kan gentages og efterprøves, og deler ikke modellens blinde vinkler.
Kør testen mere end én gang. Svarene varierer fra kørsel til kørsel, som Andrew Lissimore påpegede på dette websted i forbindelse med måling af AI-anbefalinger til shopping. I vores undersøgelse foretog vi ét opslag pr. parfume pr. motor, så variationen fra kørsel til kørsel er ukendt.
Begrænsninger ved undersøgelsen
Hver parfume blev forespurgt én gang pr. motor, på én dag, på engelsk og fra ét land. Claude og motorer uden websøgning blev ikke testet. En note, der mangler på en officiel liste, er ikke automatisk forkert, fordi parfumehuse nogle gange kun offentliggør de vigtigste noter; derfor er præcisionen en nedre grænse for korrektheden. Bedømmeren blev finjusteret på de samme 100 parfumer, og stikprøven består hovedsageligt af vestlige designer- og nicheparfumiehuse, hvis lister kunne verificeres.
Inden for disse begrænsninger var mønstret konsistent. Når tre motorer er enige, fortæller det dig, at en bestemt version af faktaene gentages vidt og bredt. Kun kilden fortæller dig, om den er aktuel. Så her er spørgsmålet til alle, hvis agent kontrollerer sig selv ved hjælp af en anden model: Hvad gør din agent, når to modeller giver det samme forkerte svar?












