Tankeledere
Når KI-motorer er enige, er det ikke et bevis: Dette viser 300 spørsmål om produktfakta

Viktige punkterSamstemthet mellom modeller måler hvor utbredt en versjon har blitt, snarere enn om den…
Vis mer
- Samstemthet mellom modeller måler hvor utbredt en versjon har blitt, snarere enn om den er gjeldende.
- Krysskontroll fanger opp avvik fra én motor, men kan ikke oppdage et svar som alle modeller deler.
- Et svar kan inneholde alle offisielle notater mens det plasserer notatene i feil nivåer.
Denne artikkelen bygger på funn fra Scentos undersøkelse fra oktober 2026 av hvordan ChatGPT, Gemini og Perplexity svarer på spørsmål om parfymenoter (fullstendig metode, data og begrensninger).
Et vanlig sikkerhetsnett i utformingen av KI-agenter er å spørre mer enn én modell, eller spørre den samme modellen flere ganger, og stole på svaret de blir enige om. Ideen har solid faglig forankring. Selvkonsistens, der flere resonnementsløp prøves ut og svaret som får flertall, beholdes, øker nøyaktigheten på referansetester for resonnering. Bruk av én modell til å vurdere en annen, undersøkt i Vurdering av LLM-er som dommere, gir høy grad av samsvar med menneskelige vurderere, selv om forfatterne også dokumenterer skjevheter knyttet til plassering, ordmengde og selvforsterkning.
Produktfakta egner seg godt til å teste om enighet betyr nøyaktighet, fordi det riktige svaret som regel er nedskrevet av selskapet som lager produktet. Vi testet dette på parfyme, og svaret var: bare delvis.
Slik ble testen gjennomført
Spørsmålet besto av én setning der vi ba om duftens toppnoter, hjertenoter og bunnoter. Den 20. oktober 2026 stilte vi spørsmålet om hver av 100 parfymer fra 45 parfymehus til ChatGPT, Gemini og Perplexity. Alle forespørslene ble kjørt én gang, på engelsk og fra en lokasjon i USA: 300 til sammen. Gemini ga 99 svar, fordi én forespørsel endte med en tjenestefeil.
For 91 parfymer var referansen notelisten parfymehuset publiserer på sitt eget nettsted. For de resterende 9 var den en liste som to autoriserte forhandlere var enige om. Vurderingen ble gjort av et skript som ikke brukte noen språkmodell. Skriptet koblet hver note i hvert svar til en ordliste med 411 noter og sammenlignet deretter resultatet med referansen. Da vi kontrollerte 20 vurderinger manuelt, var 17 helt like og 19 avvek med høyst én note. Kontrollen var ikke blind, fordi den som vurderte, kunne se resultatet fra skriptet.
Vi målte fire ting: dekning (hvor mange offisielle noter et svar inneholder), presisjon (hvor mange av notene det nevner, som er offisielle), eksakt samsvar (alle offisielle noter, uten noe ekstra) og plassering (om hver note står i riktig kategori: topp-, hjerte- eller bunnoter).
Funn 1: Motorene er enige om hvilke noter som finnes
Når det gjelder dekning, virker de tre motorene nesten identiske. Median dekning var 1,00 for hver av dem. ChatGPT ga alle offisielle noter i 82 % av svarene, Perplexity i 78 % og Gemini i 69 %.
Det var langt sjeldnere at de var enige om hele svaret. Av de 99 parfymene som alle tre motorene svarte om, ga alle tre samtlige offisielle noter for 59. Alle tre samsvarte nøyaktig med den offisielle listen for bare 39. Minst én motor ga et helt korrekt svar for 79, mens ingen av dem gjorde det for 20 parfymer.
I omtrent ett av fem tilfeller (20 av de 99 parfymene) ga alle tre motorene samtlige offisielle noter, men minst én av dem la også til noter som ikke står på listen. En kontroll av dekningen ville ha godkjent alle tre svarene.
Funn 2: Felles svar består alle konsensuskontroller
De mest lærerike resultatene var dem motorene hadde til felles.
For Jean Paul Gaultier Le Male Elixir oppgir de to forhandlerne som er enige, tre noter: lavendel som toppnote, tonkabønne som hjertenote og benzoin som bunnnote. ChatGPT, Gemini og Perplexity laget alle en identisk pyramide med sju noter. Hvert svar inneholdt alle de tre referansenotene, plasserte tonkabønne og benzoin i hverandres kategorier og la til fire noter til. Tre separate motorer, ett identisk svar – og svaret avviker fra referansen på de samme stedene.
For Viktor&Rolf Flowerbomb oppgir parfymehuset fire noter. Gemini og Perplexity ga begge den samme pyramiden med 11 noter, utelot én offisiell note og la til åtte. Perplexity påpekte deretter i svaret sitt at merkets nåværende beskrivelse fremhever de fire offisielle notene, så modellen tok med begge versjonene og presenterte den eldre først.
Dataene våre kan ikke si hvorfor svarene er like. Men det praktiske poenget er det samme uansett årsak. Når systemer bygger på den samme mengden nettinnhold, måler en flertallsavgjørelse hvor utbredt en versjon er, ikke om den er oppdatert. Enighet mellom dem er et svakt tegn på at svaret samsvarer med det merket selv publiserer i dag.
Funn 3: Avvik fra én motor er de enkle å oppdage
Andre ekstra noter forekom bare hos én motor, og det er nettopp slike avvik en sammenligning fanger opp. I 32 % av svarene sine la Gemini til minst én note som ingen av de to andre motorene nevnte, mot 10 % for ChatGPT og 11 % for Perplexity.
For Prada Infusion de Vétiver oppgir parfymehuset fire noter. ChatGPT og Perplexity ga nøyaktig disse fire, på nøyaktig riktig sted. Gemini ga tolv, deriblant åtte som ingen annen motor oppga, med en presisjon på 0,33. For Rochas Eau de Rochas samsvarte Perplexitys svar nøyaktig med listen på ti noter, mens Gemini ga 18 noter, hvorav ti ikke ble nevnt av noen annen motor.
Kryssjekking fungerer godt her: Et avvik skiller seg ut når to svar er enige. Dette er asymmetrien utviklere bør ha i mente. Uenighet er et nyttig varselsignal. Enighet er ikke et kvalitetsstempel.
Funn 4: Riktige fakta, feil struktur
Noen svar hadde de riktige duftnotene på feil plass. For Montblanc Explorer fant ChatGPT seks av de ni offisielle notene, men bare to av disse seks var plassert i riktig kategori, noe som gir en plasseringsnøyaktighet på 33 %. En kontroll som bare spør om en note forekommer et eller annet sted i svaret, ville ikke oppdaget at fire av de seks var i feil kategori.
For enhver agent som omsetter produktfakta til beslutninger, har strukturen betydning. Det samme gjelder størrelser, kompatibilitet, dosering og ingredienser i andre kategorier. En evaluering som bare kontrollerer om faktaene forekommer et eller annet sted i svaret, vil overse denne typen feil.
Et mønster etter produkttype
Svar om designerparfymer inneholdt oftere duftnoter som ikke sto på den offisielle listen, enn svar om nisjeparfymer, på alle tre motorene. Forskjellene var på 22 til 32 prosentpoeng. ChatGPT viste det største spriket: Fire av ti svar om designerparfymer inneholdt minst én note som ikke sto på listen, mot færre enn ett av ti svar om nisjeparfymer.
En kort offisiell liste gir en modell større rom til å legge til noter. Derfor kontrollerte vi for listelengde ved å slå sammen svarene fra alle tre motorene og dele dem inn i tre grupper. Svar om designerparfymer inneholdt fortsatt oftere ekstra noter i hver gruppe: 70 % mot 31 % for lister med fem noter eller færre (27 og 29 svar), 61 % mot 21 % for seks til åtte noter (51 og 42), og 26 % mot 13 % for ni eller flere (72 og 77). Utvalgene er små, og fordi hver gruppe kom fra sitt eget sett med parfymehus og kildesider, kan vi ikke fastslå årsaken. Mønsteret tyder imidlertid på at nøyaktigheten varierer mellom produktsegmenter, og at ett enkelt tall for en hel katalog kan skjule dette.
Hva dette betyr for team som bygger handleagenter
Bruk enighet til å finne uenighet, ikke til å bekrefte sannheten. Å sammenligne modeller er en rimelig måte å flagge enkeltstående tillegg på. Det kan ikke avdekke et svar som modellene er enige om, så dette bør ikke være den siste kontrollen.
Forankre fakta du eier, i en kilde du eier. Når en faktapåstand har en eier, for eksempel en produsents spesifikasjon, er den mest pålitelige metoden å hente den fra en strukturert oppføring som viser til kildesiden. Åpne standarder gjør dette praktisk mulig: Product-merking fra schema.org på siden og Model Context Protocol, som lar agenter spørre en datakilde direkte. Googles veiledning om KI-funksjoner sier at strukturerte data skal samsvare med den synlige teksten på siden, og at det ikke er nødvendig med særskilt schema.org-merking for å vises i disse funksjonene.
Vurder presisjon, eksakt samsvar og struktur, ikke bare gjenfinning. Et svar som inneholder alle faktaene pluss tre oppdiktede påstander, består en test av gjenfinning, men villeder fortsatt brukeren.
Bruk deterministisk vurdering der referansedata finnes. En regelbasert vurdering opp mot strukturerte data kan gjentas og etterprøves, og den har ikke de samme blindsonene som en modell.
Kjør testen mer enn én gang. Svarene varierer fra kjøring til kjøring, noe Andrew Lissimore påpekte her på nettstedet i forbindelse med måling av KI-anbefalinger for shopping. I studien vår gjorde vi ett oppslag per parfyme per motor, så vi vet ikke hvor mye resultatene varierer fra kjøring til kjøring.
Studiens begrensninger
Hver parfyme ble undersøkt én gang per motor, på én dag, på engelsk og fra ett land. Claude og motorer uten nettsøk ble ikke testet. En note som mangler på en offisiell liste, er ikke automatisk feil, fordi parfymehus noen ganger bare publiserer de viktigste notene. Presisjon er derfor en nedre grense for korrekthet. Vurderingsmetoden ble tilpasset de samme 100 parfymene, og utvalget består for det meste av vestlige designer- og nisjeparfymehus med lister som kunne verifiseres.
Innenfor disse begrensningene var mønsteret konsekvent. Når tre motorer er enige, forteller det deg at en versjon av faktaene gjentas mye. Bare kilden forteller deg om den er oppdatert. Så her er spørsmålet til alle som lar agenten sin kontrollere seg mot en annen modell: Hva gjør agenten din når to modeller gir det samme gale svaret?












