Thought leaders
Als AI-systemen het eens zijn, is dat geen bewijs: wat 300 vragen over productfeiten laten zien

Belangrijkste puntenOvereenstemming tussen modellen meet hoe wijd een versie zich heeft verspreid, niet of…
Meer weergeven
- Overeenstemming tussen modellen meet hoe wijd een versie zich heeft verspreid, niet of deze actueel is.
- Kruiscontrole vangt uitschieters van één engine op, maar kan geen antwoord detecteren dat alle modellen delen.
- Een antwoord kan elke officiële noot bevatten terwijl het die noten in de verkeerde lagen plaatst.
Dit artikel is gebaseerd op de bevindingen uit Scento’s onderzoek van oktober 2026 naar de manier waarop ChatGPT, Gemini en Perplexity vragen over parfumnoten beantwoorden (volledige methode, gegevens en beperkingen).
Een veelgebruikte veiligheidsmaatregel bij het ontwerpen van AI-agenten is om meerdere modellen, of hetzelfde model meerdere keren, een vraag te stellen en te vertrouwen op het antwoord waarover ze het eens zijn. Dat idee heeft een stevige wetenschappelijke basis. Zelfconsistentie, waarbij meerdere redeneertrajecten worden gegenereerd en het meerderheidsantwoord wordt behouden, verbetert de nauwkeurigheid op redeneerbenchmarks. Eén model een ander model laten beoordelen, zoals onderzocht in LLM’s beoordelen als beoordelaars, leidt tot een hoge overeenstemming met menselijke beoordelaars, al documenteren de auteurs ook vertekening door de volgorde, breedsprakigheid en zelfversterking.
Productfeiten zijn geschikt om te testen of overeenstemming ook nauwkeurigheid betekent, omdat het juiste antwoord doorgaans is vastgelegd door het bedrijf dat het product maakt. We testten dit met parfum, en het antwoord was: slechts gedeeltelijk.
Hoe de test werkte
De prompt bestond uit één zin waarin werd gevraagd naar de top-, hart- en basisnoten van een geur. Op 20 oktober 2026 stelden we die vraag voor elk van 100 parfums van 45 parfumhuizen aan ChatGPT, Gemini en Perplexity. Alle verzoeken werden één keer uitgevoerd, in het Engels en vanuit de VS: in totaal 300. Gemini gaf 99 antwoorden, omdat één verzoek eindigde met een servicefout.
Voor 91 parfums was de referentie de notenlijst die het parfumhuis op zijn eigen website publiceert. Voor de overige 9 was het een lijst waarover twee erkende verkopers het eens waren. De beoordeling werd uitgevoerd met een script dat helemaal geen taalmodel gebruikte. Het koppelde elke noot in elk antwoord aan een woordenlijst met 411 noten en vergeleek het resultaat vervolgens met de referentie. Toen we 20 beoordelingen handmatig controleerden, kwamen er 17 exact overeen en weken er 19 hooguit één noot af. Die controle was niet blind, omdat de beoordelaar het resultaat van het script kon zien.
We maten vier zaken: recall (hoeveel officiële noten een antwoord bevat), precisie (hoeveel van de genoemde noten officieel zijn), exacte overeenkomst (alle officiële noten en niets extra’s) en plaatsing (of elke noot in de juiste top-, hart- of basiscategorie staat).
Bevinding 1: de systemen zijn het eens over wat erin zit
Wat recall betreft lijken de drie systemen vrijwel onderling uitwisselbaar. De mediane recall was voor elk 1,00. ChatGPT gaf in 82% van de antwoorden elke officiële noot, Perplexity in 78% en Gemini in 69%.
Overeenstemming over het volledige antwoord kwam veel minder vaak voor. Van de 99 parfums waarop alle drie de systemen antwoordden, gaven ze er bij 59 alle officiële noten. Bij slechts 39 kwamen alle drie exact overeen met de officiële lijst. Bij 79 parfums gaf minstens één systeem een exact antwoord; bij 20 parfums geen enkel.
In ongeveer één op de vijf gevallen (20 van de 99 parfums) gaven alle drie de systemen elke officiële noot, maar voegde minstens één ervan ook noten toe die niet op de lijst staan. Een controle op basis van recall zou alle drie de antwoorden hebben goedgekeurd.
Bevinding 2: gedeelde antwoorden doorstaan elke consensuscontrole
De meest leerzame resultaten waren de antwoorden die de systemen met elkaar gemeen hadden.
Voor Jean Paul Gaultier Le Male Elixir noemen de twee verkopers die het met elkaar eens zijn drie noten: lavendel in de top, tonkaboon in het hart en benzoë in de basis. ChatGPT, Gemini en Perplexity produceerden elk dezelfde piramide met zeven noten. Alle drie bevatten de drie referentienoten, plaatsten tonkaboon en benzoë in elkaars categorieën en voegden nog vier noten toe. Drie afzonderlijke systemen, één identiek antwoord, en dat antwoord wijkt op dezelfde punten af van de referentie.
Voor Viktor&Rolf Flowerbomb vermeldt het parfumhuis vier noten. Gemini en Perplexity gaven allebei dezelfde piramide met 11 noten: één officiële noot ontbrak en er werden er acht toegevoegd. Perplexity merkte vervolgens op dat de huidige beschrijving van het merk de vier officiële noten benadrukt. Het nam daarom beide versies op, maar zette de oudere voorop.
Onze gegevens kunnen niet verklaren waarom de antwoorden overeenkomen. Maar het praktische punt hangt niet af van de oorzaak. Wanneer systemen putten uit dezelfde verzameling webteksten, meet een meerderheidsoordeel hoe wijd een versie is verspreid, niet of die actueel is. Overeenstemming tussen die systemen is zwak bewijs dat het antwoord overeenkomt met wat het merk zelf vandaag publiceert.
Bevinding 3: uitschieters van één systeem zijn gemakkelijk te herkennen
Andere extra noten kwamen alleen voor bij één systeem, en juist zulke gevallen vallen op bij een vergelijking. In 32% van de antwoorden voegde Gemini minstens één noot toe die geen van de andere systemen noemde, tegenover 10% voor ChatGPT en 11% voor Perplexity.
Voor Prada Infusion de Vétiver vermeldt het parfumhuis vier noten. ChatGPT en Perplexity gaven precies die vier, op precies de juiste plaatsen. Gemini gaf er twaalf, waaronder acht die geen enkel ander systeem noemde, met een precisie van 0,33. Voor Rochas Eau de Rochas kwam Perplexity exact overeen met de lijst van tien noten, terwijl Gemini 18 noten gaf, waarvan er tien door geen enkel ander systeem werden genoemd.
Hier werkt kruiscontrole goed: een uitschieter valt op naast twee antwoorden die overeenkomen. Dat is de asymmetrie die ontwikkelaars in gedachten moeten houden. Meningsverschil is een nuttig alarmsignaal. Overeenstemming is geen bewijs van juistheid.
Bevinding 4: juiste feiten, verkeerde structuur
Sommige antwoorden bevatten de juiste geurnoten, maar op de verkeerde plaats. Voor Montblanc Explorer kwam ChatGPT overeen met zes van de negen officiële geurnoten, maar daarvan stonden er slechts twee in de juiste geurfase: een plaatsingsnauwkeurigheid van 33%. Een controle die alleen nagaat of een geurnoot ergens in het antwoord voorkomt, zou niet zien dat vier van de zes in de verkeerde geurfase staan.
Voor elke agent die productgegevens omzet in beslissingen, is de structuur betekenisvol. Dat geldt ook voor maten, compatibiliteit, dosering en ingrediënten in andere categorieën. Een evaluatie die alleen controleert of de feiten ergens in het antwoord voorkomen, mist deze categorie fouten.
Een patroon per producttype
Antwoorden over designerparfums bevatten bij alle drie de engines vaker geurnoten die niet op de officiële lijst stonden dan antwoorden over nicheparfums, met verschillen van 22 tot 32 procentpunten. Bij ChatGPT was het verschil het grootst: vier op de tien antwoorden over designerparfums bevatten minstens één geurnoot die niet op de lijst stond, tegenover minder dan één op de tien antwoorden over nicheparfums.
Een korte officiële lijst geeft een engine meer ruimte om geurnoten toe te voegen. Daarom hielden we rekening met de lijstlengte door de antwoorden van alle drie de engines samen te nemen en in drie categorieën onder te verdelen. In elke categorie bevatten antwoorden over designerparfums nog steeds vaker extra geurnoten: 70% tegenover 31% bij lijsten met vijf geurnoten of minder (27 en 29 antwoorden), 61% tegenover 21% bij lijsten met zes tot acht geurnoten (51 en 42), en 26% tegenover 13% bij lijsten met negen of meer geurnoten (72 en 77). De steekproeven zijn klein en omdat elke groep afkomstig was uit een eigen verzameling parfumhuizen en bronpagina’s, kunnen we de oorzaak niet vaststellen. Het patroon wijst er wel op dat de nauwkeurigheid per productsegment verschilt en dat één cijfer voor een hele catalogus die verschillen kan verhullen.
Wat dit betekent voor teams die shoppingagents bouwen
Gebruik overeenstemming om meningsverschillen op te sporen, niet om de waarheid te bevestigen. Modellen vergelijken is een eenvoudige manier om toevoegingen te signaleren die maar één model doet. Zo ontdek je niet wanneer de modellen hetzelfde antwoord geven, dus dit mag niet de laatste controle zijn.
Onderbouw gegevens over je eigen producten met een bron die je zelf beheert. Als een gegeven een eigenaar heeft, zoals een specificatie van de fabrikant, is het betrouwbaarste om het op te halen uit een gestructureerd record dat de bronpagina vermeldt. Open standaarden maken dit praktisch: Product-markering van schema.org op de pagina en het Model Context Protocol, waarmee agents rechtstreeks een gegevensbron kunnen raadplegen. De richtlijnen van Google voor AI-functies stellen dat gestructureerde gegevens moeten overeenkomen met de zichtbare tekst op de pagina en dat er geen speciale schema.org-markering nodig is om in die functies te verschijnen.
Beoordeel precisie, exacte overeenstemming en structuur, niet alleen volledigheid. Een antwoord dat alle feiten én drie verzonnen feiten bevat, slaagt voor een volledigheidstest en misleidt de gebruiker nog steeds.
Beoordeel deterministisch wanneer referentiegegevens beschikbaar zijn. Een beoordelaar op basis van regels die wordt vergeleken met gestructureerde gegevens, levert herhaalbare en controleerbare resultaten op en heeft niet dezelfde blinde vlekken als een model.
Voer de test meer dan één keer uit. Antwoorden verschillen per uitvoering. Andrew Lissimore wees daar op deze site op in een artikel over het meten van AI-aanbevelingen voor aankopen. In ons onderzoek deden we één oproep per parfum per engine, dus we weten niet hoe sterk de resultaten van uitvoering tot uitvoering variëren.
Beperkingen van het onderzoek
Elk parfum werd per engine één keer bevraagd, op één dag, in het Engels en vanuit één land. Claude en engines zonder webzoekfunctie zijn niet getest. Een geurnoot die op een officiële lijst ontbreekt, is niet automatisch onjuist, omdat parfumhuizen soms alleen de belangrijkste geurnoten publiceren. De precisie is daarom een ondergrens voor de juistheid. De beoordelaar is afgestemd op dezelfde 100 parfums en de steekproef bestaat voornamelijk uit westerse designer- en nicheparfumhuizen waarvan de lijsten konden worden geverifieerd.
Binnen die beperkingen was het patroon consistent. Als drie engines het met elkaar eens zijn, weet je dat een versie van de feiten vaak wordt herhaald. Alleen de bron vertelt je of die versie actueel is. Dus hier is de vraag voor iedereen wiens agent zichzelf controleert aan de hand van een tweede model: wat doet je agent als twee modellen hetzelfde verkeerde antwoord geven?












