Leaders d’opinion
Quand les moteurs d’IA sont d’accord, ce n’est pas une preuve : ce que montrent 300 requêtes factuelles sur des produits

Points clésL'accord entre les modèles mesure l'ampleur de la diffusion d'une version plutôt que…
Voir plus
- L'accord entre les modèles mesure l'ampleur de la diffusion d'une version plutôt que son actualité.
- La vérification croisée détecte les valeurs aberrantes d'un seul moteur mais ne peut pas détecter une réponse que tous les modèles partagent.
- Une réponse peut contenir toutes les notes officielles tout en plaçant ces notes dans les mauvais niveaux.
Cet article s’appuie sur les conclusions de l’étude menée par Scento en octobre 2026 sur la façon dont ChatGPT, Gemini et Perplexity répondent aux questions sur les notes de parfum (méthode complète, données et limites).
Une mesure de protection courante dans la conception d’agents d’IA consiste à interroger plusieurs modèles, ou le même modèle plusieurs fois, puis à se fier à la réponse sur laquelle ils s’accordent. Cette approche repose sur des bases solides. La cohérence interne, qui consiste à échantillonner plusieurs raisonnements et à retenir la réponse majoritaire, améliore la précision sur les tests de raisonnement. L’utilisation d’un modèle pour en évaluer un autre, étudiée dans Évaluer les LLM comme juges, obtient un fort taux de concordance avec les évaluateurs humains, même si les auteurs relèvent également des biais liés à la position, à la verbosité et à l’autovalorisation.
Les faits concernant les produits se prêtent bien à une vérification de la fiabilité de ces accords, car la bonne réponse est généralement consignée par l’entreprise qui fabrique le produit. Nous avons mené le test sur des parfums, et le résultat est le suivant : seulement en partie.
Déroulement du test
La consigne consistait en une seule phrase demandant les notes de tête, de cœur et de fond d’un parfum. Nous l’avons soumise pour chacun de 100 parfums, issus de 45 maisons de parfumerie, à ChatGPT, Gemini et Perplexity le 20 octobre 2026. Toutes les requêtes ont été exécutées une seule fois, en anglais, depuis un emplacement aux États-Unis : 300 au total. Gemini a fourni 99 réponses, un appel ayant abouti à une erreur de service.
Pour 91 parfums, la référence était la liste des notes publiée par la maison sur son propre site. Pour les 9 autres, il s’agissait d’une liste sur laquelle s’accordaient deux détaillants agréés. L’évaluation a été réalisée par un script qui n’utilisait aucun modèle de langage. Celui-ci a associé chaque note de chaque réponse à une entrée d’un glossaire de 411 notes, puis a comparé le résultat à la référence. Lors d’une vérification manuelle de 20 évaluations, 17 correspondaient exactement et 19 présentaient un écart d’une note au maximum. Cette vérification n’a pas été effectuée à l’aveugle, car la personne chargée de l’examen pouvait voir le résultat du script.
Nous avons mesuré quatre éléments : le rappel (le nombre de notes officielles présentes dans une réponse), la précision (le nombre de notes citées qui sont officielles), la correspondance exacte (toutes les notes officielles, sans aucun ajout) et le placement (la position de chaque note dans la bonne catégorie — tête, cœur ou fond).
Constat 1 : les moteurs s’accordent sur les notes présentes
Pour le rappel, les trois moteurs semblent presque interchangeables. Le rappel médian était de 1,00 pour chacun. ChatGPT a fourni toutes les notes officielles dans 82 % de ses réponses, Perplexity dans 78 % et Gemini dans 69 %.
Les réponses entièrement concordantes étaient beaucoup plus rares. Sur les 99 parfums pour lesquels les trois moteurs ont répondu, les trois ont fourni toutes les notes officielles pour 59 d’entre eux. Ils n’ont tous les trois reproduit exactement la liste officielle que pour 39 parfums. Au moins un moteur a donné la réponse exacte pour 79 parfums, et aucun ne l’a fait pour 20 d’entre eux.
Dans environ un cas sur cinq (20 des 99 parfums), les trois moteurs ont fourni toutes les notes officielles, mais au moins l’un d’eux a aussi ajouté des notes absentes de la liste. Une vérification du rappel aurait validé les trois réponses.
Constat 2 : les réponses partagées passent tous les contrôles de consensus
Les résultats les plus instructifs étaient ceux sur lesquels les moteurs s’accordaient.
Pour Jean Paul Gaultier Le Male Elixir, les deux détaillants qui s’accordent donnent trois notes : la lavande en tête, la fève tonka en cœur et le benjoin en fond. ChatGPT, Gemini et Perplexity ont chacun produit une pyramide identique de sept notes. Chacun a inclus les trois notes de référence, placé la fève tonka et le benjoin dans les catégories opposées et ajouté quatre autres notes. Trois moteurs différents, une réponse identique, et cette réponse s’écarte de la référence aux mêmes endroits.
Pour Viktor&Rolf Flowerbomb, la maison répertorie quatre notes. Gemini et Perplexity ont tous deux fourni la même pyramide de 11 notes, omettant une note officielle et en ajoutant huit. Perplexity a ensuite précisé que la description actuelle de la marque mettait en avant les quatre notes officielles ; il a donc conservé les deux versions et présenté l’ancienne en premier.
Nos données ne permettent pas de dire pourquoi les réponses concordent. Mais le constat pratique ne dépend pas de la cause. Lorsque les systèmes s’appuient sur le même ensemble de textes trouvés sur le Web, un vote majoritaire indique à quel point une version s’est répandue, et non si elle est à jour. Leur accord constitue un indice peu probant que la réponse correspond à ce que la marque publie elle-même aujourd’hui.
Constat 3 : les divergences propres à un seul moteur sont les plus faciles à repérer
D’autres notes supplémentaires n’apparaissaient que dans les réponses d’un seul moteur ; c’est précisément ce que la comparaison permet de repérer. Dans 32 % de ses réponses, Gemini a ajouté au moins une note citée par aucun des deux autres moteurs, contre 10 % pour ChatGPT et 11 % pour Perplexity.
Pour Prada Infusion de Vétiver, la maison répertorie quatre notes. ChatGPT et Perplexity ont donné exactement ces quatre notes, aux bons emplacements. Gemini en a donné douze, dont huit qu’aucun autre moteur n’avait cité, pour une précision de 0,33. Pour Rochas Eau de Rochas, Perplexity a reproduit exactement la liste de dix notes, tandis que Gemini en a donné 18, dont dix qu’aucun autre moteur n’avait cité.
La vérification croisée fonctionne bien dans ce cas : une réponse divergente ressort face à deux réponses concordantes. C’est cette asymétrie que les concepteurs devraient garder à l’esprit. Un désaccord est un signal d’alerte utile. Un accord n’est pas un certificat.
Constat 4 : des faits exacts, une structure erronée
Certaines réponses citaient les bonnes notes, mais au mauvais endroit. Pour Montblanc Explorer, ChatGPT a retrouvé six des neuf notes officielles, mais seules deux de ces six notes figuraient au bon niveau, soit une précision de classement de 33 %. Une vérification qui demande seulement si une note apparaît quelque part dans la réponse ne détecterait pas que quatre de ces six notes sont au mauvais niveau.
Pour tout agent qui transforme des informations sur les produits en décisions, la structure est porteuse de sens. Il en va de même pour les tailles, la compatibilité, la posologie ou les ingrédients dans d’autres catégories. Une évaluation qui vérifie uniquement si les informations figurent quelque part dans la réponse ne détectera pas ce type d’erreur.
Une tendance selon le type de produit
Sur les trois moteurs, les réponses concernant les parfums de créateur mentionnaient plus souvent des notes absentes de la liste que celles concernant les parfums de niche, avec des écarts de 22 à 32 points de pourcentage. ChatGPT affichait l’écart le plus marqué : quatre réponses sur dix concernant les parfums de créateur incluaient au moins une note absente de la liste, contre moins d’une sur dix pour les parfums de niche.
Une liste officielle courte laisse davantage de latitude à un moteur pour ajouter des notes. Nous avons donc tenu compte de la longueur des listes en regroupant les réponses des trois moteurs et en les répartissant en trois catégories. Les réponses sur les parfums de créateur comportaient toujours plus souvent des ajouts dans chacune d’elles : 70 % contre 31 % pour les listes de cinq notes ou moins (27 et 29 réponses), 61 % contre 21 % pour les listes de six à huit notes (51 et 42), et 26 % contre 13 % pour celles de neuf notes ou plus (72 et 77). Les échantillons sont petits et, comme chaque groupe provenait de son propre ensemble de maisons et de pages sources, nous ne pouvons pas isoler la cause. Cette tendance laisse toutefois penser que la précision varie selon le segment de produits et qu’un chiffre unique pour un catalogue entier peut masquer ces différences.
Ce que cela signifie pour les équipes qui développent des agents d’achat
Servez-vous du consensus pour repérer les désaccords, pas pour confirmer la vérité. Comparer les modèles est un moyen peu coûteux de repérer les ajouts isolés. Cela ne permet pas de détecter une réponse sur laquelle les modèles s’accordent ; cette vérification ne doit donc pas être la dernière.
Fondez les faits dont vous êtes responsable sur une source dont vous êtes responsable. Lorsqu’un fait relève d’un responsable, comme une spécification du fabricant, la méthode la plus fiable consiste à le récupérer dans une fiche structurée qui indique la page source. Les normes ouvertes facilitent cette démarche : le balisage Product de schema.org sur la page et le Model Context Protocol, qui permet aux agents d’interroger directement une source de données. Les recommandations de Google sur les fonctionnalités d’IA indiquent que les données structurées doivent correspondre au texte visible sur la page et qu’aucun balisage schema.org particulier n’est nécessaire pour apparaître dans ces fonctionnalités.
Évaluez la précision, la correspondance exacte et la structure, pas seulement le rappel. Une réponse qui contient tous les faits ainsi que trois éléments inventés réussit un test de rappel, mais induit tout de même l’utilisateur en erreur.
Évaluez de façon déterministe lorsqu’il existe des données de référence. Une évaluation fondée sur des règles et comparée à des données structurées est reproductible et vérifiable, et ne partage pas les angles morts d’un modèle.
Effectuez plusieurs essais. Les réponses varient d’un essai à l’autre, comme l’a souligné Andrew Lissimore sur ce site à propos de la mesure des recommandations d’achat générées par l’IA. Dans notre étude, nous avons effectué une seule requête par parfum et par moteur ; la variation d’un essai à l’autre reste donc inconnue.
Limites de l’étude
Une seule requête a été effectuée pour chaque parfum et chaque moteur, sur une journée, en anglais et depuis un seul pays. Claude et les moteurs sans recherche sur le Web n’ont pas été testés. L’absence d’une note dans une liste officielle ne signifie pas automatiquement qu’elle est erronée, car les maisons ne publient parfois que les notes principales ; la précision constitue donc une limite inférieure de l’exactitude. L’évaluateur a été ajusté sur les mêmes 100 parfums, et l’échantillon est composé en majorité de maisons occidentales de parfums de créateur et de niche dont les listes pouvaient être vérifiées.
Dans ces limites, la tendance était constante. Lorsque trois moteurs sont d’accord, cela indique qu’une version des faits est largement reprise. Seule la source permet de savoir si elle est à jour. Voici donc la question que devrait se poser toute personne dont l’agent vérifie ses réponses auprès d’un deuxième modèle : que fait votre agent lorsque deux modèles donnent la même réponse erronée ?












