Vordenker
Wenn KI-Systeme übereinstimmen, ist das kein Beweis: Was 300 Abfragen zu Produktfakten zeigen

Wichtige PunkteÜbereinstimmung zwischen Modellen misst, wie weit sich eine Version verbreitet hat, und…
Mehr anzeigen
- Übereinstimmung zwischen Modellen misst, wie weit sich eine Version verbreitet hat, und nicht, ob sie aktuell ist.
- Gegenseitige Prüfung erkennt Ausreißer eines einzelnen Motors, kann aber keine Antwort erkennen, die alle Modelle teilen.
- Eine Antwort kann jede offizielle Anmerkung enthalten, während sie diese Anmerkungen in die falschen Stufen einordnet.
Dieser Artikel basiert auf den Ergebnissen einer Studie von Scento aus dem Oktober 2026 dazu, wie ChatGPT, Gemini und Perplexity Fragen zu Parfümnoten beantworten (vollständige Methodik, Daten und Einschränkungen).
Ein häufiges Sicherheitsnetz beim Entwurf von KI-Agenten besteht darin, mehrere Modelle oder dasselbe Modell mehrmals zu befragen und der Antwort zu vertrauen, auf die sie sich einigen. Dieser Ansatz hat eine solide wissenschaftliche Grundlage. Selbstkonsistenz, bei der mehrere Gedankengänge untersucht und die Mehrheitsantwort übernommen wird, verbessert die Genauigkeit bei Benchmarks zum logischen Schlussfolgern. Ein Modell ein anderes bewerten zu lassen, wie in der Studie LLMs als Beurteiler bewerten untersucht, führt zu einer hohen Übereinstimmung mit menschlichen Bewertenden. Die Autorinnen und Autoren dokumentieren jedoch auch Verzerrungen durch die Position, die Ausführlichkeit und die Selbstaufwertung.
Produktangaben eignen sich gut, um zu prüfen, ob Übereinstimmung auch Genauigkeit bedeutet, denn die richtige Antwort ist üblicherweise vom Produkthersteller dokumentiert. Wir haben das anhand von Parfüms getestet. Das Ergebnis: nur teilweise.
So lief der Test ab
Die Eingabeaufforderung bestand aus einem einzigen Satz, in dem nach den Kopf-, Herz- und Basisnoten eines Duftes gefragt wurde. Am 20. Oktober 2026 stellten wir diese Frage zu jedem von 100 Parfüms aus dem Sortiment von 45 Häusern an ChatGPT, Gemini und Perplexity. Jede Abfrage wurde einmal auf Englisch und von einem Standort in den USA aus durchgeführt: insgesamt 300 Abfragen. Gemini lieferte 99 Antworten, da ein Aufruf mit einem Dienstfehler endete.
Bei 91 Parfüms diente die Notenliste als Referenz, die das jeweilige Haus auf seiner eigenen Website veröffentlicht. Bei den übrigen 9 war es eine Liste, auf die sich zwei autorisierte Händler einigten. Die Bewertung erfolgte durch ein Skript, das keinerlei Sprachmodell verwendete. Es ordnete jede Note in den Antworten einem Glossar mit 411 Noten zu und verglich das Ergebnis anschließend mit der Referenz. Bei einer manuellen Überprüfung von 20 Bewertungen stimmten 17 genau und 19 bis auf eine Note überein. Diese Überprüfung war nicht verblindet, da die prüfende Person das Ergebnis des Skripts sehen konnte.
Wir maßen vier Kennzahlen: den Recall (wie viele offizielle Noten eine Antwort enthält), die Präzision (wie viele der genannten Noten offiziell sind), die exakte Übereinstimmung (alle offiziellen Noten und keine weiteren) und die Platzierung (ob jede Note in der richtigen Kopf-, Herz- oder Basisnoten-Kategorie steht).
Erkenntnis 1: Die Systeme stimmen darin überein, welche Noten vorkommen
Beim Recall sind die drei Systeme fast austauschbar. Der Median des Recalls lag bei allen bei 1,00. ChatGPT nannte in 82 % der Antworten jede offizielle Note, Perplexity in 78 % und Gemini in 69 %.
Bei der Übereinstimmung mit der vollständigen Antwort war das deutlich seltener der Fall. Von den 99 Parfüms, zu denen alle drei Systeme eine Antwort gaben, nannten alle drei bei 59 jede offizielle Note. Bei nur 39 stimmten alle drei exakt mit der offiziellen Liste überein. Bei 79 war mindestens ein System exakt, bei 20 keines.
Bei etwa einem von fünf Fällen (20 der 99 Parfüms) nannten alle drei Systeme jede offizielle Note, doch mindestens eines fügte auch Noten hinzu, die nicht auf der Liste standen. Eine Überprüfung des Recalls hätte alle drei Antworten durchgewinkt.
Erkenntnis 2: Gemeinsame Antworten bestehen jede Konsensprüfung
Am aufschlussreichsten waren die Ergebnisse, bei denen sich die Systeme einig waren.
Für Jean Paul Gaultier Le Male Elixir nennen die beiden übereinstimmenden Händler drei Noten: Lavendel als Kopfnote, Tonkabohne als Herznote und Benzoe als Basisnote. ChatGPT, Gemini und Perplexity erstellten jeweils dieselbe Pyramide mit sieben Noten. Jedes System nannte alle drei Referenznoten, ordnete Tonkabohne und Benzoe jeweils der Kategorie der anderen Note zu und fügte vier weitere Noten hinzu. Drei verschiedene Systeme, eine identische Antwort – und sie weicht an denselben Stellen von der Referenz ab.
Für Viktor&Rolf Flowerbomb führt das Haus vier Noten auf. Gemini und Perplexity lieferten beide dieselbe Pyramide mit 11 Noten, ließen eine offizielle Note aus und fügten acht hinzu. In seiner Antwort merkte Perplexity anschließend an, dass die aktuelle Beschreibung der Marke die vier offiziellen Noten hervorhebt. Das System berücksichtigte also beide Versionen, stellte aber die ältere an den Anfang.
Unsere Daten geben keinen Aufschluss darüber, warum die Antworten übereinstimmen. Für die praktische Schlussfolgerung spielt die Ursache jedoch keine Rolle. Wenn Systeme auf denselben Bestand an Webtexten zurückgreifen, zeigt eine Mehrheitsentscheidung, wie weit verbreitet eine Version ist, nicht, ob sie aktuell ist. Die Übereinstimmung zwischen den Systemen ist ein schwacher Hinweis darauf, dass die Antwort dem entspricht, was die Marke heute selbst veröffentlicht.
Erkenntnis 3: Ausreißer einzelner Systeme sind leicht zu erkennen
Andere zusätzliche Noten kamen nur bei einem einzigen System vor – genau solche Abweichungen lassen sich durch einen Vergleich erkennen. In 32 % seiner Antworten fügte Gemini mindestens eine Note hinzu, die keines der beiden anderen Systeme nannte. Bei ChatGPT waren es 10 %, bei Perplexity 11 %.
Für Prada Infusion de Vétiver führt das Haus vier Noten auf. ChatGPT und Perplexity gaben genau diese vier Noten an den jeweils richtigen Stellen wieder. Gemini nannte zwölf, darunter acht, die kein anderes System aufführte; die Präzision lag bei 0,33. Bei Rochas Eau de Rochas stimmte Perplexity exakt mit der Liste aus zehn Noten überein, während Gemini 18 Noten nannte, von denen zehn bei keinem anderen System vorkamen.
Hier funktioniert der Abgleich gut: Ein Ausreißer fällt im Vergleich zu zwei übereinstimmenden Antworten auf. Diese Asymmetrie sollten Entwicklerinnen und Entwickler im Blick behalten. Uneinigkeit ist ein nützliches Warnsignal. Übereinstimmung ist kein Gütesiegel.
Erkenntnis 4: Richtige Fakten, falsche Struktur
Manche Antworten enthielten die richtigen Duftnoten, ordneten sie aber falsch zu. Bei Montblanc Explorer stimmte ChatGPT mit sechs der neun offiziellen Duftnoten überein, doch nur zwei davon waren der richtigen Kategorie zugeordnet. Die Zuordnungsgenauigkeit lag somit bei 33 %. Eine Prüfung, die lediglich danach fragt, ob eine Duftnote irgendwo in der Antwort vorkommt, würde nicht erkennen, dass vier der sechs der falschen Kategorie zugeordnet sind.
Für jeden Agenten, der Produktdaten in Entscheidungen umwandelt, ist die Struktur bedeutungstragend. Dasselbe gilt in anderen Kategorien für Größen, Kompatibilität, Dosierung oder Inhaltsstoffe. Eine Bewertung, die nur prüft, ob die Fakten irgendwo in der Antwort vorkommen, übersieht diese Art von Fehler.
Ein Muster nach Produkttyp
Bei allen drei Engines enthielten Antworten zu Designerparfüms häufiger Duftnoten, die nicht auf der offiziellen Liste standen, als Antworten zu Nischenparfüms. Der Unterschied betrug 22 bis 32 Prozentpunkte. Bei ChatGPT war die Diskrepanz am größten: Vier von zehn Antworten zu Designerparfüms enthielten mindestens eine nicht aufgeführte Duftnote, gegenüber weniger als einer von zehn Antworten zu Nischenparfüms.
Eine kurze offizielle Liste lässt einer Engine mehr Spielraum, zusätzliche Duftnoten hinzuzufügen. Deshalb berücksichtigten wir die Listenlänge, indem wir die Antworten aller drei Engines zusammenfassten und in drei Gruppen einteilten. In jeder Gruppe enthielten Antworten zu Designerparfüms weiterhin häufiger zusätzliche Duftnoten: Bei Listen mit höchstens fünf Duftnoten waren es 70 % gegenüber 31 % (27 beziehungsweise 29 Antworten), bei sechs bis acht Duftnoten 61 % gegenüber 21 % (51 beziehungsweise 42) und bei neun oder mehr Duftnoten 26 % gegenüber 13 % (72 beziehungsweise 77). Die Stichproben sind klein, und da jede Gruppe aus einer eigenen Auswahl von Häusern und Quellseiten stammte, können wir die Ursache nicht isolieren. Das Muster deutet jedoch darauf hin, dass die Genauigkeit je nach Produktsegment variiert und eine einzelne Kennzahl für ein gesamtes Sortiment diese Unterschiede verbergen kann.
Was das für Teams bedeutet, die Einkaufsagenten entwickeln
Nutzen Sie Übereinstimmungen, um Abweichungen zu finden, nicht um die Wahrheit zu bestätigen. Modelle miteinander zu vergleichen, ist eine einfache Möglichkeit, einzelne Ergänzungen aufzuspüren. Eine Antwort, bei der sich die Modelle einig sind, lässt sich so jedoch nicht erkennen. Der Vergleich sollte daher nicht die letzte Prüfung sein.
Stützen Sie eigene Fakten auf eine eigene Quelle. Wenn eine Angabe einer bestimmten Stelle zuzuordnen ist, etwa einer Herstellerangabe, ist es am zuverlässigsten, sie aus einem strukturierten Datensatz abzurufen, der auf die Quellseite verweist. Offene Standards machen das praktikabel: Produkt-Markup von schema.org auf der Seite sowie das Model Context Protocol, über das Agenten eine Datenquelle direkt abfragen können. Die Hinweise zu KI-Funktionen von Google besagen, dass strukturierte Daten mit dem sichtbaren Text auf der Seite übereinstimmen sollten und kein spezielles schema.org-Markup erforderlich ist, um in diesen Funktionen zu erscheinen.
Bewerten Sie Präzision, exakte Übereinstimmung und Struktur, nicht nur den Recall. Eine Antwort, die alle Fakten sowie drei erfundene Angaben enthält, besteht einen Recall-Test und führt die Nutzer trotzdem in die Irre.
Bewerten Sie deterministisch, wenn Referenzdaten vorliegen. Eine regelbasierte Bewertung anhand strukturierter Daten ist reproduzierbar und überprüfbar und weist nicht dieselben blinden Flecken wie ein Modell auf.
Führen Sie den Test mehr als einmal durch. Antworten fallen von Durchlauf zu Durchlauf unterschiedlich aus. Darauf wies Andrew Lissimore auf dieser Website im Zusammenhang mit der Messung von KI-Empfehlungen beim Einkauf hin. In unserer Studie erfolgte pro Parfüm und Engine nur eine Abfrage; die Schwankungen zwischen den Durchläufen sind daher unbekannt.
Grenzen der Studie
Jedes Parfüm wurde pro Engine einmal abgefragt, an einem Tag, auf Englisch und aus einem Land. Claude und Engines ohne Websuche wurden nicht getestet. Eine Duftnote, die auf einer offiziellen Liste fehlt, ist nicht automatisch falsch, da die Häuser manchmal nur die wichtigsten Duftnoten veröffentlichen. Die Präzision ist daher eine Untergrenze für die Korrektheit. Der Bewertungsmaßstab wurde anhand derselben 100 Parfüms abgestimmt, und die Stichprobe besteht überwiegend aus westlichen Designer- und Nischenhäusern, deren Listen sich überprüfen ließen.
Innerhalb dieser Grenzen war das Muster konsistent. Wenn sich drei Engines einig sind, zeigt das, dass eine bestimmte Version der Fakten weithin wiederholt wird. Ob sie aktuell ist, lässt sich nur anhand der Quelle feststellen. Daher die Frage an alle, deren Agent sich anhand eines zweiten Modells selbst überprüft: Was macht Ihr Agent, wenn zwei Modelle dieselbe falsche Antwort geben?












