Ηγέτες σκέψης
Όταν οι μηχανές ΤΝ συμφωνούν, αυτό δεν αποτελεί απόδειξη: τι δείχνουν 300 ερωτήματα για πραγματολογικά στοιχεία προϊόντων

Βασικά σημείαΗ συμφωνία μεταξύ μοντέλων μετρά πόσο ευρέως έχει διαδοθεί μια εκδοχή παρά το αν είναι…
Δείτε περισσότερα
- Η συμφωνία μεταξύ μοντέλων μετρά πόσο ευρέως έχει διαδοθεί μια εκδοχή παρά το αν είναι επίκαιρη.
- Ο διασταυρούμενος έλεγχος εντοπίζει ακραίες τιμές μιας μηχανής αλλά δεν μπορεί να ανιχνεύσει μια απάντηση που μοιράζονται όλα τα μοντέλα.
- Μια απάντηση μπορεί να περιέχει κάθε επίσημη σημείωση ενώ τοποθετεί αυτές τις σημειώσεις σε λάθος επίπεδα.
Το παρόν άρθρο βασίζεται στα ευρήματα μελέτης της Scento, τον Οκτώβριο του 2026, σχετικά με τον τρόπο με τον οποίο τα ChatGPT, Gemini και Perplexity απαντούν σε ερωτήσεις για τις νότες αρωμάτων (πλήρης μεθοδολογία, δεδομένα και περιορισμοί).
Μια συνηθισμένη δικλίδα ασφαλείας στον σχεδιασμό πρακτόρων ΤΝ είναι να ρωτάμε περισσότερα από ένα μοντέλα ή να ρωτάμε το ίδιο μοντέλο περισσότερες από μία φορές και να εμπιστευόμαστε την απάντηση στην οποία συμφωνούν. Η ιδέα έχει ισχυρή θεωρητική βάση. Η αυτοσυνέπεια, η οποία δειγματοληπτεί πολλαπλές συλλογιστικές διαδρομές και κρατά την απάντηση της πλειοψηφίας, βελτιώνει την ακρίβεια σε δοκιμασίες συλλογισμού. Η χρήση ενός μοντέλου για να βαθμολογήσει ένα άλλο, όπως μελετάται στο «Κρίνοντας το LLM ως κριτή», παρουσιάζει υψηλό βαθμό συμφωνίας με τους ανθρώπινους αξιολογητές, αν και οι συγγραφείς καταγράφουν επίσης μεροληψίες ως προς τη θέση, τη φλυαρία και την αυτοπροβολή.
Τα πραγματολογικά στοιχεία για προϊόντα προσφέρονται για να ελέγξουμε αν η συμφωνία σημαίνει ακρίβεια, επειδή η σωστή απάντηση συνήθως καταγράφεται από την εταιρεία που κατασκευάζει το προϊόν. Το δοκιμάσαμε στα αρώματα και το συμπέρασμα ήταν: μόνο εν μέρει.
Πώς έγινε η δοκιμή
Η προτροπή ήταν μία μόνο πρόταση, με την οποία ζητούσαμε τις νότες κορυφής, καρδιάς και βάσης ενός αρώματος. Στις 20 Οκτωβρίου 2026, υποβάλαμε την προτροπή για καθένα από 100 αρώματα, από 45 οίκους, στα ChatGPT, Gemini και Perplexity. Κάθε αίτημα εκτελέστηκε μία φορά, στα αγγλικά και από τοποθεσία στις ΗΠΑ: συνολικά 300 αιτήματα. Το Gemini επέστρεψε 99 απαντήσεις, καθώς ένα αίτημα κατέληξε σε σφάλμα υπηρεσίας.
Για 91 αρώματα, ως σημείο αναφοράς χρησιμοποιήσαμε τον κατάλογο νοτών που δημοσιεύει ο οίκος στον δικό του ιστότοπο. Για τα υπόλοιπα 9, χρησιμοποιήσαμε έναν κατάλογο στον οποίο συμφωνούν δύο εξουσιοδοτημένοι μεταπωλητές. Η αξιολόγηση έγινε με ένα σκριπτ που δεν χρησιμοποιούσε καθόλου γλωσσικό μοντέλο. Το σκριπτ αντιστοίχισε κάθε νότα σε κάθε απάντηση σε ένα γλωσσάρι 411 νοτών και, στη συνέχεια, συνέκρινε το αποτέλεσμα με το σημείο αναφοράς. Όταν ελέγξαμε χειροκίνητα 20 αξιολογήσεις, οι 17 συμφωνούσαν ακριβώς και οι 19 διέφεραν κατά μία νότα το πολύ. Ο έλεγχος δεν ήταν τυφλός, καθώς ο αξιολογητής μπορούσε να δει το αποτέλεσμα του σκριπτ.
Μετρήσαμε τέσσερα στοιχεία: ανάκληση (πόσες επίσημες νότες περιέχει μια απάντηση), ακρίβεια (πόσες από τις νότες που αναφέρει είναι επίσημες), ακριβή ταύτιση (όλες οι επίσημες νότες και καμία επιπλέον) και σωστή τοποθέτηση (αν κάθε νότα βρίσκεται στη σωστή βαθμίδα: κορυφής, καρδιάς ή βάσης).
Εύρημα 1: Οι μηχανές συμφωνούν για το τι υπάρχει
Ως προς την ανάκληση, οι τρεις μηχανές μοιάζουν σχεδόν εναλλάξιμες. Η διάμεση ανάκληση ήταν 1,00 και για τις τρεις. Το ChatGPT επέστρεψε όλες τις επίσημες νότες στο 82% των απαντήσεων, το Perplexity στο 78% και το Gemini στο 69%.
Η συμφωνία ως προς την πλήρη απάντηση ήταν πολύ πιο σπάνια. Από τα 99 αρώματα για τα οποία απάντησαν και οι τρεις μηχανές, και οι τρεις επέστρεψαν όλες τις επίσημες νότες για 59. Και οι τρεις ταίριαξαν ακριβώς με τον επίσημο κατάλογο μόνο για 39. Τουλάχιστον μία μηχανή έδωσε ακριβή απάντηση για 79, ενώ για 20 αρώματα καμία δεν το πέτυχε.
Σε περίπου μία στις πέντε περιπτώσεις (20 από τα 99 αρώματα), και οι τρεις μηχανές επέστρεψαν όλες τις επίσημες νότες, αλλά τουλάχιστον μία πρόσθεσε και νότες που δεν περιλαμβάνονται στον κατάλογο. Ένας έλεγχος ανάκλησης θα είχε εγκρίνει και τις τρεις απαντήσεις.
Εύρημα 2: Οι κοινές απαντήσεις περνούν κάθε έλεγχο συναίνεσης
Τα πιο διαφωτιστικά αποτελέσματα ήταν εκείνα στα οποία συμφώνησαν οι μηχανές.
Για το Jean Paul Gaultier Le Male Elixir, οι δύο μεταπωλητές που συμφωνούν αναφέρουν τρεις νότες: λεβάντα στην κορυφή, σπόρο τόνκα στην καρδιά και βενζόη στη βάση. Τα ChatGPT, Gemini και Perplexity έδωσαν το καθένα την ίδια πυραμίδα επτά νοτών. Και τα τρία περιέλαβαν τις τρεις νότες αναφοράς, τοποθέτησαν τον σπόρο τόνκα και τη βενζόη σε αντίθετες βαθμίδες και πρόσθεσαν άλλες τέσσερις νότες. Τρεις διαφορετικές μηχανές, μία πανομοιότυπη απάντηση — και η απάντηση αποκλίνει από το σημείο αναφοράς στα ίδια ακριβώς σημεία.
Για το Viktor&Rolf Flowerbomb, ο οίκος αναφέρει τέσσερις νότες. Το Gemini και το Perplexity επέστρεψαν και τα δύο την ίδια πυραμίδα 11 νοτών, παρέλειψαν μία επίσημη νότα και πρόσθεσαν οκτώ. Στη συνέχεια, η απάντηση του Perplexity σημείωσε ότι η τρέχουσα περιγραφή της μάρκας αναδεικνύει τις τέσσερις επίσημες νότες, επομένως παρέθεσε και τις δύο εκδοχές, ξεκινώντας από την παλαιότερη.
Τα δεδομένα μας δεν μπορούν να εξηγήσουν γιατί οι απαντήσεις ταιριάζουν. Το πρακτικό συμπέρασμα, όμως, δεν εξαρτάται από την αιτία. Όταν τα συστήματα αντλούν πληροφορίες από την ίδια δεξαμενή κειμένων του διαδικτύου, η ψηφοφορία κατά πλειοψηφία δείχνει πόσο ευρέως έχει διαδοθεί μια εκδοχή, όχι αν είναι επίκαιρη. Η συμφωνία μεταξύ τους αποτελεί ασθενή ένδειξη ότι η απάντηση ταυτίζεται με όσα δημοσιεύει σήμερα η ίδια η μάρκα.
Εύρημα 3: Οι αποκλίσεις από μία μόνο μηχανή εντοπίζονται εύκολα
Άλλες πρόσθετες νότες εμφανίστηκαν μόνο σε μία μηχανή, και αυτές ακριβώς εντοπίζονται με τη σύγκριση. Στο 32% των απαντήσεών του, το Gemini πρόσθεσε τουλάχιστον μία νότα που δεν ανέφερε καμία από τις άλλες μηχανές, έναντι 10% για το ChatGPT και 11% για το Perplexity.
Για το Prada Infusion de Vétiver, ο οίκος αναφέρει τέσσερις νότες. Τα ChatGPT και Perplexity επέστρεψαν ακριβώς αυτές τις τέσσερις, στις ακριβώς σωστές θέσεις. Το Gemini επέστρεψε δώδεκα, εκ των οποίων οι οκτώ δεν αναφέρθηκαν από καμία άλλη μηχανή, με ακρίβεια 0,33. Για το Rochas Eau de Rochas, το Perplexity ταίριαξε ακριβώς με τον κατάλογο των δέκα νοτών, ενώ το Gemini επέστρεψε 18 νότες, από τις οποίες τις δέκα δεν τις ανέφερε καμία άλλη μηχανή.
Εδώ, ο διασταυρωτικός έλεγχος λειτουργεί καλά: μια απόκλιση ξεχωρίζει όταν αντιπαραβάλλεται με δύο απαντήσεις που συμφωνούν. Αυτή είναι η ασυμμετρία που πρέπει να έχουν κατά νου όσοι κατασκευάζουν συστήματα. Η διαφωνία είναι χρήσιμος συναγερμός. Η συμφωνία δεν αποτελεί πιστοποιητικό.
Εύρημα 4: Σωστά στοιχεία, λανθασμένη δομή
Ορισμένες απαντήσεις περιείχαν τις σωστές νότες, αλλά σε λάθος θέσεις. Για το Montblanc Explorer, το ChatGPT εντόπισε έξι από τις εννέα επίσημες νότες, αλλά μόνο δύο από αυτές τις έξι βρίσκονταν στη σωστή βαθμίδα, με ακρίβεια τοποθέτησης 33%. Ένας έλεγχος που εξετάζει μόνο αν μια νότα εμφανίζεται κάπου στην απάντηση δεν θα εντόπιζε ότι τέσσερις από τις έξι βρίσκονταν σε λάθος βαθμίδα.
Για κάθε agent που μετατρέπει στοιχεία προϊόντων σε αποφάσεις, η δομή έχει σημασία. Το ίδιο ισχύει για τα μεγέθη, τη συμβατότητα, τη δοσολογία ή τα συστατικά σε άλλες κατηγορίες. Μια αξιολόγηση που ελέγχει μόνο αν τα στοιχεία εμφανίζονται κάπου στην απάντηση δεν θα εντοπίσει αυτό το είδος λάθους.
Ένα μοτίβο ανά τύπο προϊόντος
Οι απαντήσεις για αρώματα σχεδιαστών περιείχαν συχνότερα νότες που δεν περιλαμβάνονταν στην επίσημη λίστα απ’ ό,τι οι απαντήσεις για αρώματα οίκων εξειδικευμένης αγοράς και στις τρεις μηχανές, με διαφορές από 22 έως 32 ποσοστιαίες μονάδες. Η μεγαλύτερη απόκλιση εμφανίστηκε στο ChatGPT: τέσσερις στις δέκα απαντήσεις του για αρώματα σχεδιαστών περιείχαν τουλάχιστον μία νότα εκτός λίστας, έναντι λιγότερων από μίας στις δέκα απαντήσεις του για αρώματα εξειδικευμένης αγοράς.
Μια σύντομη επίσημη λίστα αφήνει μεγαλύτερο περιθώριο σε μια μηχανή να προσθέσει νότες, γι’ αυτό ελέγξαμε την επίδραση του μήκους της λίστας συγκεντρώνοντας τις απαντήσεις και των τριών μηχανών και χωρίζοντάς τες σε τρεις κατηγορίες. Οι απαντήσεις για αρώματα σχεδιαστών εξακολουθούσαν να περιέχουν συχνότερα επιπλέον νότες σε καθεμία από αυτές: 70% έναντι 31% για λίστες με έως πέντε νότες (27 και 29 απαντήσεις), 61% έναντι 21% για λίστες με έξι έως οκτώ νότες (51 και 42 απαντήσεις) και 26% έναντι 13% για λίστες με εννέα ή περισσότερες νότες (72 και 77 απαντήσεις). Τα δείγματα είναι μικρά και, επειδή κάθε ομάδα προήλθε από διαφορετικό σύνολο οίκων και πηγαίων σελίδων, δεν μπορούμε να απομονώσουμε την αιτία. Το μοτίβο υποδηλώνει, ωστόσο, ότι η ακρίβεια διαφέρει ανά τμήμα προϊόντων και ότι ένας ενιαίος αριθμός για έναν ολόκληρο κατάλογο μπορεί να αποκρύπτει αυτή τη διαφορά.
Τι σημαίνουν αυτά για τις ομάδες που αναπτύσσουν agents αγορών
Χρησιμοποιήστε τη σύγκλιση για να εντοπίζετε διαφωνίες, όχι για να επιβεβαιώνετε την αλήθεια. Η σύγκριση μοντέλων είναι ένας οικονομικός τρόπος να επισημαίνετε προσθήκες που εμφανίζονται μόνο σε μία απάντηση. Δεν μπορεί να εντοπίσει ένα λάθος που επαναλαμβάνουν όλα τα μοντέλα, επομένως δεν πρέπει να αποτελεί τον τελικό έλεγχο.
Βασίστε τα δεδομένα που σας ανήκουν σε πηγή που σας ανήκει. Όταν ένα δεδομένο έχει συγκεκριμένο κάτοχο, όπως μια προδιαγραφή κατασκευαστή, ο πιο αξιόπιστος τρόπος είναι να το ανακτήσετε από μια δομημένη εγγραφή που παραπέμπει στη σελίδα της πηγής του. Τα ανοιχτά πρότυπα το καθιστούν εφικτό: σήμανση Product του schema.org στη σελίδα και το Model Context Protocol, που επιτρέπει στους πράκτορες να υποβάλλουν απευθείας ερωτήματα σε μια πηγή δεδομένων. Οι οδηγίες της Google για τις λειτουργίες τεχνητής νοημοσύνης αναφέρουν ότι τα δομημένα δεδομένα πρέπει να συμφωνούν με το ορατό κείμενο της σελίδας και ότι δεν απαιτείται ειδική σήμανση schema.org για να εμφανιστεί μια σελίδα σε αυτές τις λειτουργίες.
Βαθμολογείτε την ακρίβεια, την ακριβή αντιστοίχιση και τη δομή, όχι μόνο την ανάκληση. Μια απάντηση που περιέχει όλα τα στοιχεία, μαζί με τρία επινοημένα, περνά έναν έλεγχο ανάκλησης, αλλά εξακολουθεί να παραπλανά τον χρήστη.
Αξιολογείτε με ντετερμινιστικό τρόπο όταν υπάρχουν δεδομένα αναφοράς. Ένας αξιολογητής βασισμένος σε κανόνες, ο οποίος συγκρίνει τις απαντήσεις με δομημένα δεδομένα, παρέχει επαναλήψιμα και ελέγξιμα αποτελέσματα και δεν έχει τα ίδια τυφλά σημεία με ένα μοντέλο.
Εκτελέστε τη διαδικασία περισσότερες από μία φορές. Οι απαντήσεις διαφέρουν από εκτέλεση σε εκτέλεση, όπως επισήμανε ο Andrew Lissimore σε αυτόν τον ιστότοπο, σε σχέση με τη μέτρηση των προτάσεων αγορών που δημιουργεί η ΤΝ. Στη μελέτη μας έγινε μία κλήση ανά άρωμα και ανά μηχανή, επομένως δεν γνωρίζουμε πόσο διαφέρουν τα αποτελέσματα από εκτέλεση σε εκτέλεση.
Περιορισμοί της μελέτης
Κάθε άρωμα υποβλήθηκε μία φορά σε κάθε μηχανή, σε μία ημέρα, στα αγγλικά και από μία χώρα. Δεν δοκιμάστηκαν το Claude και μηχανές χωρίς αναζήτηση στον ιστό. Μια νότα που απουσιάζει από επίσημη λίστα δεν είναι αυτομάτως λανθασμένη, επειδή οι οίκοι δημοσιεύουν μερικές φορές μόνο τις βασικές νότες· επομένως, η ακρίβεια αποτελεί κατώτατο όριο ορθότητας. Ο αξιολογητής προσαρμόστηκε με βάση τα ίδια 100 αρώματα, ενώ το δείγμα περιλαμβάνει κυρίως δυτικούς οίκους αρωμάτων σχεδιαστών και εξειδικευμένης αγοράς, των οποίων οι λίστες ήταν δυνατό να επαληθευτούν.
Μέσα σε αυτούς τους περιορισμούς, το μοτίβο ήταν σταθερό. Η συμφωνία τριών μηχανών δείχνει ότι μια εκδοχή των στοιχείων αναπαράγεται ευρέως. Μόνο η πηγή δείχνει αν είναι επίκαιρη. Επομένως, για όσους έχουν agents που ελέγχουν τις απαντήσεις τους με τη βοήθεια ενός δεύτερου μοντέλου, το ερώτημα είναι το εξής: τι κάνει ο agent σας όταν δύο μοντέλα δίνουν την ίδια λανθασμένη απάντηση;












