Leader di pensiero
Quando i motori di IA concordano, non è una prova: cosa rivelano 300 domande sui dati dei prodotti

Punti chiaveL'accordo tra i modelli misura quanto ampiamente si è diffusa una versione piuttosto…
Vedi di più
- L'accordo tra i modelli misura quanto ampiamente si è diffusa una versione piuttosto che se sia attuale.
- Il controllo incrociato individua le anomalie di un singolo motore ma non può rilevare una risposta condivisa da tutti i modelli.
- Una risposta può contenere ogni nota ufficiale pur collocando tali note nei livelli sbagliati.
Questo articolo si basa sui risultati di uno studio condotto da Scento nell’ottobre 2026 su come ChatGPT, Gemini e Perplexity rispondono alle domande sulle note dei profumi (metodo completo, dati e limiti).
Una misura di sicurezza comune nella progettazione degli agenti di IA consiste nel consultare più modelli, oppure lo stesso modello più volte, e fidarsi della risposta su cui concordano. L’idea ha solide basi. L’autoconsistenza, che campiona diversi percorsi di ragionamento e seleziona la risposta maggioritaria, migliora l’accuratezza nei benchmark di ragionamento. Usare un modello per valutare un altro, come analizzato in Valutare gli LLM come giudici, porta a un elevato accordo con i valutatori umani, anche se gli autori documentano inoltre bias legati alla posizione, alla verbosità e all’autoesaltazione.
I dati sui prodotti sono un buon banco di prova per verificare se l’accordo equivale all’accuratezza, perché di solito la risposta corretta è pubblicata dall’azienda che produce il prodotto. Lo abbiamo verificato con i profumi e il risultato è stato: solo in parte.
Come si è svolto il test
Il prompt consisteva in una sola frase che chiedeva le note di testa, di cuore e di fondo di un profumo. Il 20 ottobre 2026 abbiamo inviato la richiesta per ciascuno di 100 profumi, appartenenti a 45 maison, a ChatGPT, Gemini e Perplexity. Ogni richiesta è stata eseguita una volta, in inglese e da una località negli Stati Uniti: 300 richieste in tutto. Gemini ha restituito 99 risposte, perché una richiesta si è conclusa con un errore del servizio.
Per 91 profumi, il riferimento era l’elenco delle note pubblicato dalla maison sul proprio sito. Per i 9 restanti, era un elenco concordato da due rivenditori autorizzati. La valutazione è stata eseguita da uno script che non utilizzava alcun modello linguistico. Lo script ha ricondotto ogni nota presente nelle risposte a un glossario di 411 note, quindi ha confrontato i risultati con il riferimento. Verificando manualmente 20 valutazioni, 17 coincidevano esattamente e 19 differivano al massimo per una nota. La verifica non era in cieco, perché il revisore poteva vedere il risultato dello script.
Abbiamo misurato quattro aspetti: il richiamo (quante note ufficiali contiene una risposta), la precisione (quante delle note menzionate sono ufficiali), la corrispondenza esatta (tutte le note ufficiali e nessuna aggiunta) e la collocazione (se ogni nota si trova nella fascia corretta: testa, cuore o fondo).
Risultato 1: i motori concordano su quali note sono presenti
Quanto al richiamo, i tre motori sembrano quasi intercambiabili. Il richiamo mediano è stato di 1,00 per ciascuno. ChatGPT ha restituito tutte le note ufficiali nell’82% delle risposte, Perplexity nel 78% e Gemini nel 69%.
L’accordo sull’intera risposta è stato molto più raro. Dei 99 profumi per cui hanno risposto tutti e tre i motori, in 59 casi ciascuno ha restituito tutte le note ufficiali. Solo per 39 profumi tutti e tre hanno riprodotto esattamente l’elenco ufficiale. Almeno un motore ha fornito una risposta esatta per 79 profumi; per 20, nessuno ci è riuscito.
In circa un caso su cinque (20 dei 99 profumi), tutti e tre i motori hanno restituito ogni nota ufficiale, ma almeno uno ha aggiunto anche note assenti dall’elenco. Un controllo basato sul richiamo avrebbe considerato valide tutte e tre le risposte.
Risultato 2: le risposte condivise superano ogni verifica basata sul consenso
I risultati più istruttivi sono stati quelli su cui i motori concordavano.
Per Jean Paul Gaultier Le Male Elixir, i due rivenditori concordano su tre note: lavanda in testa, fava tonka nel cuore e benzoino sul fondo. ChatGPT, Gemini e Perplexity hanno prodotto ciascuno una piramide identica di sette note. Tutti includevano le tre note di riferimento, collocavano la fava tonka e il benzoino ciascuno nella fascia dell’altro e aggiungevano altre quattro note. Tre motori distinti, una risposta identica, che si discosta dal riferimento negli stessi punti.
Per Viktor&Rolf Flowerbomb, la maison indica quattro note. Gemini e Perplexity hanno restituito entrambi la stessa piramide di 11 note, omettendone una ufficiale e aggiungendone otto. Nella sua risposta, Perplexity ha poi osservato che la descrizione attuale del marchio mette in evidenza le quattro note ufficiali; ha quindi mantenuto entrambe le versioni, dando la precedenza a quella più datata.
I nostri dati non permettono di stabilire perché le risposte coincidano. Ma il punto pratico non dipende dalla causa. Quando i sistemi attingono allo stesso insieme di testi online, il voto di maggioranza misura quanto una versione si è diffusa, non se è aggiornata. Il loro accordo è una prova debole del fatto che la risposta corrisponda a ciò che il marchio pubblica oggi.
Risultato 3: le risposte anomale di un solo motore sono le più facili da individuare
Altre note aggiuntive comparivano in un solo motore: sono proprio queste che il confronto permette di individuare. Nel 32% delle sue risposte, Gemini ha aggiunto almeno una nota non menzionata da nessuno degli altri motori, contro il 10% per ChatGPT e l’11% per Perplexity.
Per Prada Infusion de Vétiver, la maison indica quattro note. ChatGPT e Perplexity hanno restituito esattamente quelle quattro, collocandole tutte nelle posizioni corrette. Gemini ne ha restituite dodici, di cui otto non menzionate da nessun altro motore, con una precisione di 0,33. Per Rochas Eau de Rochas, Perplexity ha riprodotto esattamente l’elenco di dieci note, mentre Gemini ne ha restituite 18, dieci delle quali non erano state menzionate da nessun altro motore.
In questo caso, il controllo incrociato funziona bene: una risposta anomala risalta rispetto a due risposte concordi. È questa asimmetria che chi sviluppa questi sistemi dovrebbe tenere presente. Il disaccordo è un utile campanello d’allarme. L’accordo non è una garanzia.
Risultato 4: dati corretti, struttura sbagliata
Alcune risposte riportavano le note giuste, ma nelle posizioni sbagliate. Per Montblanc Explorer, ChatGPT ha individuato sei delle nove note ufficiali, ma solo due di queste sei erano nella fascia corretta, con un’accuratezza di posizionamento del 33%. Un controllo che si limitasse a verificare se una nota compare da qualche parte nella risposta non rileverebbe che quattro delle sei sono nella fascia sbagliata.
Per qualsiasi agente che trasforma i dati sui prodotti in decisioni, la struttura è significativa. Lo stesso vale per taglie, compatibilità, dosaggi o ingredienti in altre categorie. Una valutazione che controlla solo se i dati compaiono da qualche parte nella risposta non rileverà questo tipo di errore.
Uno schema in base alla tipologia di prodotto
Su tutti e tre i motori, le risposte sui profumi di grandi maison includevano note non presenti negli elenchi più spesso di quelle sui profumi di nicchia, con divari compresi tra 22 e 32 punti percentuali. ChatGPT ha mostrato la differenza più ampia: quattro risposte su dieci sui profumi di grandi maison includevano almeno una nota non presente nell’elenco, contro meno di una su dieci per i profumi di nicchia.
Un elenco ufficiale breve lascia più spazio al motore per aggiungere note, quindi abbiamo tenuto conto della lunghezza degli elenchi raggruppando i risultati dei tre motori e suddividendo le risposte in tre fasce. In ognuna di esse, le risposte sui profumi di grandi maison continuavano a includere aggiunte più spesso: 70% contro 31% per gli elenchi con cinque note o meno (27 e 29 risposte), 61% contro 21% per quelli con da sei a otto note (51 e 42) e 26% contro 13% per quelli con nove note o più (72 e 77). I campioni sono ridotti e, poiché ciascun gruppo proviene da un insieme diverso di maison e pagine di origine, non possiamo isolare la causa. Lo schema suggerisce però che l’accuratezza varia a seconda del segmento di prodotto e che un unico dato riferito a un intero catalogo può nascondere questa differenza.
Cosa significa per i team che sviluppano agenti per gli acquisti
Usate il consenso per individuare i disaccordi, non per confermare la verità. Confrontare i modelli è un modo economico per segnalare le aggiunte isolate. Non può rilevare una risposta condivisa dai modelli, quindi non dovrebbe essere l’ultimo controllo.
Basate i dati di vostra competenza su una fonte sotto il vostro controllo. Quando un dato ha un titolare, come nel caso delle specifiche di un produttore, il modo più affidabile per reperirlo è consultare un record strutturato che riporti la pagina di origine. Gli standard aperti lo rendono possibile: la marcatura Product di schema.org sulla pagina e il Model Context Protocol, che consente agli agenti di interrogare direttamente una fonte di dati. Le indicazioni sulle funzionalità IA di Google affermano che i dati strutturati devono corrispondere al testo visibile sulla pagina e che non serve una marcatura speciale di schema.org per comparire in queste funzionalità.
Valutate la precisione, la corrispondenza esatta e la struttura, non solo il richiamo. Una risposta che contiene tutti i dati più tre elementi inventati supera un test di richiamo, ma continua a trarre in inganno l’utente.
Valutate in modo deterministico quando esistono dati di riferimento. Un valutatore basato su regole e confrontato con dati strutturati produce risultati ripetibili e verificabili, e non condivide i punti ciechi di un modello.
Eseguite il test più di una volta. Le risposte variano da un’esecuzione all’altra, come ha osservato Andrew Lissimore su questo sito parlando di misurare le raccomandazioni d’acquisto dell’IA. Nel nostro studio abbiamo effettuato una sola interrogazione per profumo e per motore, quindi non conosciamo la variabilità tra un’esecuzione e l’altra.
Limiti dello studio
Per ogni profumo è stata effettuata una sola interrogazione per ciascun motore, in un unico giorno, in inglese e da un solo Paese. Claude e i motori senza ricerca sul web non sono stati testati. Una nota assente da un elenco ufficiale non è automaticamente errata, perché le maison a volte pubblicano solo le note principali; pertanto, la precisione costituisce un limite inferiore della correttezza. Il valutatore è stato messo a punto sugli stessi 100 profumi e il campione è composto perlopiù da maison occidentali di profumi di nicchia e di grandi marchi, i cui elenchi potevano essere verificati.
Entro questi limiti, lo schema era coerente. Il fatto che tre motori concordino indica che una certa versione dei dati è ampiamente ripetuta. Solo la fonte permette di sapere se è aggiornata. Ecco quindi la domanda per chiunque abbia un agente che si verifica confrontandosi con un secondo modello: cosa fa il vostro agente quando due modelli forniscono la stessa risposta sbagliata?












