Lideri de opinie

Când motoarele AI sunt de acord, asta nu este o dovadă: ce arată 300 de întrebări despre produse

Sebastian Dobrincu
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieAcordul dintre modele măsoară cât de larg s-a răspândit o versiune, nu dacă este…
Vezi mai mult
  • Acordul dintre modele măsoară cât de larg s-a răspândit o versiune, nu dacă este actuală.
  • Verificarea încrucișată prinde valorile aberante ale unui singur motor, dar nu poate detecta un răspuns pe care toate modelele îl împărtășesc.
  • Un răspuns poate conține fiecare notă oficială plasând totuși acele note în niveluri greșite.

Acest articol se bazează pe rezultatele studiului realizat de Scento în octombrie 2026 despre felul în care ChatGPT, Gemini și Perplexity răspund la întrebări despre notele parfumurilor (metodologia completă, datele și limitările).

O măsură de siguranță des întâlnită în proiectarea agenților AI este să întrebi mai multe modele sau același model de mai multe ori și să ai încredere în răspunsul asupra căruia cad de acord. Ideea are o bază solidă. Autoconsistența, care eșantionează mai multe raționamente și păstrează răspunsul majoritar, îmbunătățește acuratețea la testele de raționament. Folosirea unui model pentru a evalua un alt model, studiată în Evaluarea LLM-urilor ca judecători, duce la un nivel ridicat de concordanță cu evaluatorii umani, deși autorii documentează și efectele de poziție, verbiozitate și autoapreciere.

Informațiile despre produse sunt un bun punct de plecare pentru a testa dacă acordul înseamnă acuratețe, deoarece răspunsul corect este, de obicei, consemnat de compania care fabrică produsul. Am testat acest lucru pe parfumuri, iar concluzia a fost: doar parțial.

Cum a funcționat testul

Promptul consta într-o singură propoziție, prin care se cereau notele de vârf, de mijloc și de bază ale unui parfum. L-am trimis pentru fiecare dintre cele 100 de parfumuri, selectate de la 45 de case, către ChatGPT, Gemini și Perplexity, pe 20 octombrie 2026. Toate solicitările au fost executate o singură dată, în engleză, dintr-o locație din SUA: 300 în total. Gemini a returnat 99 de răspunsuri, deoarece un apel s-a încheiat cu o eroare de serviciu.

Pentru 91 de parfumuri, referința a fost lista de note publicată de casa respectivă pe propriul site. Pentru celelalte 9, a fost o listă asupra căreia au căzut de acord doi comercianți autorizați. Evaluarea a fost făcută cu un script care nu a folosit deloc un model lingvistic. Acesta a asociat fiecare notă din fiecare răspuns cu una dintre cele 411 note dintr-un glosar, apoi a comparat rezultatul cu referința. Când am verificat manual 20 de evaluări, 17 au corespuns exact, iar 19 s-au încadrat la o diferență de cel mult o notă. Verificarea nu a fost oarbă, deoarece evaluatorul putea vedea rezultatul scriptului.

Am măsurat patru lucruri: acoperirea (câte note oficiale conține un răspuns), precizia (câte dintre notele menționate sunt oficiale), potrivirea exactă (toate notele oficiale și nimic în plus) și plasarea (dacă fiecare notă se află în categoria corectă: de vârf, de mijloc sau de bază).

Constatarea 1: Motoarele sunt de acord cu privire la ce note sunt prezente

În privința acoperirii, cele trei motoare par aproape interschimbabile. Acoperirea mediană a fost de 1,00 pentru fiecare. ChatGPT a returnat toate notele oficiale în 82% dintre răspunsuri, Perplexity în 78%, iar Gemini în 69%.

Acordul asupra întregului răspuns a fost mult mai rar. Dintre cele 99 de parfumuri pentru care au răspuns toate cele trei motoare, în cazul a 59, toate trei au returnat fiecare notă oficială. Doar pentru 39, toate trei au corespuns exact listei oficiale. Cel puțin un motor a dat un răspuns exact pentru 79 de parfumuri, iar pentru 20 niciunul nu a făcut-o.

În aproximativ unul din cinci cazuri (20 dintre cele 99 de parfumuri), toate cele trei motoare au returnat fiecare notă oficială, dar cel puțin unul dintre ele a adăugat și note care nu apar pe listă. O verificare a acoperirii ar fi validat toate cele trei răspunsuri.

Constatarea 2: Răspunsurile comune trec toate verificările de consens

Cele mai instructive rezultate au fost cele asupra cărora motoarele au căzut de acord.

Pentru Jean Paul Gaultier Le Male Elixir, cei doi comercianți care au căzut de acord indică trei note: lavandă în notele de vârf, boabe de tonka în notele de mijloc și benzoe în notele de bază. ChatGPT, Gemini și Perplexity au generat fiecare aceeași piramidă olfactivă, cu șapte note. Fiecare a inclus toate cele trei note de referință, a plasat boabele de tonka și benzoe în categoriile corespunzătoare celeilalte și a adăugat încă patru note. Trei motoare diferite, un răspuns identic, iar acesta se abate de la referință în aceleași puncte.

Pentru Viktor&Rolf Flowerbomb, casa indică patru note. Gemini și Perplexity au returnat aceeași piramidă olfactivă, cu 11 note, au omis o notă oficială și au adăugat opt. În răspunsul său, Perplexity a menționat apoi că descrierea actuală a mărcii evidențiază cele patru note oficiale, așa că a păstrat ambele versiuni și a prezentat-o mai întâi pe cea mai veche.

Datele noastre nu ne permit să spunem de ce răspunsurile coincid. Însă concluzia practică nu depinde de cauză. Când sistemele se bazează pe același fond de texte de pe web, votul majoritar măsoară cât de răspândită este o anumită versiune, nu dacă este actuală. Acordul dintre ele este o dovadă slabă că răspunsul corespunde informațiilor publicate astăzi chiar de marcă.

Constatarea 3: Abaterile unui singur motor sunt ușor de depistat

Alte note suplimentare apăreau doar la câte un motor, iar acestea sunt tocmai cele pe care comparația le scoate la iveală. În 32% dintre răspunsurile sale, Gemini a adăugat cel puțin o notă pe care niciunul dintre celelalte motoare nu a menționat-o, față de 10% pentru ChatGPT și 11% pentru Perplexity.

Pentru Prada Infusion de Vétiver, casa indică patru note. ChatGPT și Perplexity au returnat exact aceste patru note, fiecare în locul corect. Gemini a returnat douăsprezece, dintre care opt nu au fost menționate de niciun alt motor, obținând o precizie de 0,33. Pentru Rochas Eau de Rochas, Perplexity a reprodus exact lista de zece note, în timp ce Gemini a returnat 18 note, dintre care zece nu au fost menționate de niciun alt motor.

Verificarea încrucișată funcționează bine în acest caz: o abatere iese în evidență când este comparată cu două răspunsuri concordante. Aceasta este asimetria de care ar trebui să țină cont cei care construiesc astfel de sisteme. Dezacordul este un semnal de alarmă util. Acordul nu este o certificare.

Constatarea 4: Fapte corecte, structură greșită

Unele răspunsuri includeau notele corecte, dar în locurile greșite. În cazul parfumului Montblanc Explorer, ChatGPT a identificat șase dintre cele nouă note oficiale, însă numai două dintre acestea șase erau încadrate în categoria corectă, ceea ce înseamnă o acuratețe a încadrării de 33%. O verificare care întreabă doar dacă o notă apare undeva în răspuns nu ar detecta că patru dintre cele șase sunt încadrate în categoria greșită.

Pentru orice agent care transformă informațiile despre produse în decizii, structura are însemnătate. Același lucru este valabil pentru mărimi, compatibilitate, dozaj sau ingrediente în alte categorii. O evaluare care verifică doar dacă informațiile apar undeva în răspuns nu va detecta acest tip de greșeală.

Un tipar în funcție de categoria produsului

Răspunsurile despre parfumurile de designer includeau note care nu figurau pe listă mai des decât cele despre parfumurile de nișă, în cazul tuturor celor trei motoare, diferențele fiind de 22 până la 32 de puncte procentuale. ChatGPT a prezentat cea mai mare diferență: patru din zece răspunsuri despre parfumurile de designer includeau cel puțin o notă care nu apărea pe listă, față de mai puțin de unul din zece dintre răspunsurile despre parfumurile de nișă.

O listă oficială scurtă oferă unui motor mai multă libertate să adauge note, așa că am ținut cont de lungimea listelor, reunind răspunsurile celor trei motoare și împărțindu-le în trei categorii. Și în fiecare categorie, răspunsurile despre parfumurile de designer includeau mai des note suplimentare: 70% față de 31% pentru listele cu cel mult cinci note (27 și, respectiv, 29 de răspunsuri), 61% față de 21% pentru listele cu șase până la opt note (51 și, respectiv, 42) și 26% față de 13% pentru listele cu nouă note sau mai multe (72 și, respectiv, 77). Eșantioanele sunt mici și, întrucât fiecare grup provine dintr-un set diferit de case de parfumerie și pagini-sursă, nu putem izola cauza. Tiparul sugerează totuși că acuratețea variază în funcție de segmentul de produse și că o singură cifră pentru un catalog întreg poate ascunde acest lucru.

Ce înseamnă acest lucru pentru echipele care dezvoltă agenți de cumpărături

Folosiți consensul pentru a detecta dezacordurile, nu pentru a confirma adevărul. Compararea modelelor este o metodă ieftină de a semnala adăugirile izolate. Nu poate detecta un răspuns asupra căruia modelele sunt de acord, așa că nu ar trebui să fie ultima verificare.

Bazați informațiile controlate de o entitate pe o sursă aflată sub controlul acesteia. Atunci când o informație are un deținător, cum ar fi specificațiile producătorului, cea mai sigură metodă este să o preluați dintr-o înregistrare structurată care include pagina-sursă. Standardele deschise fac acest lucru posibil: marcajul Product din schema.org pe pagină și Model Context Protocol, care le permite agenților să interogheze direct o sursă de date. Recomandările Google privind funcțiile IA precizează că datele structurate trebuie să corespundă textului vizibil de pe pagină și că nu este necesar un marcaj special schema.org pentru a apărea în aceste funcții.

Evaluați precizia, potrivirea exactă și structura, nu doar exhaustivitatea. Un răspuns care conține toate informațiile, plus trei inventate, trece un test de exhaustivitate și totuși îl induce în eroare pe utilizator.

Evaluați determinist atunci când există date de referință. O evaluare bazată pe reguli și comparată cu date structurate este reproductibilă și poate fi auditată, fără să aibă punctele oarbe ale unui model.

Rulați testul de mai multe ori. Răspunsurile variază de la o rulare la alta, după cum a remarcat Andrew Lissimore pe acest site în legătură cu măsurarea recomandărilor de cumpărături generate de IA. În studiul nostru, am făcut câte o solicitare pentru fiecare parfum și fiecare motor, așa că nu știm cât variază rezultatele de la o rulare la alta.

Limitele studiului

Fiecare parfum a fost solicitat o singură dată de la fiecare motor, într-o singură zi, în engleză și dintr-o singură țară. Claude și motoarele fără căutare pe web nu au fost testate. O notă care lipsește de pe o listă oficială nu este automat greșită, deoarece casele de parfumerie publică uneori doar notele principale; prin urmare, precizia reprezintă o limită inferioară a corectitudinii. Evaluatorul a fost ajustat folosind aceleași 100 de parfumuri, iar eșantionul este alcătuit în principal din case occidentale de parfumerie de designer și de nișă, ale căror liste au putut fi verificate.

În limitele acestea, tiparul a fost consecvent. Faptul că trei motoare sunt de acord îți spune că o anumită versiune a informațiilor este larg răspândită. Numai sursa îți spune dacă este actuală. Așadar, iată întrebarea pentru oricine al cărui agent se verifică folosind un al doilea model: ce face agentul tău când două modele dau același răspuns greșit?

Sebastian Dobrincu este fondatorul și directorul general al Scento, o companie online de parfumuri cu sediul la Paris, care vinde anual peste 3 milioane de decanturi de parfum în Europa. Scento a conceput și a realizat acest studiu privind acuratețea răspunsurilor generate de IA și publică gratuit datele despre notele parfumurilor sale, în beneficiul dezvoltatorilor și al agenților IA.