Ajatusjohtajat

Kun tekoälymoottorit ovat samaa mieltä, se ei todista mitään: mitä 300 tuotetietokyselyä osoittaa

Sebastian Dobrincu
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatMallien välinen yhteisymmärrys mittaa sitä, kuinka laajalle versio on levinnyt, eikä…
Näytä lisää
  • Mallien välinen yhteisymmärrys mittaa sitä, kuinka laajalle versio on levinnyt, eikä sitä, onko se ajantasainen.
  • Ristiintarkistus paljastaa yhden moottorin poikkeamat mutta ei pysty havaitsemaan vastausta, jonka kaikki mallit jakavat.
  • Vastaus voi sisältää jokaisen virallisen huomautuksen mutta sijoittaa ne vääriin tasoihin.

Tämä artikkeli perustuu Scenton lokakuussa 2026 tekemän tutkimuksen tuloksiin. Tutkimuksessa selvitettiin, miten ChatGPT, Gemini ja Perplexity vastaavat hajuvesien tuoksunuotteja koskeviin kysymyksiin (koko menetelmä, aineisto ja rajoitukset).

Yksi tekoälyagenttien suunnittelussa yleisesti käytetty turvakeino on kysyä useammalta mallilta tai samalta mallilta useita kertoja ja luottaa vastaukseen, josta ne ovat yhtä mieltä. Ajatuksella on vankka perusta. Itsejohdonmukaisuus, jossa otetaan näytteitä useista päättelypoluista ja valitaan enemmistön kannattama vastaus, parantaa tarkkuutta päättelyä mittaavissa vertailutesteissä. Toisen mallin arvioittaminen yhdellä mallilla, jota tarkastellaan tutkimuksessa LLM:n käyttäminen arvioijana, tuottaa suuren vastaavuuden ihmisten tekemien arvioiden kanssa, vaikka tutkimuksen tekijät dokumentoivat myös järjestys-, sanallisuus- ja itsekorostusvinoumia.

Tuotetiedot soveltuvat hyvin sen testaamiseen, tarkoittaako yksimielisyys myös tarkkuutta, sillä oikea vastaus on yleensä kirjattu tuotteen valmistavan yrityksen tietoihin. Testasimme asiaa hajuvesillä, ja tulos oli: vain osittain.

Näin testi toteutettiin

Kehote oli yksittäinen virke, jossa kysyttiin tuoksun ylätuoksun, sydäntuoksun ja pohjatuoksun nuotteja. Lähetimme sen jokaisesta 100 hajuvedestä, jotka olivat peräisin 45 parfymitalolta, ChatGPT:lle, Geminille ja Perplexitylle 20. lokakuuta 2026. Kaikki kyselyt tehtiin kerran englanniksi Yhdysvalloissa sijaitsevasta paikasta, yhteensä 300 kyselyä. Gemini palautti 99 vastausta, sillä yksi kysely päättyi palveluvirheeseen.

91 hajuveden kohdalla vertailukohtana oli tuoksunuottiluettelo, jonka parfymitalo julkaisee omalla sivustollaan. Jäljelle jääneiden 9 hajuveden kohdalla vertailukohtana oli kahden valtuutetun jälleenmyyjän yhteisesti ilmoittama luettelo. Arvioinnin teki skripti, jossa ei käytetty lainkaan kielimallia. Se yhdisti kunkin vastauksen kaikki nuotit 411 nuotin sanastoon ja vertasi sitten tulosta vertailukohtaan. Kun tarkistimme käsin 20 arviota, 17 vastasi täsmälleen skriptin tulosta ja 19 poikkesi siitä enintään yhden nuotin verran. Tarkistus ei ollut sokkoutettu, sillä arvioija näki skriptin tuloksen.

Mittasimme neljää asiaa: kattavuutta (kuinka monta virallista nuottia vastaus sisältää), tarkkuutta (kuinka moni vastauksessa mainituista nuoteista on virallisia), täsmällistä vastaavuutta (kaikki viralliset nuotit, ei mitään ylimääräistä) ja sijoittelua (onko kukin nuotti oikealla ylätuoksun, sydäntuoksun tai pohjatuoksun tasolla).

Havainto 1: Moottorit ovat samaa mieltä siitä, mitä tuoksu sisältää

Kattavuuden perusteella kolme moottoria vaikuttavat lähes keskenään vaihdettavilta. Kattavuuden mediaani oli kullakin 1,00. ChatGPT sisällytti kaikki viralliset nuotit 82 prosenttiin vastauksistaan, Perplexity 78 prosenttiin ja Gemini 69 prosenttiin.

Täydellisestä vastauksesta oltiin paljon harvemmin yhtä mieltä. Niistä 99 hajuvedestä, joihin kaikki kolme moottoria vastasivat, kaikki kolme sisällyttivät kaikki viralliset nuotit 59:n kohdalla. Vain 39:n kohdalla kaikki kolme vastasivat täsmälleen virallisen luettelon mukaisesti. Ainakin yksi moottori vastasi täsmälleen oikein 79 hajuveden kohdalla, mutta 20 hajuveden kohdalla yksikään ei vastannut.

Noin joka viidennen hajuveden kohdalla (20 hajuvedessä 99:stä) kaikki kolme moottoria palauttivat kaikki viralliset nuotit, mutta ainakin yksi niistä lisäsi myös luetteloon kuulumattomia nuotteja. Pelkkä kattavuuden tarkistus olisi hyväksynyt kaikki kolme vastausta.

Havainto 2: Yhteiset vastaukset läpäisevät kaikki konsensustarkistukset

Opettavaisimpia olivat tulokset, joista moottorit olivat yhtä mieltä.

Jean Paul Gaultier Le Male Elixirin kohdalla kaksi keskenään yhtä mieltä olevaa jälleenmyyjää ilmoittavat kolme nuottia: laventeli ylätuoksussa, tonkapapu sydäntuoksussa ja bentsoiini pohjatuoksussa. ChatGPT, Gemini ja Perplexity tuottivat kukin saman seitsennuottisen tuoksunuottien pyramidin. Jokainen sisälsi kaikki kolme vertailunuottia, sijoitti tonkapavun ja bentsoiinin toistensa tasoille ja lisäsi neljä muuta nuottia. Kolme erillistä moottoria, yksi identtinen vastaus – ja vastaus poikkeaa vertailukohdasta samoissa kohdissa.

Viktor&Rolf Flowerbombin kohdalla parfymitalo ilmoittaa neljä nuottia. Gemini ja Perplexity palauttivat molemmat saman 11 nuotin pyramidin, jättivät yhden virallisen nuotin mainitsematta ja lisäsivät kahdeksan muuta. Perplexityn vastauksessa todettiin lisäksi, että brändin nykyisessä kuvauksessa korostetaan neljää virallista nuottia, joten vastauksessa käsiteltiin molempia versioita ja nostettiin ensin esiin vanhempi.

Aineistomme ei kerro, miksi vastaukset ovat samanlaisia. Käytännön johtopäätös ei kuitenkaan riipu syystä. Kun järjestelmät ammentavat samoista verkkoteksteistä, enemmistöäänestys kertoo, kuinka laajalle jokin versio on levinnyt, ei sitä, onko se ajantasainen. Järjestelmien välinen yksimielisyys on heikko osoitus siitä, että vastaus vastaa sitä, mitä brändi itse julkaisee tänä päivänä.

Havainto 3: Yhden moottorin poikkeamat on helppo havaita

Muut ylimääräiset nuotit esiintyivät vain yhden moottorin vastauksissa, ja juuri tällaiset erot vertailu paljastaa. Gemini lisäsi vähintään yhden nuotin, jota kumpikaan muu moottori ei maininnut, 32 prosentissa vastauksistaan. Vastaavat osuudet olivat ChatGPT:llä 10 prosenttia ja Perplexityllä 11 prosenttia.

Prada Infusion de Vétiverin kohdalla parfymitalo ilmoittaa neljä nuottia. ChatGPT ja Perplexity palauttivat täsmälleen nämä neljä nuottia, kaikki oikeille paikoilleen. Gemini palautti kaksitoista nuottia, joista kahdeksaa mikään muu moottori ei maininnut, joten sen tarkkuus oli 0,33. Rochas Eau de Rochasin kohdalla Perplexity vastasi täsmälleen kymmenen nuotin luettelon mukaisesti, kun taas Gemini palautti 18 nuottia, joista kymmentä mikään muu moottori ei maininnut.

Ristiintarkistus toimii tässä hyvin: poikkeava vastaus erottuu kahdesta keskenään yhtenevästä vastauksesta. Tämä epäsymmetria rakentajien kannattaa pitää mielessä. Erimielisyys on hyödyllinen hälytysmerkki. Yksimielisyys ei ole tae.

Havainto 4: Oikeat faktat, väärä rakenne

Joissakin vastauksissa tuoksunuotit olivat oikeita mutta väärissä kohdissa. Montblanc Explorerin kohdalla ChatGPT tunnisti kuusi yhdeksästä virallisesta tuoksunuotista, mutta niistä vain kaksi oli oikealla tasolla, joten sijoittelun tarkkuus oli 33 %. Tarkistuksessa, jossa katsotaan vain, esiintyykö tuoksunuotti jossakin vastauksessa, ei havaittaisi, että neljä näistä kuudesta oli väärällä tasolla.

Kaikille agenteille, jotka muuntavat tuotetietoja päätöksiksi, tietojen rakenteella on merkitystä. Sama pätee muiden tuoteryhmien kokoihin, yhteensopivuuteen, annostuksiin ja ainesosiin. Arvioinnissa, jossa tarkistetaan vain, esiintyvätkö tiedot jossakin vastauksessa, jää tällainen virhe huomaamatta.

Tuotetyyppiin liittyvä ilmiö

Kaikki kolme moottoria sisälsivät suunnittelijatuoksuja koskevissa vastauksissa useammin virallisen listan ulkopuolisia tuoksunuotteja kuin niche-tuoksuja koskevissa vastauksissa. Ero oli 22–32 prosenttiyksikköä. Suurin ero oli ChatGPT:n vastauksissa: neljä kymmenestä suunnittelijatuoksuja koskevasta vastauksesta sisälsi vähintään yhden listan ulkopuolisen tuoksunuotin, kun taas niche-tuoksuja koskevista vastauksista alle joka kymmenes sisälsi sellaisen.

Lyhyt virallinen lista antaa moottorille enemmän tilaa lisätä tuoksunuotteja, joten vakioimme listan pituuden yhdistämällä kaikkien kolmen moottorin tulokset ja jakamalla vastaukset kolmeen ryhmään. Suunnittelijatuoksuja koskevissa vastauksissa oli silti useammin ylimääräisiä tuoksunuotteja jokaisessa ryhmässä: enintään viiden tuoksunuotin listoissa 70 % vastaan 31 % (27 ja 29 vastausta), kuudesta kahdeksaan tuoksunuottia sisältävissä listoissa 61 % vastaan 21 % (51 ja 42 vastausta) sekä vähintään yhdeksän tuoksunuotin listoissa 26 % vastaan 13 % (72 ja 77 vastausta). Otokset ovat pieniä, emmekä voi eristää syytä, koska kunkin ryhmän vastaukset perustuivat eri parfymitaloihin ja lähdesivuihin. Ilmiö kuitenkin viittaa siihen, että tarkkuus vaihtelee tuoteryhmittäin ja että koko tuoteluettelolle laskettu yksittäinen luku voi peittää tämän vaihtelun.

Mitä tämä merkitsee ostosagentteja kehittäville tiimeille

Käytä mallien yhteneväisyyttä erimielisyyksien löytämiseen, älä totuuden vahvistamiseen. Mallien vertailu on edullinen tapa havaita yksittäiset lisäykset. Se ei kuitenkaan paljasta vastausta, jonka mallit jakavat, joten vertailu ei saa olla viimeinen tarkistus.

Perusta omistamasi tiedot omistamaasi lähteeseen. Kun tiedolla on omistaja, kuten valmistajan teknisillä tiedoilla, luotettavinta on hakea se rakenteisesta tietueesta, johon on merkitty lähdesivu. Avoimet standardit tekevät tämän käytännössä mahdolliseksi: sivulla käytettävä schema.org Product -merkintä sekä Model Context Protocol, jonka avulla agentit voivat kysellä tietolähteestä suoraan. Googlen tekoälyominaisuuksia koskevan ohjeistuksen mukaan rakenteisten tietojen tulee vastata sivulla näkyvää tekstiä, eikä näissä ominaisuuksissa näkymiseen tarvita erityistä schema.org-merkintää.

Arvioi täsmällisyyttä, tarkkaa vastaavuutta ja rakennetta, älä pelkkää kattavuutta. Vastaus, joka sisältää kaikki tiedot sekä kolme keksittyä väitettä, läpäisee kattavuustestin mutta johtaa silti käyttäjää harhaan.

Arvioi tulokset deterministisesti, kun vertailutietoja on saatavilla. Rakenteisiin tietoihin perustuva sääntöpohjainen arviointi on toistettavissa ja auditoitavissa, eikä sillä ole samoja mallin katvealueita.

Suorita testi useammin kuin kerran. Vastaukset vaihtelevat suorituksesta toiseen. Andrew Lissimore käsitteli tätä samalla sivustolla kirjoittaessaan tekoälyn ostossuositusten mittaamisesta. Tutkimuksessamme kustakin hajuvedestä tehtiin yksi kysely kutakin moottoria kohden, joten suorituskertojen välinen vaihtelu ei ole tiedossa.

Tutkimuksen rajoitukset

Jokaisesta hajuvedestä tehtiin yksi kysely kutakin moottoria kohden, yhtenä päivänä, englanniksi ja yhdestä maasta käsin. Claudea ja moottoreita, joissa ei ole verkkohakua, ei testattu. Viralliselta listalta puuttuva tuoksunuotti ei ole automaattisesti väärä, sillä parfymitalot julkaisevat joskus vain tärkeimmät tuoksunuotit. Siksi täsmällisyys on oikeellisuuden alaraja. Arviointijärjestelmä viritettiin samoilla sadalla hajuvedellä, ja otos koostuu pääosin länsimaisista suunnittelija- ja niche-parfymitaloista, joiden listat pystyttiin tarkistamaan.

Näistä rajoituksista huolimatta ilmiö oli johdonmukainen. Kolmen moottorin yhtenevä vastaus kertoo, että tietty versio tiedoista toistuu laajalti. Vain lähde kertoo, ovatko tiedot ajantasaisia. Tässä siis kysymys kaikille, joiden agentti tarkistaa vastauksensa toiselta mallilta: mitä agenttisi tekee, kun kaksi mallia antaa saman väärän vastauksen?

Sebastian Dobrincu on Scenton perustaja ja toimitusjohtaja. Pariisissa pääkonttoriaan pitävä verkkohajuvesiyritys myy Euroopassa yli 3 miljoonaa hajuvesien dekanttinäytettä vuodessa. Scento suunnitteli ja toteutti tämän tutkimuksen tekoälyn vastausten tarkkuudesta ja julkaisee hajuvesien tuoksunuottitietonsa maksutta kehittäjien ja tekoälyagenttien käyttöön.