Pemimpin pemikiran
Saat Mesin AI Sepakat, Itu Bukan Bukti: Temuan dari 300 Kueri tentang Fakta Produk

Poin utamaKesepakatan antar model mengukur seberapa luas suatu versi telah menyebar, bukan apakah…
Lihat selengkapnya
- Kesepakatan antar model mengukur seberapa luas suatu versi telah menyebar, bukan apakah versi itu terkini.
- Pemeriksaan silang menangkap pencilan dari satu mesin, tetapi tidak dapat mendeteksi jawaban yang dimiliki semua model.
- Sebuah jawaban dapat memuat setiap catatan resmi sekaligus menempatkan catatan-catatan itu pada tingkatan yang salah.
Artikel ini didasarkan pada temuan studi Scento pada Oktober 2026 tentang cara ChatGPT, Gemini, dan Perplexity menjawab pertanyaan seputar aroma parfum (metode lengkap, data, dan keterbatasan).
Salah satu langkah pengamanan yang umum dalam merancang agen AI adalah menanyakan sesuatu kepada lebih dari satu model, atau bertanya kepada model yang sama beberapa kali, lalu memercayai jawaban yang disepakati. Gagasan ini memiliki landasan yang kuat. Konsistensi-diri, yang mengambil sampel dari beberapa jalur penalaran lalu memilih jawaban mayoritas, meningkatkan akurasi pada tolok ukur penalaran. Penggunaan satu model untuk menilai model lain, yang dikaji dalam Menilai LLM sebagai Penilai, menunjukkan tingkat kesepakatan yang tinggi dengan penilai manusia, meskipun para penulis juga mendokumentasikan bias posisi, panjang jawaban, dan peningkatan penilaian terhadap diri sendiri.
Fakta produk merupakan bahan uji yang baik untuk mengetahui apakah kesepakatan berarti akurasi, karena jawaban yang benar biasanya sudah dicantumkan oleh perusahaan pembuat produk tersebut. Kami mengujinya pada parfum, dan hasilnya: hanya sebagian.
Cara Kerja Pengujian
Prompt-nya berupa satu kalimat yang menanyakan aroma atas, tengah, dan dasar suatu parfum. Kami mengirimkannya untuk masing-masing dari 100 parfum, yang berasal dari 45 rumah parfum, kepada ChatGPT, Gemini, dan Perplexity pada 20 Oktober 2026. Semua kueri dijalankan satu kali, dalam bahasa Inggris, dari lokasi di AS: total 300 kueri. Gemini memberikan 99 jawaban karena satu kueri berakhir dengan kesalahan layanan.
Untuk 91 parfum, daftar aroma yang dijadikan acuan adalah daftar yang diterbitkan rumah parfum tersebut di situsnya sendiri. Untuk 9 parfum sisanya, acuannya adalah daftar yang disepakati oleh dua peritel resmi. Penilaian dilakukan dengan skrip yang sama sekali tidak menggunakan model bahasa. Skrip itu memetakan setiap aroma dalam tiap jawaban ke glosarium berisi 411 aroma, lalu membandingkan hasilnya dengan acuan. Saat kami memeriksa 20 penilaian secara manual, 17 di antaranya sama persis dan 19 berbeda paling banyak satu aroma. Pemeriksaan itu tidak dilakukan secara tersamar karena peninjau dapat melihat hasil skrip.
Kami mengukur empat hal: cakupan (berapa banyak aroma resmi yang tercantum dalam jawaban), presisi (berapa banyak aroma yang disebutkan memang resmi), kecocokan persis (semua aroma resmi tercantum, tanpa tambahan apa pun), dan penempatan (apakah setiap aroma berada pada lapisan atas, tengah, atau dasar yang tepat).
Temuan 1: Mesin-Mesin Sepakat tentang Aroma yang Ada
Dari segi cakupan, ketiga mesin itu tampak nyaris sama. Median cakupan masing-masing adalah 1,00. ChatGPT mencantumkan setiap aroma resmi dalam 82% jawabannya, Perplexity dalam 78%, dan Gemini dalam 69%.
Kesepakatan atas jawaban secara keseluruhan jauh lebih jarang terjadi. Dari 99 parfum yang dijawab oleh ketiga mesin, ketiganya mencantumkan semua aroma resmi untuk 59 parfum. Ketiganya hanya mencocokkan daftar resmi secara persis untuk 39 parfum. Setidaknya satu mesin memberikan jawaban yang persis untuk 79 parfum, sedangkan untuk 20 parfum tidak ada satu pun yang berhasil.
Dalam sekitar satu dari lima kasus (20 dari 99 parfum), ketiga mesin mencantumkan semua aroma resmi, tetapi setidaknya salah satunya juga menambahkan aroma yang tidak ada dalam daftar. Pemeriksaan cakupan akan meloloskan ketiga jawaban tersebut.
Temuan 2: Jawaban yang Sama Lolos dari Semua Pemeriksaan Konsensus
Hasil yang paling memberi pelajaran adalah jawaban-jawaban yang sama-sama diberikan oleh mesin tersebut.
Untuk Jean Paul Gaultier Le Male Elixir, dua peritel yang sepakat mencantumkan tiga aroma: lavender di lapisan atas, tonka di lapisan tengah, dan benzoin di lapisan dasar. ChatGPT, Gemini, dan Perplexity masing-masing menghasilkan piramida tujuh aroma yang identik. Ketiganya mencantumkan semua aroma acuan, menempatkan tonka dan benzoin pada lapisan yang tertukar, serta menambahkan empat aroma lain. Tiga mesin berbeda, satu jawaban identik, dan jawaban itu menyimpang dari acuan pada bagian yang sama.
Untuk Viktor&Rolf Flowerbomb, rumah parfum tersebut mencantumkan empat aroma. Gemini dan Perplexity sama-sama memberikan piramida 11 aroma, melewatkan satu aroma resmi, dan menambahkan delapan aroma. Perplexity kemudian mencatat bahwa deskripsi terkini merek tersebut menyoroti keempat aroma resmi, sehingga jawabannya memuat kedua versi dan mengutamakan versi yang lebih lama.
Data kami tidak dapat menjelaskan alasan jawaban-jawaban itu sama. Namun, pokok praktisnya tidak bergantung pada penyebabnya. Ketika sistem mengandalkan kumpulan teks web yang sama, suara mayoritas mengukur seberapa luas suatu versi telah tersebar, bukan apakah versi itu masih mutakhir. Kesepakatan di antara sistem-sistem tersebut hanya merupakan bukti lemah bahwa jawaban itu sesuai dengan informasi yang diterbitkan merek tersebut saat ini.
Temuan 3: Jawaban Menyimpang dari Satu Mesin Mudah Dikenali
Aroma tambahan lainnya hanya muncul dalam jawaban satu mesin, dan justru inilah yang dapat terdeteksi melalui perbandingan. Dalam 32% jawabannya, Gemini menambahkan setidaknya satu aroma yang tidak disebutkan oleh kedua mesin lainnya, dibandingkan dengan 10% untuk ChatGPT dan 11% untuk Perplexity.
Untuk Prada Infusion de Vétiver, rumah parfum tersebut mencantumkan empat aroma. ChatGPT dan Perplexity memberikan keempat aroma itu saja, semuanya pada posisi yang tepat. Gemini memberikan dua belas aroma, termasuk delapan yang tidak disebutkan oleh mesin lain, dengan presisi 0,33. Untuk Rochas Eau de Rochas, Perplexity mencocokkan daftar sepuluh aroma secara persis, sedangkan Gemini memberikan 18 aroma, sepuluh di antaranya tidak disebutkan oleh mesin lain.
Pemeriksaan silang efektif dalam kasus ini: jawaban yang menyimpang terlihat jelas ketika dibandingkan dengan dua jawaban yang sama. Inilah ketimpangan yang perlu diingat para pengembang. Ketidaksepakatan merupakan sinyal peringatan yang berguna. Kesepakatan bukanlah sertifikat kebenaran.
Temuan 4: Fakta Benar, Struktur Keliru
Beberapa jawaban memuat notes yang tepat, tetapi menempatkannya di posisi yang keliru. Untuk Montblanc Explorer, ChatGPT mencocokkan enam dari sembilan notes resmi, tetapi hanya dua dari enam notes tersebut berada pada tingkat yang tepat, sehingga akurasi penempatannya 33%. Pemeriksaan yang hanya menanyakan apakah suatu note muncul di bagian mana pun dalam jawaban tidak akan mendeteksi bahwa empat dari enam notes itu berada pada tingkat yang keliru.
Bagi agen yang mengubah fakta produk menjadi dasar pengambilan keputusan, struktur juga membawa makna. Hal yang sama berlaku untuk ukuran, kompatibilitas, dosis, atau bahan dalam kategori lain. Evaluasi yang hanya memeriksa apakah fakta muncul di bagian mana pun dalam jawaban akan melewatkan jenis kesalahan ini.
Pola Berdasarkan Jenis Produk
Jawaban tentang parfum desainer lebih sering memuat notes di luar daftar resmi dibandingkan jawaban tentang parfum niche di ketiga mesin, dengan selisih 22 hingga 32 poin persentase. Perbedaan terbesar terlihat pada ChatGPT: empat dari sepuluh jawabannya tentang parfum desainer memuat setidaknya satu note di luar daftar, dibandingkan kurang dari satu dari sepuluh jawaban tentang parfum niche.
Daftar resmi yang pendek memberi mesin lebih banyak ruang untuk menambahkan notes. Karena itu, kami mengendalikan panjang daftar dengan menggabungkan hasil dari ketiga mesin, lalu membagi jawaban ke dalam tiga kelompok. Jawaban tentang parfum desainer tetap lebih sering memuat tambahan di setiap kelompok: 70% dibandingkan 31% untuk daftar dengan lima notes atau kurang (masing-masing 27 dan 29 jawaban), 61% dibandingkan 21% untuk daftar dengan enam hingga delapan notes (51 dan 42 jawaban), serta 26% dibandingkan 13% untuk daftar dengan sembilan notes atau lebih (72 dan 77 jawaban). Sampelnya kecil, dan karena setiap kelompok berasal dari kumpulan rumah parfum dan halaman sumber yang berbeda, kami tidak dapat memastikan penyebabnya. Namun, pola ini menunjukkan bahwa akurasi bervariasi menurut segmen produk, dan satu angka untuk seluruh katalog dapat menyamarkan variasi tersebut.
Maknanya bagi Tim yang Mengembangkan Agen Belanja
Gunakan konsensus untuk menemukan perbedaan pendapat, bukan untuk memastikan kebenaran. Membandingkan model adalah cara murah untuk menandai tambahan yang hanya muncul sekali. Cara ini tidak dapat mendeteksi jawaban keliru yang sama-sama diberikan oleh model, jadi jangan jadikan perbandingan tersebut sebagai pemeriksaan terakhir.
Dasarkan fakta milik sendiri pada sumber milik sendiri. Jika suatu fakta memiliki pemilik, seperti spesifikasi produsen, cara paling andal untuk mendapatkannya adalah mengambilnya dari catatan terstruktur yang mencantumkan halaman sumbernya. Standar terbuka memungkinkan hal ini: markup Produk schema.org pada halaman, serta Model Context Protocol yang memungkinkan agen mengajukan kueri langsung ke sumber data. Panduan Google tentang fitur AI menyatakan bahwa data terstruktur harus sesuai dengan teks yang terlihat di halaman dan bahwa markup schema.org khusus tidak diperlukan agar konten dapat muncul dalam fitur tersebut.
Nilai presisi, kecocokan persis, dan struktur, bukan hanya recall. Jawaban yang memuat semua fakta sekaligus tiga fakta rekaan akan lulus uji recall, tetapi tetap menyesatkan pengguna.
Lakukan penilaian secara deterministik jika tersedia data acuan. Penilaian berbasis aturan yang dibandingkan dengan data terstruktur dapat diulang dan diaudit, serta tidak memiliki titik buta yang sama dengan model.
Lakukan pengujian lebih dari sekali. Jawaban dapat berubah dari satu pengujian ke pengujian berikutnya, seperti yang disampaikan Andrew Lissimore di situs ini dalam pembahasannya tentang pengukuran rekomendasi belanja berbasis AI. Dalam studi kami, setiap parfum hanya diuji sekali pada setiap mesin, sehingga variasi antarpengujian tidak diketahui.
Keterbatasan Studi
Setiap parfum ditanyakan satu kali kepada setiap mesin, pada satu hari, dalam bahasa Inggris, dari satu negara. Claude dan mesin yang tidak memiliki fitur penelusuran web tidak diuji. Note yang tidak tercantum dalam daftar resmi tidak serta-merta keliru, karena rumah parfum terkadang hanya menerbitkan notes utama. Karena itu, presisi merupakan batas bawah dari tingkat kebenaran. Penilai dikalibrasi menggunakan 100 parfum yang sama, dan sampelnya sebagian besar terdiri atas rumah parfum desainer dan niche dari Barat yang daftar notes-nya dapat diverifikasi.
Dalam batasan tersebut, polanya konsisten. Kesepakatan antara tiga mesin menunjukkan bahwa suatu versi fakta banyak diulang. Hanya sumber yang dapat memberi tahu apakah informasi itu masih mutakhir. Jadi, inilah pertanyaan bagi siapa pun yang agennya memeriksa jawabannya dengan model kedua: apa yang dilakukan agen Anda ketika dua model memberikan jawaban salah yang sama?












