Düşünce Liderleri
Yapay zekâ motorlarının aynı fikirde olması kanıt değildir: Ürünlerle ilgili 300 olgusal sorgu ne gösteriyor?

Öne çıkan noktalarModeller arasındaki anlaşma, bir sürümün ne kadar yayıldığını ölçer, güncel olup…
Daha fazla göster
- Modeller arasındaki anlaşma, bir sürümün ne kadar yayıldığını ölçer, güncel olup olmadığını değil.
- Çapraz kontrol, tek motordan kaynaklanan aykırı değerleri yakalar ancak tüm modellerin paylaştığı bir yanıtı tespit edemez.
- Bir yanıt, tüm resmi notları içerebilir ancak bu notları yanlış katmanlara yerleştirebilir.
Bu makale, ChatGPT, Gemini ve Perplexity’nin parfüm notalarıyla ilgili soruları nasıl yanıtladığını inceleyen Scento’nun Ekim 2026 tarihli araştırmasının bulgularına dayanıyor (yöntemin tamamı, veriler ve sınırlamalar).
Yapay zekâ ajanlarının tasarımında yaygın bir güvenlik önlemi, birden fazla modele ya da aynı modele birden fazla kez soru sorup uzlaştıkları yanıta güvenmektir. Bu yaklaşımın sağlam bir temeli var. Birden fazla akıl yürütme yolunu örnekleyip çoğunluğun verdiği yanıtı seçen öz tutarlılık, akıl yürütme kıyaslamalarında doğruluğu artırıyor. LLM’leri yargıç olarak değerlendirme çalışmasında incelendiği üzere, bir modeli diğerini puanlamak için kullanmak insan değerlendiricilerle yüksek düzeyde uyum sağlıyor; ancak araştırmacılar konum, ayrıntı düzeyi ve kendini kayırma yanlılıklarını da belgeliyor.
Ürünlerle ilgili olgular, uzlaşmanın doğruluk anlamına gelip gelmediğini sınamak için elverişli bir alan; çünkü doğru yanıt genellikle ürünü üreten şirket tarafından yazılı olarak belirtiliyor. Bunu parfümler üzerinden sınadık ve yanıt şu oldu: yalnızca kısmen.
Test nasıl yapıldı?
İstem, bir parfümün üst, kalp ve dip notalarını soran tek cümleden oluşuyordu. 45 parfüm evi tarafından üretilen 100 parfümün her biri için bu istemi 20 Ekim 2026’da ChatGPT, Gemini ve Perplexity’ye gönderdik. Tüm sorgular ABD’deki bir konumdan, İngilizce olarak ve birer kez yapıldı: toplam 300 sorgu. Bir çağrı hizmet hatasıyla sonuçlandığı için Gemini 99 yanıt verdi.
91 parfüm için referans, parfüm evinin kendi sitesinde yayımladığı nota listesiydi. Geriye kalan 9 parfümde ise iki yetkili satıcının üzerinde uzlaştığı listeyi kullandık. Puanlama, hiçbir dil modeli kullanmayan bir komut dosyasıyla yapıldı. Komut dosyası, her yanıttaki tüm notaları 411 notalık bir sözlükte eşleştirdi ve ardından sonucu referansla karşılaştırdı. Puanlamalardan 20’sini elle kontrol ettiğimizde 17’sinin tamamen, 19’unun ise bir nota farkla uyuştuğunu gördük. Değerlendirici komut dosyasının sonucunu görebildiği için bu kontrol kör yapılmadı.
Dört ölçütü değerlendirdik: geri çağırma (yanıtta resmi notaların kaçının bulunduğu), kesinlik (adı geçen notaların kaçının resmi listede yer aldığı), tam eşleşme (fazladan hiçbir şey olmadan tüm resmi notaların yer alması) ve yerleşim (her notanın doğru üst, kalp veya dip katmanında bulunup bulunmadığı).
Bulgular 1: Motorlar hangi notaların bulunduğu konusunda uzlaşıyor
Geri çağırma açısından üç motor neredeyse birbirinin yerine kullanılabilir görünüyor. Her birinin medyan geri çağırma değeri 1.00’dı. ChatGPT yanıtların %82’sinde, Perplexity %78’inde ve Gemini %69’unda resmi notaların tümünü verdi.
Yanıtın tamamı üzerindeki uzlaşma çok daha nadirdi. Üç motorun da yanıt verdiği 99 parfümün 59’unda hepsi resmi notaların tamamını verdi. Yalnızca 39 parfümde üçü de resmi listeyle tamamen eşleşti. 79 parfümde en az bir motor tam eşleşme sağlarken 20 parfümde hiçbir motor bunu başaramadı.
Beş vakadan yaklaşık birinde (99 parfümün 20’sinde) üç motor da resmi notaların tümünü verdi; ancak en az biri listede olmayan notalar da ekledi. Geri çağırma kontrolü, üç yanıtın tümünü başarılı sayardı.
Bulgular 2: Ortak yanıtlar tüm uzlaşma kontrollerinden geçiyor
En öğretici sonuçlar, motorların ortaklaştığı yanıtlardı.
Jean Paul Gaultier Le Male Elixir için uzlaşan iki satıcı üç nota belirtiyor: üst notada lavanta, kalp notasında tonka fasulyesi, dip notada benzoin. ChatGPT, Gemini ve Perplexity’nin her biri aynı yedi notalı piramidi oluşturdu. Üçü de referanstaki notaların tamamına yer verdi, tonka fasulyesiyle benzoini birbirlerinin katmanlarına koydu ve dört nota daha ekledi. Üç ayrı motor, aynı yanıt; üstelik yanıt, referanstan aynı noktalarda sapıyor.
Viktor&Rolf Flowerbomb için parfüm evi dört nota listeliyor. Gemini ve Perplexity, aynı 11 notalı piramidi verdi; resmi notalardan birini atlayıp sekiz nota ekledi. Perplexity’nin yanıtında daha sonra, markanın güncel açıklamasında resmi dört notanın öne çıkarıldığı belirtildi; böylece her iki sürümü de aktardı ve önce eski sürüme yer verdi.
Verilerimiz yanıtların neden eşleştiğini gösteremez. Ancak pratik açıdan önemli nokta, bunun nedenine bağlı değil. Sistemler aynı çevrimiçi metin havuzundan yararlanıyorsa çoğunluk oyu, bir sürümün ne kadar yaygınlaştığını ölçer; güncel olup olmadığını değil. Sistemlerin kendi aralarındaki uzlaşma, yanıtın markanın bugün yayımladığı bilgilerle örtüştüğüne dair zayıf bir kanıttır.
Bulgular 3: Tek bir motora özgü aykırı yanıtları yakalamak kolay
Diğer ek notalarsa yalnızca tek bir motora özgüydü; karşılaştırmanın yakaladığı hatalar da tam olarak bunlardı. Gemini yanıtlarının %32’sinde diğer iki motorun hiçbirinin belirtmediği en az bir nota ekledi. Bu oran ChatGPT’de %10, Perplexity’de ise %11’di.
Prada Infusion de Vétiver için parfüm evi dört nota listeliyor. ChatGPT ve Perplexity, bu dört notayı da tam olarak doğru yerlerde verdi. Gemini ise sekizini başka hiçbir motorun belirtmediği 12 nota sıraladı; kesinliği 0.33’tü. Rochas Eau de Rochas’ta Perplexity on notalık listeyle tamamen eşleşirken Gemini, on tanesini başka hiçbir motorun belirtmediği 18 nota verdi.
Burada çapraz kontrol işe yarıyor: iki yanıt birbiriyle uyuşurken aykırı yanıt göze çarpıyor. Sistemi geliştirenlerin aklında tutması gereken asimetri bu. Görüş ayrılığı yararlı bir uyarıdır. Uzlaşma ise bir doğruluk belgesi değildir.
Bulgular 4: Doğru bilgiler, yanlış yapı
Bazı yanıtlarda doğru notalar vardı, ancak yanlış katmanlarda yer alıyordu. ChatGPT, Montblanc Explorer için dokuz resmî notanın altısını doğru eşleştirdi; ancak bu altı notadan yalnızca ikisi doğru katmandaydı. Katman yerleştirme doğruluğu %33’tü. Bir notanın yanıtta herhangi bir yerde bulunup bulunmadığını kontrol eden bir değerlendirme, altı notadan dördünün yanlış katmanda olduğunu fark etmezdi.
Ürün bilgilerini kararlara dönüştüren her ajan için yapı da anlam taşır. Aynı durum diğer kategorilerde bedenler, uyumluluk, dozaj veya içerik maddeleri için de geçerlidir. Bilgilerin yanıtta herhangi bir yerde bulunup bulunmadığını kontrol eden bir değerlendirme, bu tür hataları gözden kaçırır.
Ürün Türüne Göre Bir Eğilim
Tasarımcı parfümleriyle ilgili yanıtlarda, üç motorun hepsinde niş parfümlerle ilgili yanıtlara kıyasla listede olmayan notalara daha sık rastlandı; fark 22 ila 32 yüzde puanı arasındaydı. En büyük fark ChatGPT’de görüldü: Tasarımcı parfümleriyle ilgili yanıtlarının onda dördünde listede olmayan en az bir nota yer alırken niş parfümlerle ilgili yanıtlarının onda birinden azında böyle bir nota vardı.
Kısa bir resmî liste, motora nota eklemek için daha fazla alan bırakır. Bu nedenle liste uzunluğunun etkisini kontrol etmek için üç motorun yanıtlarını bir araya getirip üç gruba ayırdık. Her grupta tasarımcı parfümleriyle ilgili yanıtlarda fazladan notalara daha sık rastlandı: Beş veya daha az notadan oluşan listelerde %70’e karşı %31 (27 ve 29 yanıt); altı ila sekiz notalık listelerde %61’e karşı %21 (51 ve 42 yanıt); dokuz veya daha fazla notalık listelerde ise %26’ya karşı %13 (72 ve 77 yanıt). Örneklemler küçük ve her grup farklı parfüm evlerinden ve kaynak sayfalarından derlendiği için bunun nedenini belirleyemiyoruz. Ancak bu eğilim, doğruluğun ürün segmentine göre değiştiğini ve tüm katalog için verilen tek bir oranın bu farklılıkları gizleyebileceğini düşündürüyor.
Alışveriş Ajanları Geliştiren Ekipler İçin Anlamı
Fikir birliğini gerçeği doğrulamak için değil, görüş ayrılıklarını bulmak için kullanın. Modelleri karşılaştırmak, tek bir modelin eklediği bilgileri işaretlemenin düşük maliyetli bir yoludur. Ancak modellerin ortaklaşa verdiği bir yanıtı tespit edemez; bu nedenle son kontrol olarak kullanılmamalıdır.
Kuruma ait bilgileri yine kuruma ait kaynaklara dayandırın. Bir bilginin sahibi varsa (örneğin üreticinin sağladığı teknik özellikler), en güvenilir yöntem bu bilgiyi kaynak sayfasını da içeren yapılandırılmış bir kayıttan almaktır. Açık standartlar bunu uygulanabilir kılar: sayfada schema.org Ürün işaretlemesi kullanmak ve ajanların bir veri kaynağını doğrudan sorgulamasını sağlamak için Model Context Protocol’den yararlanmak. Google’ın yapay zekâ özelliklerine ilişkin yönergeleri, yapılandırılmış verilerin sayfada görünen metinle eşleşmesi gerektiğini ve bu özelliklerde görünmek için özel bir schema.org işaretlemesinin gerekmediğini belirtiyor.
Yalnızca geri çağırımı değil; kesinliği, tam eşleşmeyi ve yapıyı da puanlayın. Her bilgiyi içeren, ancak bunlara ek olarak üç bilgi daha uyduran bir yanıt geri çağırım testini geçer; yine de kullanıcıyı yanıltır.
Referans verilerinin bulunduğu durumlarda deterministik değerlendirme yapın. Yapılandırılmış verilerle karşılaştırma yapan kural tabanlı bir değerlendirici, tekrarlanabilir ve denetlenebilirdir; ayrıca bir modelin kör noktalarını paylaşmaz.
Testi birden fazla kez çalıştırın. Yanıtlar her çalıştırmada değişebilir. Andrew Lissimore bu sitede yapay zekâ destekli alışveriş önerilerini ölçme konusunu ele alırken bu noktaya değinmişti. Çalışmamızda her parfüm için her motora yalnızca bir kez sorgu gönderdik; bu nedenle çalıştırmalar arasındaki değişkenlik bilinmiyor.
Çalışmanın Sınırlılıkları
Her parfüm her motorda, tek bir günde, İngilizce olarak ve tek bir ülkeden bir kez sorgulandı. Claude ve web araması olmayan motorlar test edilmedi. Parfüm evleri bazen yalnızca öne çıkan notaları yayımladığı için resmî bir listede bulunmayan bir nota otomatik olarak yanlış sayılmaz; dolayısıyla kesinlik, doğruluğun alt sınırını verir. Değerlendirici aynı 100 parfüm üzerinde ayarlandı ve örneklem, listeleri doğrulanabilen çoğunlukla Batılı tasarımcı ve niş parfüm evlerinden oluşuyor.
Bu sınırlılıklara rağmen eğilim tutarlıydı. Üç motorun aynı fikirde olması, bilgilerin bir biçiminin yaygın olarak tekrarlandığını gösterir. Ancak bilginin güncel olup olmadığını yalnızca kaynak söyler. Öyleyse, ajanını ikinci bir modele karşı kontrol ettiren herkese şu soruyu soralım: İki model de aynı yanlış yanıtı verdiğinde ajanınız ne yapıyor?












