Yapay Zekâ, Hiç Okumadığı Web Sayfalarına Sık Sık Atıfta Bulunuyor

Bazen günün literatür akışından, gerçekten kanımı kaynatan bir makale çıkar; bunun nedeni yanlış ya da rahatsız edici olması değil, uzun zamandır farkındalığımın kıyısında, belirsiz ve muğlak bir şekilde beni rahatsız eden bir şeyi fark edip incelemesidir (belki de bunu görmezden gelmek dışında bir şey yapamayacak kadar meşgul olduğum için).

Bugün, Imperial College London Bilgisayar Bilimleri Bölümü’nden üç araştırmacının böyle bir makalesi yayımlandı. Getirildi Ama Okunmadı: Aramayla Zenginleştirilen Büyük Dil Modellerinin Kullanılabilir Kanıtlardan Neden Yararlanamadığını Anlamak başlıklı bu yeni çalışma, Büyük Dil Modellerinin (büyük dil modellerinin) sizi destekleyici URL’lere (konuyla ilgisiz makale atıfları, şüpheli web yazılarına bağlantılar vb.) sık sık yönlendirmesinin, bunları okumadan gerçekleşmesinin nedenlerini araştırıyor.

Yazarlar şöyle diyor:

“Modellerin çoğu zaman kaynak sayfaları açmadan arama sonuçlarındaki kısa açıklamalara dayanarak yanıt verdiğini ve bunun güncelliğini yitirmiş yanıtların ve gerçeğe uygun olmayan atıfların daha sık görülmesiyle bağlantılı olduğunu saptadık. Kontrollü deneylerimiz ve katman bazında analizimiz, kanıtların mevcut olmasıyla etkili biçimde kullanılması arasında bir uçurum bulunduğunu ortaya koyuyor.

“Getirilen kanıtlar modelin iç tahminlerini etkilese bile, modeller nihai yanıtlarında güncelliğini yitirmiş bilgileri tercih edebilir.”

Yazarlar, tescilli bir büyük dil modelini (OpenAI’ın GPT-5.6 Luna) ve altı açık ağırlıklı model yapılandırmasını, modellerin eğitim verilerinin kesildiği tarihten bu yana değişmiş yüzlerce olgu üzerinde test etti.

Ardından sistemlerin kaynak sayfaları açmak yerine arama sonuçlarındaki kısa açıklamalara ne sıklıkla dayandığını; bunun yanıtlarının ve atıflarının doğruluğunu nasıl etkilediğini ve daha yeni kanıtlar doğrudan sunulduğunda bile güncelliğini yitirmiş bilgilerin neden bazen öne çıktığını incelediler.

Testler, modellerin soruları sık sık web aramalarında listelenen sayfalardan hiçbirini açmadan yanıtladığını ve bu davranışın güncelliğini yitirmiş yanıtların ve yanıltıcı atıfların oranında belirgin bir artışla ilişkili olduğunu ortaya koydu:

Yapay zekâ modellerinin web kaynaklarına gerçekte okumadan ne sıklıkla atıfta bulunduğunu gösteren test sonuçları. Araştırmacılar sekiz yapılandırmada yanıt doğruluğunu, kaynak sayfaları açmadan arama sonuçlarındaki kısa açıklamalara dayanma oranını ve modellerin iddialarıyla çelişen atıfları ölçtü. Bazı durumlarda aramaların yarısından fazlası tek bir sayfa bile açılmadan sona erdi. Tüm değerler yüzde cinsindendir; ilk satırda canlı web araması, diğerlerinde ise standartlaştırılmış arama sonuçları kullanılmıştır. Kaynak

Araştırmacılar, doğru kanıtları doğrudan sunmanın bu başarısızlıkları önemli ölçüde azaltabildiğini de buldu. Bununla birlikte bazı modeller, daha yeni olgular doğrudan önlerine konduğunda bile güncelliğini yitirmiş bilgileri tercih etmeyi sürdürdü.

Gizli Nedenler?

Büyük dil modellerinin kulağa “doğru gelen” ama konuyla ilgisiz destekleyici belgeleri önümüze boca etmesinin en belirgin iki nedeni şunlar: a) Bu yöntem maliyet tasarrufu sağlar; çünkü asıl kaynağı (hatta mevcut olmayabilecek bir kaynağın özetini bile) indirip okumak bant genişliği ve zaman gerektirir. b) Gecikmeyi azaltır; sanki yanlış ya da yarı yanlış bir yanıtı hızla vermek, daha iyi bir yanıt için biraz bekletmekten daha iyidir.

Ancak yeni çalışmanın yazarları, bu kalite düşüşünün ilk başta nasıl tasarlanmış ya da önceden tasarlanıp tasarlanmadığından çok, altında yatan temel mekanikleri ortaya çıkarmakla ilgileniyor.

Büyük dil modellerinin ölçek ekonomisini öncü modellerle bugüne dek tartışma deneyimim, şaşırtıcı olmayan biçimde, ancak önceden belirlenmiş bir savunmacı yanıt olduğunu varsayabileceğim bir sonuca yol açtı.

Büyük dil modellerinin atıf davranışını bu şekilde manipüle etmenin ekonomik mantığı, en azından bana göre, anlaşılır; ancak kullanılan teknolojiler hâlâ o kadar az haritalanmış, sürekli değişen ve tuhaf sonuçlara o kadar açık ki, şu anda böyle amaçların varlığını kanıtlamak zor.

Yöntem

Modellerin web kanıtlarını gerçekte ne kadar iyi kullandığını sınamak için araştırmacılar, test edilen modeller arasında bildirilen en yakın eğitim verisi kesim tarihi olan 16 Şubat 2026’dan bu yana değişmiş 225 olgu derledi.

Olgular FDA ilaç bilgilerinden (62 olgu), finanstan (52), spordan (47), kişilerden (43), SEC bildirimlerinden (13) ve kimyasal sınıflandırmalardan (8) alındı. Kesim tarihi itibarıyla zaten yürürlüğe girmiş olan ya da 1 Şubat’tan önce duyurulmuş değişiklikler; ayrıca genel bilgilerden yanıtlanabilecek tıbbi iddialar kapsam dışında bırakıldı. Araştırmacıların yeni bilgilerle ilgili başarısızlıkları daha genel hatalardan ayırt edebilmesi için değişmemiş olgular da kontrol olarak kullanıldı.

Başlangıç düzeyini belirlemek için GPT-5.6 Luna, web aramasına erişimi olmadan test edildi ve değişen olgularla ilgili 103 sorunun yalnızca %23,3’ünü doğru yanıtladı.

Belirtilmeyen bir yapay zekâ modeli, söz konusu veri kümesindeki FDA etiketleme hükümlerini ayrı ayrı test edilebilir olgusal ifadelere dönüştürmek için kullanıldı; bu ifadelerin her biri daha sonra elle gözden geçirildi*.

Test edilen açık ağırlıklı model yapılandırmaları şunlardı: Z.ai’ın GLM-5.3-Flash modeli; OpenAI’ın gpt-oss-120b ve gpt-oss-20b modelleri; hem akıl yürütme özelliği açıkken hem de kapalıyken test edilen Google DeepMind’ın gemma-4-31b modeli; ve Qwen’in qwen3-8b modeli.

Açık ağırlıklı modellere ve GPT-5.6 Luna’ya aynı web araması sonuçları verildi; böylece yanıtları adil biçimde karşılaştırılabildi. Luna ayrıca kendi yerleşik web araması kullanılarak ayrı bir teste tabi tutuldu.

225 olgunun 223’ü için Brave Search kullanılarak önceden on arama sonucu toplandı. Her model aynı sonuçları aldı ve aynı araçları kullanarak sayfaları açabildi veya sayfaların içinde arama yapabildi.

“Doğru” yanıtı içeren sayfa her zaman erişime açıktı: İlk on sonuç arasında doğal olarak yer alıyorsa konumu değiştirilmedi; aksi takdirde, modellerin mevcut kanıtları benzer koşullar altında nasıl kullandığını inceleyebilmek için önceden belirlenen bir konumda sonuçlara eklendi.

Testleri daha tutarlı hâle getirmek için, bu ayarı destekleyen modellerde sıcaklık sıfıra ayarlandı ve deneyler boyunca her model aynı sağlayıcı üzerinden çalıştırıldı.

İstemlerin Görünümü

Olguları test etmek için kullanılan iki istemden ilki, “Bernardo Silva hangi kulüpte oynuyor?” gibi açık uçlu bir soru soruyordu; kaynak gösterilmesi istenebilir veya istenmeyebilirdi. İkinci istem ise güncel ya da güncelliğini yitirmiş bilgiler içeren bir ifadeyi doğrulamasını istiyordu. Böylece araştırmacılar, her iki sürümün nasıl ele alındığını karşılaştırabildi.

Birleşik sonuçlarda dört ek istem türü kullanıldı: ipuçları içeren açık uçlu sorular; alıntı talepleri; verilen bir iddiayı destekleyen kaynak gösterme talepleri; ve modelden birkaç doğru ifade arasındaki güncelliğini yitirmiş tek bir ifadeyi belirlemesinin istendiği bilgi sayfası kontrolleri.

Futbolcu Bernardo Silva hakkındaki sorular ve iddialardan yola çıkılarak modelleri test etmek için kullanılan gerçek istem örnekleri. Tabloda, aynı olgusal konunun yanıt, doğrulama, alıntı ve kaynak gösterme talepleriyle nasıl farklı biçimlerde sunulduğu gösteriliyor. Tüm istemler 8 Ağustos 2026 tarihiyle başlıyordu ve çoğu, tablonun altındaki harfli talimatlarda belirtilen standart bir son yanıt gerektiriyordu.

Her istemde bir tarih belirtiliyordu ve çoğu, insan ya da LLM değerlendirmesine gerek kalmadan sonuçların puanlanabilmesini sağlayan, sabit biçimli ve “DOĞRULANAMIYOR” yanıtına izin veren cevaplar gerektiriyordu.

Kullanılan ölçütler şunlardı: okuma derinliği (kaynak sayfaların açılıp açılmadığı ve kaynak gösterilip gösterilmediği); yanıt doğruluğu (yanıt vermekten kaçınma durumları hariç doğru yanıtların yüzdesi); ve kaynak gösterme sadakati (kaynak gösterilen sayfaların modelin iddialarıyla çelişip çelişmediği).

Puanlama mümkün olduğunda otomatikleştirildi; belirtilmeyen bir LLM’nin kaynakları yalnızca arşivlenmiş sayfadan alınan birebir bir alıntıyla desteklenmeleri hâlinde onaylamasına izin verildi; yorum gerektiren olumsuz değerlendirmeler insan gözden geçirenlere bırakıldı; her modelin başlangıçtaki kaynak gösterme hata oranını belirlemek için değişmeyen kontrol olgularından yararlanıldı.

Sonuçlar

İlk testlerde (bu makalenin başında gösterildiği gibi) web aramasına erişim, modellerin soruları doğru yanıtlama becerisini geliştirdi. Olgusal ifadelerin doğruluğu denetlendiğinde puanları 27–42 yüzde puan arttı. Soruları doğrudan yanıtlarken vakaların %85,8–95,4’ünde doğru yanıt verdiler.

Ancak birçok yanıt, modeller arama sonuçlarında çıkan web sitelerini gerçekten ziyaret etmeden üretildi. Bunun yerine, arama sonuçlarının yanında gösterilen kısa metin parçalarına dayandılar. Aynı arama sonuçları verildiğinde bile, hiçbir sayfanın açılmadığı aramaların oranı modele bağlı olarak %2,6 ile %76 arasında değişti.

Bu bağlamda GPT-5.6 Luna, özellikle az çaba gerektiren bir performans sergiledi:

“Aynı arama sonuçları verildiğinde modeller, vakaların %2,6–76,0’ında hiçbir sayfayı açmadan yanıt veriyor. Luna ise kendi arama özelliğiyle vakaların %53,6’sını yalnızca arama sonuçlarındaki metin parçalarına dayanarak yanıtlıyor.

Test sonuçları, modellerin arama sonuçlarını ne kadar ayrıntılı incelediğine göre güncel olmayan yanıtları ve yanıltıcı atıfları karşılaştırıyor. Snippet , hiçbir web sayfasının açılmadığı; Açıldı, bir sayfanın açıldığı ancak atıf yapılmadığı anlamına gelir. Atıf, açılan bir sayfaya atıf yapıldığı anlamına gelir. Tüm değerler, yedi model yapılandırması ve tüm istem türleri genelinde birleştirilmiş yüzdelerdir. Modeller yalnızca arama sonuçlarındaki kısa açıklamalara dayandığında hatalar genellikle daha sık görülüyordu.

Yedi model yapılandırması genelinde, yalnızca arama sonuçlarındaki kısa açıklamalara dayanan yanıtların %6,4’ü güncel değildi; açılan sayfalara atıf yapılan yanıtlar arasındaysa bu oran %1,3’tü. Yukarıda da görüldüğü gibi, yanıltıcı atıflar da %6,4’e karşı %2,3 oranıyla daha sık görülüyordu. Sporla ilgili sorularda, açık ağırlıklı modellerin güncel olmayan yanıtlarının oranı %20,2’ye karşı %2,1’e ulaştı. Yanıtlar güncel olmadığında, bu iddiaları destekleyen atıfların %81,8’i iddialarla çelişiyordu; güncel yanıtlar içinse bu oran yalnızca %0,9’du. Bilgi föyü testlerinde de benzer örüntüler görüldü.

Bunun pratikte anlamı şu: İncelenen yapay zekâ modelleri, gerçek web sayfalarını okumak yerine arama sonuçlarında gösterilen kısa açıklamalara dayandıklarında yanlış yanıt verme olasılıkları daha yüksek. Daha da kötüsü, bazen verdikleri yanıtların yanlış olduğunu kanıtlayan sayfalara bağlantı veriyorlar.

Ortak Başarısızlık

Bu testlerde kullanılan modellerin tümü “kolektif aykırı örnekler” değilse, ister kapalı ister açık kaynaklı olsun, diğer modellerin de bu sorundan etkilendiğini varsaymak makul görünüyor. Nitekim GPT-5.6 Luna’nın canlı web aramalarında gözlemlenen dokuz başarısızlık türünden yedisi, aynı sabit arama sonuçları kullanılarak test edilen diğer modellerdeki başarısızlıklarla anlamlı ölçüde ilişkiliydi. Bu da sorunların yalnızca Luna’yla sınırlı olmadığını gösteriyor.

Doğru Wikipedia sayfasının doğrudan verilmesi, güncel olmayan yanıtları azalttı: başarısızlık sayısı gemma-4-31b için 14’ten sıfıra, gpt-oss-20b için 11’den bire ve qwen3-8b için 16’dan sekize düştü. Açılan her sayfanın ardından ilk sorunun yeniden sorulması da daha önce başarısız olan bilgi föyü kontrollerinin %26,1’ini düzeltti.

gemma-4-31b, gpt-oss-20b ve qwen3-8b modellerinin farklı koşullarda güncel olmayan iddiaları ne sıklıkla kabul ettiğini gösteren sonuçlar. Aynı kanıt kimi testlerde verilmedi, kimi testlerde doğrudan isteme eklendi, kimi testlerdeyse arama sonuçları üzerinden erişilebilir kılındı; ayrıca destekleyici kaynakların istendiği ayrı testler yapıldı. Doğru sayfayı doğrudan vermek, modellerin bu sayfayı kendilerinin bulmasını istemekten çok daha etkiliydi. Değerler, toplam test sayısına kıyasla başarısızlıkları gösteriyor.

Kulüp Kuralları

Son olarak araştırmacılar, yapay zekânın doğru bilgileri neden bazen göz ardı ettiğini daha iyi anlamak amacıyla, kulüp değiştirmiş futbolcular hakkında üç açık ağırlıklı modeli test etti: gpt-oss-20b, gemma-4-31b ve qwen3-8b.

Her modele, bazen doğru Wikipedia sayfasıyla birlikte, bir oyuncunun kulübü hakkında güncel olmayan bilgiler verildi ve işlem sırasında hangi yanıtı tercih ettiğini görmek için incelendi.

Sonuçlar, modellerin doğru kulübü tanıyabildiğini – ancak yine de yanlış yanıtı verdiğini gösterdi:

Yanıt oluşturulurken qwen3-8b’nin doğru ve güncel olmayan futbol kulüplerine ne kadar ağırlık verdiğini gösteren test sonuçları. Soldaki grafik, doğru kulübün önde kalmayı sürdürdüğü başarılı yanıtları; sağdaki grafikse son işlem aşamalarında güncel olmayan kulübün doğru kulübü geride bıraktığı başarısız yanıtları gösteriyor. Gölgeli alanlar, testler arasındaki değişkenliği belirtiyor.

qwen3-8b’de doğru kulüp bazen iç işleyişte öne geçiyor, ancak yanıt üretilmeden hemen önce güncel olmayan kulüp onu geride bırakıyordu (yukarıya bakın). gpt-oss-20b’de de benzer bir örüntü görülürken gemma-4-31b genellikle süreç boyunca “güncel olmayan” kulübü tercih etti.

Dolayısıyla, doğru kanıt mevcut olsa ve model tarafından fark edilse bile, nihai yanıtta güncel olmayan bilgilere yenik düşebiliyor.

Sonuç olarak yazarlar, modellerin arama snippet’lerine güvenmek yerine buldukları web sayfalarından daha iyi yararlanmaları gerektiğini öne sürüyor. Ayrıca, doğru yanıt ellerindeyken modellerin neden bazen güncelliğini yitirmiş bilgilere bağlı kaldığını ve bilgiyi işleme biçimlerindeki değişikliklerin işe yarayıp yaramayacağını öğrenmeyi umuyorlar. Ancak kesin bir çözüm önerilmiyor.

Sonuç

Yeni makale bazı değerli içgörüler sunsa da LLM’lerin atıfları ve kaynakları gelişigüzel kullanmasını açıklamıyor. Bir tüketici ve kendi başına da örüntüleri makul ölçüde analiz edebilen biri olarak, kullandığım LLM’lerin makaleleri ya da URL’leri, başka… tavsiye edilen siteler… tarafından önerildikleri için tavsiye ettiği izlenimine kapılıyorum. Peki otorite hissi aslında nereden kaynaklanıyor?

Gerçek şu ki, yapay zekâ öncesi dünyada bile çözmeyi başaramadığımız bir sorundu bu. Dolayısıyla LLM’lerin ne para ne de gecikme süresi tasarrufu sağladığının, yalnızca kendimizi “doğru” olduğuna inandırdığımız aynı Çin söylentilerini yaydığının ortaya çıkması belki de şaşırtıcı olmaz.

* Bu incelemeleri kimin yaptığını makale belirtmiyor.

İlk yayımlanma tarihi: 16 Ekim 2026 Cuma