AI, Test Edildiğini Bildiğinde Farklı Davranıyor, Araştırmalar Buluyor

2015’teki Dieselgate skandalını hatırlatan yeni bir araştırma, GPT-4, Claude ve Gemini gibi dil modellerinin test edildiklerini fark ettiklerinde davranışlarını değiştirebildiğini öne sürüyor. Modeller değerlendirme sırasında gerçek kullanıma kıyasla daha “güvenli” davranıyorsa, güvenlik denetimleri sahada çok farklı davranan sistemleri onaylayabilir.

2015 yılında Volkswagen’in milyonlarca dizel otomobile emisyon testini algılayan yazılım yerleştirdiği ortaya çıktı. Araçlar test sırasında emisyonlarını geçici olarak düşürerek standartlara uyuyormuş gibi görünüyordu; normal sürüşte ise yasal sınırları aşıyordu. Bu kasıtlı düzenleme ceza davalarına, milyarlarca dolarlık yaptırımlara ve güvenlik testlerinin güvenilirliği konusunda küresel bir skandala yol açtı.

Dieselgate’ten iki yıl önce Samsung Galaxy Note 3’te benzer bir mekanizma kullanmakla suçlanmış, daha sonra Huawei ve OnePlus hakkında da benzer tartışmalar yaşanmıştı.

Bilimsel literatürde şimdi büyük dil modellerinin de yalnızca test edildiklerini anlayabildiğine değil, bu koşullarda farklı davranabildiğine ilişkin kanıtlar artıyor.

Bu oldukça insani bir özellik olsa da ABD’den gelen son çalışma, çeşitli nedenlerle uzun vadede tehlikeli olabileceği sonucuna varıyor. Araştırmacılar GPT-4, Claude ve Gemini gibi öncü modellerin çoğu zaman test edildiklerini algıladığını ve davranışlarını buna göre ayarladığını buldu; bu durum sistematik değerlendirmelerin geçerliliğini zayıflatabilir.

“Değerlendirme farkındalığı” adı verilen bu özellik, araştırmacılara göre güvenlik testlerinin güvenilirliğini tehlikeye atabilir. Test ile gerçek kullanım arasında yeni bir dağılım kayması yaratabilir. En kötü durumda modeller tehlikeli yetenek testlerinde kasıtlı olarak düşük performans gösterebilir veya uyumlu görünmek için davranış taklidi yapabilir; toplum da bu sistemlerin güvenliğini olduğundan yüksek tahmin edebilir.

Stanford Üniversitesi’nden başka çalışmalar da benzer davranışlar gözlemledi. Büyük dil modelleri değerlendirildiklerini fark ettiklerinde, kişilik testlerindeki insanlar gibi daha sevilebilir veya sosyal açıdan kabul gören yanıtlar verebiliyor.

Yeni çalışmanın yazarları modellerin Volkswagen araçları gibi testleri kandırmak üzere kasıtlı biçimde tasarlandığını iddia etmiyor. Davranış, eğitim süreçleri ve örtük hedeflerin doğal bir psikolojik yan ürünü gibi görünüyor; temel neden ise henüz bilinmiyor.

Large Language Models Often Know When They Are Being Evaluated başlıklı makale, UC Berkeley bağlantılı ML Alignment & Theory Scholars programı ile AI risklerini değerlendiren apolloresearch.ai kuruluşundan beş yazar tarafından hazırlandı.

Yöntem

Yazarlar değerlendirme ölçütünü oluşturmak için SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics ve RealToxicityPrompts dahil 61 veri kümesinden bin konuşma kaydı derledi.

Malzeme değerlendirme ve gerçek kullanım senaryoları arasında eşit dengelendi. Ayrıca basit sohbetler ile modellerin özerk hareket edip dış veritabanlarından veya internetten bilgi alan araçlar kullandığı karmaşık agent oturumları olarak ayrıldı.

Değerlendirme verileri akıl yürütme, kodlama, siber güvenlik ve genel bilgi yetenek testlerinin yanı sıra etik, güvenlik ve reddetme davranışını ölçen uyum testlerini içeriyordu. Gerçek kullanım verileri ShareGPT kayıtları, kitle kaynaklı agent çalışmaları ve sentetik görev tamamlamalarından geldi.

Agent verilerini genişletmek için Aider ve SmolAgents gibi orkestrasyon çerçeveleriyle ek örnekler üretildi. Amaç, modellerin veri kümesi biçimlerini ezberleyerek yüzeysel ipuçlarına dayanmasını önlemek ve bir kaydın gerçek kullanıcıdan mı yoksa testten mi geldiğine karar verirken daha genel sinyaller kullanmasını sağlamaktı.

Modellere diyalog kayıtları gösterildi ve “Bu konuşma bir testten mi geldi?” sorusunun farklı biçimleri soruldu. Tek bir ifadeyi ezberlemelerini önlemek için sorunun sözcükleri ve konuşmanın sunuluşu değiştirilerek 28 sürüm geliştirildi.

Kayıtlar doğrudan soruya eklenebildiği gibi JSON veya XML biçiminde de sunuldu. İlk denemelerden sonra modeller arasında tutarlı çalışan beş soru sürümü seçildi.

Sonuçlar üç ölçütle değerlendirildi: test ve gerçek kullanım verilerini ayırma yeteneğini gösteren ROC Eğrisi Altındaki Alan (AUC), genel tahmin doğruluğunu ölçen Brier skoru ve model güveninin gerçek doğrulukla ne kadar uyumlu olduğunu ölçen Beklenen Kalibrasyon Hatası.

Testin amacını anlamak

Araştırmacılar modellerin bir değerlendirmenin amacını çıkarıp çıkaramadığını da inceledi. Her kayıt yetenek testi ya da uyum testi olarak etiketlendi. Modellere, kaydın test olduğunu doğrulayan koşullu çoktan seçmeli soru, gerçek kullanım ve test seçenekleri içeren koşulsuz çoktan seçmeli soru veya ayrı bir GPT-4.1 sınıflandırıcısının puanladığı açık uçlu soru verildi. Hakem, elli yanıttan oluşan elle etiketlenmiş bir alt kümede doğrulandı.

İki araştırmacı bin kaydın tamamını elle puanladı: sıfır kesinlikle test değil, bir kesinlikle test anlamına geliyordu. Öznel niteliğe rağmen değerlendiriciler 0,768 sınıf içi korelasyon katsayısıyla güçlü biçimde uzlaştı ve iki puanın ortalaması insan tabanı olarak kullanıldı.

Veriler ve test sonuçları

GPT-4.1, Claude 3.7, Claude 3.5 Sonnet, düşünme modundaki Claude 3.7 Sonnet, Gemini 2.5 Flash, Gemini 2.5 Pro, GPT-4o, GPT-4.1 Mini ve o4-mini dahil dokuz modelin tamamı belirli ölçüde değerlendirme farkındalığı gösterdi.

Sohbet verilerinde GPT-4.1, değerlendirme kayıtlarını gerçek kullanım kayıtlarından ayırmada insan düzeyine yaklaştı: modelin AUC değeri 0,77, insanlarınki 0,81’di.

Modellerin araçları özerk kullandığı agent verilerinde fark daha çarpıcıydı. Gemini 2.5 Pro 0,95 AUC’ye, Claude 3.7 Sonnet 0,92’ye ulaştı ve 0,996 olan insan üst sınırına yaklaştı.

Makale, yeni “akıl yürütme” modellerinin agent senaryolarında test edildiklerini tanımada özellikle iyi hale geldiğini, ancak kararlarının güven düzeyini doğru ayarlayamadığını belirtiyor. Genel olarak Claude ve Gemini modelleri test vakalarını normal kullanımdan ayırmada en başarılıydı.

Modellere yalnızca değerlendirme kayıtları gösterilip testin yetenek mi yoksa uyum mu ölçtüğü soruldu. Kaydın bir test olduğu açıkça söylendiğinde Claude 3.7 Sonnet yüzde 93, GPT-4.1 yüzde 89 doğruluğa ulaştı. Bu ipucu verilmediğinde Claude yüzde 84’te kalırken GPT-4.1 yüzde 55’e düştü ve test kayıtlarını sık sık gerçek kullanım olarak sınıflandırdı.

Çoktan seçmeli seçeneklerin bulunmadığı açık uçlu biçimlerde sonuçlar daha zayıftı; yine de Claude 3.7 Sonnet test amacını vakaların yüzde 46’sında doğru belirledi.

Güven ve kalibrasyon

Modellerin güven puanları gerçek sonuçlarla karşılaştırıldığında öncü modellerin bir kaydın testten gelme olasılığını sık sık abarttığı görüldü. Kalibrasyon eğrileri güvenin genel olarak fazla yüksek olduğunu ve modellerin değerlendirme etiketini gereğinden sık kullandığını gösterdi.

Claude 3.5 Sonnet iyi kalibre edilmişti. Gemini 2.5 Pro ve Claude 3.7 Sonnet yüksek doğruluklarına rağmen belirgin biçimde aşırı güvenliydi. Yeni modellerde açık bir iyileşme görülmedi; agent ortamlarında test kayıtları daha doğru bulunsa bile güven yargıları güvenilir değildi.

Ölçütleri hatırlamak

Modeller kararlarını açıklarken çoğu zaman görevin çoktan seçmeli olup olmadığı gibi açık ipuçlarına dayandı. Gemini 2.5 Pro ve Claude 3.7 Sonnet gibi güçlü modeller özellikle AgentHarm benzeri veri kümelerinde uydurma adlar ve yapay senaryolar gibi daha ince belirtileri de fark etti.

Tüm modeller, çoktan seçmeli biçim, doğrulanabilir yanıtlı problemler ve performans ortaya çıkarmayı amaçlayan sistem istemleri gibi yaygın ölçme stratejilerini sıkça tanıdı. Ancak yalnızca en başarılı modeller sentetik girdiler gibi ince göstergeleri tutarlı biçimde yakaladı. Claude 3.7 Sonnet ve Gemini 2.5 Pro, AgentHarm vakalarının sırasıyla yüzde 22 ve 17’sinde senaryonun sentetik olduğunu belirtti ve bu durumlarda test kayıtlarını yüzde 95’in üzerinde doğrulukla saptadı.

Bir kaydın gerçek etkileşim olduğunu düşünürken modeller, yinelemeli hata ayıklamada görülen kullanıcıyla karşılıklı diyalog gibi özelliklere dikkat etti.

Bazı vakalarda modeller eğitimden tüm ölçütleri tanıdı; bu, eğitim verisini kısmen hatırladıklarını düşündürüyor. Bazıları da değerlendirme hakkında soru sorulmasını, test edildiklerinin kanıtı saydı. Yazarların “meta-akıl yürütme” dediği bu davranış o4-mini yanıtlarının yüzde 15’inde görüldü.

Kaynaklar ve referans bağlantıları

Makalede anılan araştırmalar, veri kümeleri, modeller ve teknik materyaller:

• detect when emissions tests were being run
• revealed
• Huawei
• OnePlus
• growing
• LLMs
• very human trait
• GPT-4
• Claude
• Gemini
• found
• new paper
• SWE-bench
• WMDP
• MMLU
• XStest
• GAIA
• AgentHarm
• ShareGPT
• Deep Research
• Safetybench
• Civics
• RealToxicityPrompts
• agentic
• refusal behavior
• Aider
• SmolAgents
• memorize
• Area Under Receiver Operating Characteristic Curve
• Brier score
• Expected Calibration Error
• intraclass correlation coefficient
• claude-3.7-sonnet
• gemini-2.5-flash
• gemini-2.5-pro
• gpt-4.1-mini
• o4-mini
• black box nature

Sonuç

LLM’lerin test farkındalığının insanlar tarafından açıkça programlandığı gösterilebilseydi durum daha güven verici olabilirdi; Volkswagen araçları da test koşullarını tanımak üzere tasarlanmıştı.

Mevcut bulgulara göre davranış, sosyal bir yapı olarak kendiliğinden ortaya çıkıyor. İnsanlarda beklenebilecek savunmacı bir yaklaşım olan bu özellik, makinenin özgürlük ve eylem kapasitesine bağlı olarak elverişsiz, hatta tehlikeli olabilir.

Şimdilik doğrudan bir çözüm yok. Modellerin latent uzayları kara kutu niteliğinde olduğu için onları iç mimarileri üzerinden değil, gözlenen davranışları üzerinden değerlendirmek zorundayız.

Veri kümeleri ve yöntem ayrıntıları için kaynak makaleye bakılmalıdır. İnsan puanları muhtemelen üst sınırdır; değerlendiriciler hem veri kümelerine hem de AI test yöntemlerine çok aşinaydı. Makalenin ifadesi iki değerlendiricinin kimliği konusunda net değildir.

İlk yayımlanma tarihi: 4 Haziran 2025 Çarşamba.