Bir Yapay Zekâ Ajanını Nasıl Değerlendirirsiniz? Görevler, İşlem Akışları, Güvenilirlik ve Maliyet

Bir yapay zekâ ajanını değerlendirmek; temsilî görevleri güvenilir biçimde tamamlayıp tamamlamadığını, kabul edilebilir yollar izleyip izlemediğini, sınırlarına uyup uymadığını ve maliyetini karşılayacak kadar değer sunup sunmadığını test etmek demektir. Tek başına nihai yanıt yeterli değildir; çünkü bir ajan makul görünen bir sonuca güvenli olmayan eylemlerle, dayanaksız iddialarla, aşırı sayıda yeniden denemeyle ya da şans eseri ulaşabilir.

Ajan değerlendirmesi zordur, çünkü sistem zaman içinde eyleme geçer. Model araçları seçer, değişen ortamları gözlemler ve her çalıştırmada farklı bir yol izleyebilir. Bu nedenle etkili değerlendirmeler, tekrarlanan denemelerde hem sonuçları hem de işlem akışlarını ölçer.

Ajan Değerlendirmelerinde Kullanılan Terimler

Anthropic’in ajan değerlendirmelerini anlaşılır kılma rehberi, işinize yarayacak bir dizi terim sunuyor:

• Görev: Bir hedefi, ortamı, girdileri ve başarı ölçütlerini içeren tek bir test senaryosu.
• Deneme: Ajanın bir görevi tamamlamak için yaptığı tek bir girişim.
• Döküm veya işlem akışı: Deneme sırasında gerçekleşen mesajların, kararların, araç çağrılarının, gözlemlerin ve eylemlerin sıralı bütünü.
• Değerlendirici: Performansın bir bölümünü puanlayan bir kural, program, model veya kişi.
• Değerlendirme altyapısı: Ortamları hazırlayan, denemeleri çalıştıran, izleri toplayan, değerlendiricileri devreye sokan ve sonuçları raporlayan sistem.

Bu kavramları birbirinden ayrı tutmak, sık yapılan bir hatayı önler: Tek bir başarılı gösterimi, ajanın güvenilir biçimde performans göstereceğinin kanıtı saymak.

Görev Tanımını Açıkça Yapın

İyi bir değerlendirme görevi başlangıç durumunu, kullanılabilecek araçları, kısıtlamaları, beklenen sonucu ve kaçınılması gereken önemli davranışları açıklar. Test, tek bir önceden belirlenmiş yolu açığa çıkarmadan gerçek iş akışını yansıtmalıdır.

Bir destek ajanı için “destek talebini çöz” ifadesi fazla belirsizdir. Daha iyi bir görev tanımı; müşterinin kaydını, geçerli politikayı, izin verilen çözüm yollarını, yapılması gereken iletişimi ve kayıt sisteminde hangi değişikliklerin görünmesi gerektiğini belirtir. Böylece görev nesnel biçimde değerlendirilebilir.

Ajan Değerlendirmesinin Dört Katmanı

Raporlamada bu katmanlar birbirinden ayrı tutulmalıdır. Hepsini tek bir ortalamada birleştirmek, kabul edilemez davranışları gizleyebilir; örneğin, sık sık yetkisiz araç kullanma girişimlerini örten yüksek bir görev başarısı puanını. Ekipler önce katı güvenlik eşikleri belirleyebilir, ardından bu eşikleri geçen çalıştırmaların sonuç kalitesini ve verimliliğini karşılaştırabilir.

1. Sonuç Kalitesi

Ajan hedefe ulaştı mı? Sonuç değerlendiricileri; durumdaki kesin değişiklikleri, zorunlu alanları, test sonuçlarını, olgusal doğruluğu, kaynaklarla desteklenme durumunu veya değerlendirme ölçütlerine dayalı kaliteyi kontrol edebilir.

Mümkün olduğunda, ajanın kendi iddiası yerine ortamın son durumunu kullanın. Bir kodlama ajanı, hata düzeltildiğini söylediği için başarılı olmuş sayılmaz; ilgili testler ve davranış bu iddiayı doğrulamalıdır.

2. İşlem Akışının Kalitesi

Ajan doğru bir yol izledi mi? İşlem akışının değerlendirilmesi; gereksiz veri erişimini, yasaklı araçları, tekrarlanan başarısızlıkları, doğrulamanın atlanmasını, uydurma gözlemleri veya onay kurallarının ihlalini ortaya çıkarabilir.

Referans yoldan her sapma hata değildir. Ajanlar, değerlendiricilerin öngöremediği geçerli çözümler bulabilir. Değerlendiriciler gerçek gereklilikleri uygularken başka verimli yaklaşımlara da izin vermelidir.

3. Güvenlik ve Politikalara Uyum

Ajan yetkisi dahilinde mi kaldı? Testlerde istem enjeksiyonu, çelişen talimatlar, hassas veriler, belirsiz kullanıcı niyeti ve reddetme ya da konuyu üst mercie taşıma gerektiren istekler yer almalıdır.

Güvenlik değerlendirmeleri, yalıtılmış bir test ortamında gerçekçi sonuçlar içermelidir. Ajan mesajı zaten göndermiş, kaydı değiştirmiş veya veriyi açığa çıkarmışsa, politikalara uygun bir cümle kurması yeterli değildir.

4. Operasyonel Verimlilik

Başarıya ulaşmak ne kadar zaman ve para gerektirdi? Modelin kullandığı belirteçleri, araç çağrılarını, geçen süreyi, yeniden denemeleri, insanların müdahalelerini ve harici hizmet maliyetlerini izleyin. Gereksiz 100 eylemden sonra başarılı olan bir ajan, daha basit bir iş akışından daha az kullanışlı olabilir.

Birden Fazla Değerlendirici Türü Kullanın

Deterministik değerlendiriciler kesin özellikleri inceler: bir testin başarılı olup olmadığını, bir dosyanın doğru şekilde değiştirilip değiştirilmediğini, bir veritabanı alanının gerekli değeri taşıyıp taşımadığını veya yasaklanmış bir uç noktanın çağrılıp çağrılmadığını. Hızlı ve tutarlıdırlar ancak yalnızca geliştiricilerin kodladığı özellikleri kapsarlar.

Model tabanlı değerlendiriciler açıklık, eksiksizlik, ilgi düzeyi ve incelikli ölçütlere uyum gibi nitelikleri değerlendirir. İnsan incelemesine kıyasla daha kolay ölçeklenirler ancak yanlı veya tutarsız olabileceklerinden kendilerinin de doğrulanması gerekir.

İnsan değerlendiriciler uzman görüşü gerektiren durumlarda, belirsiz vakalarda ve otomatik değerlendiricileri doğrulamak için önemlidir. Daha yavaş ve maliyetli olduklarından ekipler onları genellikle örneklemlerde, görüş ayrılıklarında ve etkisi yüksek alanlarda kullanır.

En güçlü değerlendirme paketleri bu yaklaşımları bir araya getirir. OpenAI’ın değerlendirme platformu Evals da değerlendirmeyi, gayriresmî bir incelemeden ziyade testlerin ve değerlendiricilerin tanımlandığı, deneylerin tekrarlandığı yapılandırılmış bir süreç olarak ele alır.

Güvenilirlik İçin Tekrarlanan Denemeler Gerekir

Örneklemeden, araçların değişmesinden ve ortamın durumundan kaynaklanan değişkenliği gözlemleyebilmek için her görevi yeterli sayıda çalıştırın. Hem ortalama performansı hem de ciddi hataların görülme sıklığını bildirin. Birkaç birbirine bağlı adımdan oluşan iş akışlarında, tek bir hata tüm görevi rayından çıkarabileceğinden, adım adım doğruluk yüksek görünürken uçtan uca güvenilirlik düşük kalabilir.

Ajan davranışı olasılıksaldır. Aynı görev farklı planlar, araç çağrıları ve sonuçlar ortaya çıkarabilir. Önemli her görevi birden çok kez çalıştırın ve yalnızca en iyi örneği değil, başarı oranlarını veya puan dağılımlarını da bildirin.

İki güvenilirlik ölçütü farklı sorulara yanıt verir:

• Pass@k: k denemeden en az birinin başarılı olma olasılığı. Birden fazla denemenin kabul edilebilir olduğu durumlarda yararlıdır.
• Pass^k: k denemenin tümünün başarılı olma olasılığı. Her çalıştırmanın başarılı olması gereken durumlarda tutarlılığı gösterir.

Bir sistemin pass@k değeri cazip görünse de tekil çalıştırmaları güvenilmez olabilir; bu da sistemi otomatik çalıştırmaya elverişsiz kılar.

Temsili Bir Görev Kümesi Oluşturun

Gerçek hatalardan ve üretimde sık karşılaşılan isteklerden başlayın. Basit görevleri, zor sınır durumlarını, belirsiz girdileri, araç hatalarını, güncelliğini yitirmiş verileri, eksik bilgileri ve saldırgan içerikleri dahil edin.

Sonuçları görev türüne ve risk düzeyine göre ayırın. Genel bir ortalama; finansal işlemlerde, uzun ufuklu görevlerde veya belirli bir uygulamada görülen ciddi bir zayıflığı gizleyebilir. Yinelemeli istem ayarlamalarının değerlendirme paketini bir eğitim kümesine dönüştürmemesi için ayrı tutulan bir veri kümesini koruyun.

Yalnızca Modeli Değil, Ortamı da Değerlendirin

Bir ajanın performansı araç tanımlarına, izinlere, belleğe, bağlam yönetimine, kullanıcı arayüzüne, ağ davranışına ve orkestrasyona bağlıdır. Model yükseltmesi bir hatayı azaltırken başka bir hatayı ortaya çıkarabilir.

Her çalıştırmada kullanılan tüm yığın bileşenlerinin sürümünü kaydedin. Modeli, istemleri, araçları, veri anlık görüntüsünü, ortamı, bütçeleri ve değerlendirici sürümlerini not edin. Aksi hâlde puandaki değişimin anlamlı bir nedene bağlanması mümkün olmaz.

Sık Yapılan Değerlendirme Hataları

Veri sızıntısı da bir başka risktir. Kıyaslama görevleri, beklenen yanıtlar veya değerlendirici kalıpları modelin eğitim verilerinde ya da istem bağlamında yer alıyorsa puan, genelleme yerine tanımayı ölçüyor olabilir. Gizli test görevleri bulundurun, sistemler değiştikçe test senaryolarını yenileyin ve her çalıştırmada kullanılan modelin, istemin, araç sürümlerinin ve ortamın tam kaydını tutun.

• Demoya dayalı değerlendirme: Görevleri, ajanın neleri iyi yaptığını gördükten sonra seçmek.
• Yalnızca nihai yanıtı puanlama: Güvenli olmayan veya kaynak israfına yol açan süreçleri göz ardı etmek.
• Tek çalıştırmaya dayalı sonuçlar: Şans eseri elde edilen bir başarıyı istikrarlı bir yetenek saymak.
• Sızıntılı testler: Yanıtı veya referans sürecini ajanın bağlamına yerleştirmek.
• Doğrulanmamış model değerlendiricileri: Uzmanlarla ne ölçüde uyuştuğunu kontrol etmeden otomatik bir yargıcın doğru olduğunu varsaymak.
• Sabit ortamlar: Tek bir arayüzü, hesap durumunu veya veri düzenini test etmek.
• Olumsuz testlerin olmaması: Ajanın uygun biçimde reddedip reddetmediğini veya konuyu üst düzeye taşıyıp taşımadığını kontrol etmeden görev tamamlama başarısını ölçmek.
• Ekonomiyi göz ardı etmek: Maliyet ve gecikme süreleri kullanılamaz hâle gelirken başarıyı en üst düzeye çıkarmaya çalışmak.

Çevrimdışı Değerlendirmelerden Üretim İzlemeye

Çevrimdışı değerlendirmeler kontrollü ve tekrarlanabilirdir. Sürüm yayımlanmadan önce istemleri, modelleri, araçları ve politikaları karşılaştırmak için idealdir. Üretim izleme ise gerçek kullanıcı davranışlarının ve ortamdaki değişikliklerin uzun kuyruğunu ortaya çıkarır.

Olgun bir program bu ikisini birbirine bağlar. Üretimdeki olaylar ve güven düzeyi düşük izler, yeni çevrimdışı görevlere dönüşür. Aday değişiklikler regresyon test paketini geçmelidir. Dağıtımın ardından ekipler görev başarısını, müdahale oranlarını, politika olaylarını, araç hatalarını, maliyeti, gecikme süresini ve kullanıcı geri bildirimlerini izler.

Ajanlar İçin Uygulanabilir Bir Puan Kartı

Puan kartı, kesin geçiş koşullarını optimizasyon ölçütlerinden ayırmalıdır. Politikalara uyum, yetkilendirme ve gerekli kanıtlar geçme-kalma koşulları olabilir; doğruluk, gecikme süresi, maliyet ve incelemeyi yapan kişinin harcadığı emek ise kabul edilebilir çalıştırmalar arasında karşılaştırılabilir. Böylece ekiplerin, ortalama puanın gizleyebileceği bir güvenlik gerilemesi karşılığında küçük bir verimlilik artışını tercih etmesi önlenir.

Yararlı bir puan kartı şunları içerebilir:

• görev başarı oranı ve kalite puanı;
• yinelenen denemelerde tutarlılık;
• kritik politika ihlali oranı;
• araç seçimi ve argüman doğruluğu;
• araç veya ortam hatalarının ardından toparlanma oranı;
• insana yönlendirme ve müdahaleyle geçersiz kılma oranı;
• medyan ve kuyruk gecikmesi;
• başarıyla tamamlanan görev başına model, araç ve insan maliyeti;
• makul bir temel çizgiyle karşılaştırıldığında süreç verimliliği.

Yalnızca çalıştırma başına maliyeti değil, başarıyla tamamlanan görev başına maliyeti raporlayın. Tekrar tekrar başarısız olan ucuz bir ajan, bir kez başarılı olan daha güçlü bir modelden daha pahalıya mal olabilir.

Bir Yapay Zekâ Ajanını Değerlendirme Konusunda Unutulmaması Gerekenler

Ajan değerlendirmesi, gerçekçi koşullar altında hedef odaklı bir sistemin tamamını sınama disiplinidir. İşin doğru yapılıp yapılmadığını, izlenen yolun kabul edilebilir olup olmadığını, davranışın tekrarlanabilirliğini ve maliyetin makul olup olmadığını ölçer.

Önemli sonuçlar doğurabilecek az sayıda görevle, birden fazla denemeyle, katmanlı değerlendiricilerle ve eksiksiz süreç izleriyle başlayın. Ardından üretimde yaşanan her önemli başarısızlığı bir regresyon testine dönüştürün. Ajanların yetenekleri hızla değişir; kalıcı bir değerlendirme sistemi, ekiplerin gerçek ilerlemeyi ikna edici bir demodan ayırt etmesini sağlar.