AWS, Çerçeveler Arası Yapay Zekâ Ajanı Değerlendirmesi için UAEF’yi Tanıttı

AWS, 11 Kasım 2026’da Apache-2.0 lisanslı, yapay zekâ ajanlarını yedi boyutta 36 yerleşik ölçüt kullanarak değerlendiren açık kaynaklı bir sistem olan Universal Agent Evaluation Framework’ü (UAEF) tanıtan teknik bir yazı yayımladı.

UAEF, LangGraph, LangChain, Strands Agents ve Amazon Bedrock AgentCore genelinde değerlendirme sonuçlarının karşılaştırılabilir olmasını sağlayacak şekilde tasarlanmıştır. Bu çerçeveler mesajları, araç çağrılarını ve ajanlar arası devirleri farklı biçimlerde kaydeder. Bu nedenle tek bir biçime bağlı değerlendirme kodu, çerçeve değiştiğinde yeni ölçütler, puanlama mantığı ve sonuç depolama düzeni gerektirebilir. Bu da istemde, modelde veya araçlarda yapılan bir değişikliğin ajanı iyileştirip iyileştirmediğini belirlemeyi zorlaştırır.

AWS’nin bildirdiğine göre telekomünikasyon, sağlık ve finansal hizmetler alanlarında faaliyet gösteren 12 kuruluştaki müşteriler, sürümleri yayımlanmadan önce ajanları tutarlı ölçütlerle değerlendirmek ve karşılaştırmak için UAEF’yi kullandı. awslabs/uaef deposunda Python kütüphanesi, çerçeve adaptörleri, ölçütler, AWS dağıtım altyapısı, web arayüzü ve çalıştırılabilir not defterleri yer alıyor.

Kanonik İzler Ortak Puanlamayı Mümkün Kılıyor

Adaptörler, her ajanın mesajlarını, araç çağrılarını ve devirlerini kanonik AgentTrace, puanlama motorunun kullandığı tek gösterim biçimine dönüştürür. UAEF, önceki bir çalıştırmadan, günlükten veya gözlemlenebilirlik deposundan alınan mevcut bir izi uyarlayabilir ya da bir çalışma zamanı Amazon Kaynak Adı veya HTTP uç noktası üzerinden bir ajanı çağırıp ortaya çıkan yürütme izini dönüştürebilir. Genel amaçlı bir JSON adaptörü, bu süreci özel çerçeveleri de kapsayacak şekilde genişletir.

Ölçüt kataloğu, yerleşik ölçütleri araç çağırma, yanıt kalitesi, sorumlu yapay zekâ, performans, çok turlu konuşma, çok ajanlı koordinasyon ve akıl yürütme başlıkları altında toplar. Puanlar, en iyi değerin 1 olduğu, 0 ile 1 arasında normalize edilmiş bir ölçek kullanır. Deterministik ölçütler doğrudan izlerden ve temel doğrulardan hesaplanırken, hakem olarak LLM kullanan ölçütlerde alaka ve güvenlik gibi nitelikler Amazon Bedrock’taki bir modelle değerlendirilir. Özel ölçütler ile RAGAS ve DeepEval entegrasyonları da desteklenir.

Temel doğrulara dayalı yanıtlar genel olarak isteğe bağlıdır; ancak referans karşılaştırması yapan ölçütler bunları gerektirir. Araç çağırma değerlendirmesinde beklenen araçlar, bunların sırası ve argümanları da tanımlanabilir. Bir ölçüt için gerekli girdi bulunmadığında ölçüt bir uyarıyla birlikte puan döndürmez; bu boş sonuç, sıfır olarak sayılmak yerine boyut ortalamalarının dışında tutulur. Böylece kısmen etiketlenmiş veri kümeleri ve etiketsiz üretim trafiği, girdileri mevcut olan ölçütlerle yine de değerlendirilebilir.

Saklanan Deneyler Gerilemeleri Ortaya Çıkarıyor

Kalıcı olarak saklanan değerlendirmeler deneye dönüşür. Amazon DynamoDB, listeleme ve karşılaştırma için değerlendirme sayıları ile ortalama puanlar da dahil olmak üzere üst verileri saklarken Amazon S3, ölçüt başına puanları ve hakem gerekçelerini içeren tam JSON sonuçlarını tutar. Her bir çalıştırmada çerçeve, model, araçlar, sistem istemi, parametreler, yapılandırma anlık görüntüsü ve Git commit’i kaydedilebilir; böylece her puan, test edilen ajan tasarımıyla ilişkilendirilir. UAEF, izleri depolamadan önce kişisel bilgiler açısından tarar; saklanan sonuçlar için veri maskeleme de kullanılabilir.

İki çalıştırmada ortak olan ölçütler için karşılaştırma motoru, bir temel değere göre mutlak ve yüzdesel değişimleri hesaplar. Varsayılan olarak %5’e ayarlanmış yapılandırılabilir bir eşik, iyileşmeleri, gerilemeleri ve değişmeyen sonuçları birbirinden ayırır; gerilemeler hafif, orta veya ciddi olarak derecelendirilir ve boyutlara göre gruplanır. Bu gruplama, bir istem revizyonunun yanıt kalitesini değiştirmeden araç çağırmayı etkileyip etkilemediğini gösterebilir.

Raporlama, yeniden üretilebilir istatistikleri model tarafından oluşturulan yorumlardan ayrı tutar. Web arayüzü, test senaryosu ve boyut başına sonuçları gösterir. İsteğe bağlı istatistik raporu; puan dağılımlarını, güven aralıklarını, aykırı değerleri, ölçüt korelasyonlarını ve başarısız test senaryolarını bir LLM kullanmadan kapsar. Bedrock tarafından oluşturulan ayrı bir analiz ise tek bir çalıştırma veya karşılaştırma için olası temel nedenleri ve önceliklendirilmiş sonraki adımları önerebilir.

Python kütüphanesi ile az kod gerektiren web hizmeti aynı değerlendirme motorunu ve depoları kullanır. Ekipler, değerlendirmeleri not defterlerinde, betiklerde ve sürekli entegrasyon ile sürekli dağıtım hatlarında ya da tarayıcı üzerinden çalıştırabilir; sonuçların puanlanma ve karşılaştırılma biçimini değiştirmeleri gerekmez.

AWS Bağımlılıkları ve Yalıtım Sınırları

Kurulum kılavuzu, Python 3.10 veya daha yeni bir sürümü ve uv paket yöneticisini gerektirir. Bedrock tabanlı hakem değerlendirmesi ve DynamoDB/S3 kalıcılığı için AWS kimlik bilgileri gerekir. Bu nedenle, söz konusu hakem ve depolama özelliklerini kullanan ekiplerin ajanları farklı çerçeveler kullansa bile AWS hizmetlerine bağlı kalması gerekir.

UAEF, değerlendirilen ajanın çıktısını hakem istemleri için güvenilmeyen girdi olarak ele alır. Değerlendirme ölçütlerini ayrı gönderir, içeriği kaçış karakterleriyle güvenli hâle getirir, hakem yanıtlarını katı biçimde ayrıştırır ve bir puanı kabul etmeden önce kanıtın kelimesi kelimesine alıntılanmasını şart koşar. AWS, hakem puanlarının güvenlik denetimlerini devreye sokmak için kullanılmaması gerektiğini; çalışma zamanı denetiminin ayrı bir Amazon Bedrock Guardrails çağrı yolunda uygulanması gerektiğini belirtiyor.

Depoda UAEF, kullanıcı ve kiracı yalıtımını sağlayan bir platform içinde çalışmak üzere tasarlanmış bir referans mimarisi olarak tanımlanıyor. Bu tür bir ana makine denetimi olmadan doğrudan çok kiracılı dağıtım desteklenmiyor. Her kiracı için ayrı bir dağıtım gerekir; bu dağıtımın kendine ait bir AWS hesabı veya en azından ayrı bir yığını, DynamoDB tabloları, S3 bucket’ları ve Cognito kullanıcı havuzu olmalıdır.

Birden fazla ajan çerçevesi kullanan kuruluşlar için UAEF, istemlerde, modellerde, araçlarda veya uygulama biçiminde değişiklikler olsa da geçerliliğini koruyabilecek istikrarlı bir puanlama temeli sunar. Bu sürekliliği sağlamak, kütüphaneyi kurmaktan fazlasını gerektirir: anlamlı karşılaştırmalar uygun ölçütlere ve veri kümelerine, çok kiracılı kullanım ise UAEF dışında sağlanan yalıtıma bağlıdır.