Yapay zeka temelleri
Açıklanabilir Yapay Zeka Nedir?
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Açıklanabilir Yapay Zeka (XAI), insanların bir yapay zeka sisteminin davranışını veya çıktısını anlamalarına yardımcı olan yöntem ve uygulamaları içerir. Bir açıklama, etkili girdileri tanımlayabilir, benzer bir örnek gösterebilir, karşıt bir değişikliği sunabilir, küresel bir kuralı özetleyebilir ya da sistemin bilmediği durumları iletebilir.
Her açıklama evrensel olarak en iyisi değildir. Bir modeli hata ayıklayan geliştirici, politika uyumluluğunu test eden denetçi ve bir karardan etkilenen kişi farklı kanıtlara ihtiyaç duyar. Bu nedenle açıklamalar doğruluk, anlam ve amaçlanan kullanım açısından değerlendirilmelidir — sadece görsel çekicilik değil.
Temel Çıkarımlar
- Şeffaflık, mevcut bilgiyi tanımlar; yorumlanabilirlik anlamla ilgilidir; açıklama kanıt veya gerekçeleri iletir.
- Küresel yöntemler bir modeli özetler, yerel yöntemler ise tek bir tahmin ya da küçük bir bölgeyi ele alır.
- Post-hoc açıklamalar faydalı olabilir ancak temel modele karşı istikrarsız ya da güvenilir olmayabilir.
- Bir açıklama adillik, nedensellik, sağlamlık veya doğruluğu kanıtlamaz.
Kullanışlı Açıklamalar İçin Dört İlke
NIST, bir sistemin bir açıklama sunmasını, bunu hedef kullanıcısı için anlamlı kılmasını, sistemin sürecini doğru bir şekilde yansıtmasını ve bilgi sınırlarını iletmesini önerir. Bu ilkeler, bir açıklamanın varlığını kalitesinden ayırır.
Anlam, izleyiciye özgüdür. Kısa bir neden kodu başvuru sahibine yardımcı olabilirken, model geliştiricisinin dağılımlara, özellik davranışına ve hata kümelerine ihtiyacı olabilir. İkisi de aynı belgelenmiş sistem ve karar bağlamına bağlanmalıdır.
İçsel ve Post-hoc Yöntemler
Seyrek bir lineer model ya da kısıtlı karar ağacı, geçerli kapsamı içinde doğrudan yorumlanabilir. Karmaşık bir model ise post-hoc özellik ataması, yerel bir vekil model, örnekler, önem haritaları veya karşıt örnekler kullanabilir.
Özünde basitlik, özellikler kötü tanımlanmış ya da veri işleme hattı gizli olduğunda otomatik olarak güvenilir değildir. Post-hoc karmaşıklık da otomatik olarak yanıltıcı değildir. Yöntem, yanıtlaması amaçlanan soruya karşı test edilmelidir.
Özellik Ataması ve Korelasyonlu Girdiler
Atama yöntemleri, açık varsayımlar altında çıktının bir kısmını girdi özelliklerine atar. LIME, bir tahmin etrafında basit bir yerel vekil model uyarır; SHAP‑tabanlı yöntemler, eklemeli atamaları Shapley değeri kavramlarıyla ilişkilendirir.
Korelasyonlu özellikler atamayı paylaşabilir veya değiştirebilir ve yüksek bir atama nedensel bir etki değildir. Bir özelliği tek başına değiştirmek mümkün olmayan bir kişi, görüntü ya da işlem yaratabilir. Açıklamalar, temel varsayımları, örnekleme ve bağımlılık varsayımlarını belirtmelidir.
Karşıt Örnekler, Örnekler ve Küresel Davranış
Bir karşıt örnek, bir sonucun değişmesi için hangi uygulanabilir değişikliğin gerektiğini sorar. Kısıtlamalar esastır: uygulanabilir bir açıklama, değiştirilemez, yasa dışı ya da gerçekçi olmayan değişiklikleri önermemelidir. Örnek temelli yöntemler prototipleri veya etkili eğitim örneklerini gösterir ancak özel verileri ortaya çıkarabilir.
Küresel analiz, performans, kısmi bağımlılık, tekdüzlülük, etkileşimler ve alt grup davranışını inceler. gradient boosting gibi topluluklar için özetleri yerel kanıtlarla ve beklenen kısıtlamaların doğrudan testleriyle birleştirin.
Açıklamayı ve Sistemi Doğrulama
Doğruluğu, küçük bozulmalara karşı istikrarı, eşdeğer girdiler arasındaki tutarlılığı, kullanıcı anlayışını ve açıklamanın uygun bir kararı destekleyip desteklemediğini test edin. Saldırgan testler, ikna edici bir açıklamanın hatalı ya da manipüle edilmiş bir çıktıya eşlik edip edemeyeceğini kontrol etmelidir.
XAI, daha geniş bir değerlendirmenin içinde yer alır: tutulan kalite, kalibrasyon, adillik, gizlilik, güvenlik, izleme ve itiraz mekanizmaları. Bir açıklama sorumluluğu destekleyebilir, ancak sorumlu yönetişimin yerini tutamaz.
Açıklama Hedefleri ve Yöntem Aileleri
Açıklanabilir Yapay Zeka, bir soru ve izleyiciyle başlamalıdır: bir kararın neden gerçekleştiği, modelin genel olarak nasıl davrandığı, hangi kanıtların etkilediği, sonucun neyle değişeceği ya da bir politikanın uygulanıp uygulanmadığı. Yerel açıklamalar tek bir tahmini ele alırken; küresel açıklamalar daha geniş davranışı özetler. İçsel olarak yorumlanabilir modeller katsayıları, kuralları veya yapıları ortaya koyar, post-hoc yöntemler ise karmaşık modelleri yaklaştırır. Model davranışının bir açıklaması otomatik olarak dünyanın nedensel açıklaması ya da bir kararın adil olduğunun gerekçesi değildir.
Özellik atama yöntemleri, gradyanlar, bütünleşik gradyanlar, SHAP tarzı değerler, permütasyon ve yerel vekil modelleri içerir. Örnek temelli açıklamalar etkili ya da benzer vakaları getirir; karşıt örnekler farklı bir çıktıyla ilişkili değişiklikleri önerir; kavram yöntemleri iç temsilleri insan kategorileriyle ilişkilendirir. Her birinin temel varsayımlar, özellik bağımsızlığı, yerel doğrusalılık ya da model erişimi üzerine varsayımları vardır. Korele değişkenler, etkileşimler ve ön işleme, atamaları istikrarsız ya da yanıltıcı hâle getirebilir. Yöntemleri karşılaştırın ve girdileri bozarak bir açıklamanın davranışı tahmin edip etmediğini test edin.
Değerlendirme ve İnsan Faktörleri
Doğruluğu—açıklamanın modele uyup uymadığını—kişiye yönelik makuliyetten ayrı olarak değerlendirin. İstikrar, duyarlılık, tamlık, seyreklik ve hata ayıklama ya da itiraz gibi tanımlı bir görev için faydalılığı test edin. İnsan çalışmaları temsilci katılımcılara ihtiyaç duyar ve karar kalitesi, hata tespiti, güven ve süreyi ölçmelidir; kullanıcıların bir grafiği net bulup bulmadığı değil. İkna edici bir açıklama hatalı bir modele olan güveni artırabilir, bu yüzden arayüzler belirsizlik, alternatifler ve sınırlamaları göstermelidir.
Karşıt örnekler uygulanabilir, eyleme geçirilebilir olmalı ve korumalı ya da değiştirilemez özelliklerin değiştirilmesini önermemelidir. Açıklamalar model ya da kişisel bilgileri sızdırabilir ve saldırganların kararları tersine mühendislik yapmasına yardımcı olabilir. Erişim kontrolleri ve çıktı minimizasyonu uygulayın. Düzenlenmiş ya da yüksek etkili kullanımlar için veri kökeni, model sürümü, eşik ve gerçek karar mantığını koruyun; genel bir özellik‑önemi grafiği yasal anlamlı bir gerekçe ya da insan incelemesinin yerini tutamaz.
Açıklamaları Sorumlu Bir Şekilde Kullanma
Performans ve operasyonel ihtiyaçları karşılayan en basit modeli seçin, ancak yüzeysel yorumlanabilirlik için geçerliliği feda etmeyin. Açıklamaları alt grup testleri, sağlamlık kontrolleri, ilgili olduğunda nedensel analiz ve sonuç izleme ile birleştirin. Hedef izleyiciyi ve geçersiz çıkarımları belgeleyin. Bir açıklama zararsız bir bozulmadan sonra değişiyorsa, dağıtımdan önce araştırın. Açıklanabilirlik, bir yöntem altında sistem hakkında kanıttır; hata ayıklama, denetim ve iletişim için değerlidir, ancak gerçeği, adaleti, güvenliği ya da anlayışı onaylamaz.
Uygulamalı Örnek: Kredi Riski Modelini Açıklama
Bir kredi veren, öncelikle izleyiciyi ve gerekli nedeni tanımlar: başvuranlar doğru karar faktörlerine ve düzeltme yoluna ihtiyaç duyarken, geliştiriciler tanılamalara ihtiyaç duyar. Kalibre edilmiş yorumlanabilir bir temel, artırılmış bir modelle karşılaştırılır. Yerel atamalar, karşıt örnekler ve küresel hata analizi, doğruluk, istikrar, korele özellik davranışı ve fayda açısından test edilir. Açıklamalar, yaş, engellilik ya da başka değiştirilemez bir özelliği değiştirmeyi önermemeli ve nedensel etkiler olarak sunulmamalıdır.
Üretim karar kaydı, kaynak veriyi, özellik dönüşümünü, modeli, eşiği, politikayı ve insan eylemini korur. Başvuranlar hatalı verileri itiraz edebilir ve anlamlı bir inceleme alabilir. İzleme, sonuç ve açıklama istikrarını gruplar ve model güncellemeleri arasında kontrol eder. Zararsız bir özellik bozulması altında makul bir açıklama değişirse ya da karar verici bir politika kuralı atlanırsa, dağıtım durdurulur. Açıklanabilirlik, doğrulamayı ve prosedürel hakları tamamlar; geçersiz bir hedefi, ayrımcı sonuçları ya da sorumlu insan otoritesinin eksikliğini mazur göstermez.
Uygulama Kanıtları ve Operasyonel Hazırlık
Bir üretim kararı, başarılı bir gösteriden daha fazlasını gerektirir. Hedef kullanıcıları, işletim ortamını, girdileri, çıktıları, bağımlılıkları, sahibi ve her önemli hatanın sonucunu tanımlayın. Ayarlamadan önce tekrarlanabilir bir temel ve sürümlenmiş bir değerlendirme seti oluşturun. Normal durumları, sınır koşullarını, hatalı ya da eksik girdileri, dağılım kaymasını, bağımlılık kesintisini, kötüye kullanımı ve hizmet dışı kalma olasılığı yüksek grup ya da ortamları test edin. Görev kalitesini kalibrasyon veya belirsizlik, gecikme, işlem hacmi, kaynak maliyeti, erişilebilirlik, gizlilik ve güvenlikle birlikte ölçün. Her dönüşümü ve eşiği kaydedin, böylece bağımsız bir inceleyici sonucu yeniden üretebilir ve kanıtı çekici bir prototipten ayırabilir.
Başlamadan önce, sürüm, istisna, değişiklik, geri alma ve emeklilik için yetki atayın. Aşamalı bir dağıtım kullanın, güvenli bir geri dönüşü koruyun ve kasıtlı olarak eklenen hatalarla izlemeyi doğrulayın. Operasyonel telemetri, gereksiz hassas veri toplamayarak girdi kalitesini, çıktı davranışını, model ya da kural sürümünü, bağımlılık sağlığını, insan müdahalelerini ve doğrulanmış sonuçları ortaya koymalıdır. Uyarı eşiklerini ve bir yanıt sorumlusunu tanımlayın, ardından dağıtımdan sonra gerçek dünya kanıtlarını gözden geçirin; çevrim dışı performansın devam edeceğini varsaymayın. Veri kaynakları, kullanıcılar, modeller, satıcılar, politikalar, donanım veya hedefler değiştiğinde yeniden değerlendirin. Bakımı yapılan bir sistem, belgelenmiş bir kurtarma, olay öğrenimi, silme ve saklama prosedürleri ve devre dışı bırakılması ya da değiştirilmesi gerektiği net bir noktaya da ihtiyaç duyar.
Sıkça Sorulan Sorular
Dikkat haritaları açıklama mıdır?
Tanılayıcı sinyaller olabilirler, ancak dikkat ağırlıkları tek başına bir modelin çıktısının nedenlerini doğru bir şekilde temsil edeceği garantilenmez.
Açıklanabilir AI basit bir model gerektirir mi?
Her zaman değildir. Karmaşık modeller post-hoc yöntemlerle analiz edilebilir, ancak bu açıklamaların bağımsız doğrulama ve açıkça belirtilen sınırlara ihtiyacı vardır.
Temel Referanslar
