Mekanik Yorumlanabilirlik Nedir? Araştırmacılar AI Modellerini Nasıl Analiz Eder

Mekanik yorumlanabilirlik, bir sinir ağının içindeki öğrenilmiş bileşenlerin davranışı nedensel olarak nasıl ürettiğini inceler. Yalnızca girdileri çıktılarla ilişkilendirmek yerine, araştırmacılar özellikler, dikkat başlıkları, nöronlar ve devreler hakkında varsayımlar oluşturur ve bu varsayımları test etmek için müdahale eder.

Alan, küçük ve orta ölçekli modellerde seçilmiş davranışlar için ayrıntılı açıklamalar üretmiştir, ancak bir sınır modelinin tam ve güvenilir bir hesabı hâlâ ulaşılamaz durumdadır. Otomatik açıklamalar ve çekici görselleştirmeler faydalı başlangıç noktaları olabilir, kanıt değildir.

Temel Çıkarımlar

• Özellikler temsil edilen kalıplardır; devreler bir hesaplamayı gerçekleştirmek için önerilen etkileşimli bileşenlerdir.
• Aktivasyon yamalama, ablatasyon ve nedensel izleme, bir bileşenin davranışı değiştirip değiştirmediğini test eder.
• Süperpozisyon, bir nöronun birçok özelliğe katılabileceği anlamına gelir; seyrek otomatik kodlayıcılar farklı bir özellik temeli oluşturmayı amaçlar.
• Yorumlanabilirlik yöntemleri gerçek veri, çürütülebilir testler, kapsama alanı ve alternatif açıklamalara karşı değerlendirme gerektirir.

Temsilden Mekanizmaya

Soruşturma, bir aktivasyondan bilginin çözümlenip çözümlenemeyeceğini sorar. Atıf, hangi girdilerin veya bileşenlerin önemli olduğunu tahmin eder. Mekanik çalışmalar, içsel bir hesaplama önererek ve müdahalelerin beklenen ara ve nihai davranışı değiştirip değiştirmediğini kontrol ederek daha ileri gider.

Bu, açıklanabilir AI ile ilişkili ancak daha dar bir kapsamı vardır. Tek bir karar için sonradan verilen bir açıklama, modelin içindeki tersine mühendislik yapılmış bir algoritma anlamına gelmez.

Devreler ve Nedensel Müdahaleler

Araştırmacılar, bir görevle ilişkili bir dikkat başlığı veya özelliği belirleyebilir, onu ablate edebilir, başka bir çalışmadan aktivasyonları yamalayabilir veya bilginin katmanlar arasında nasıl hareket ettiğini izleyebilir. İyi bir varsayım, yeni örneklerde davranışı tahmin eder ve kontroller karşısında dayanır.

Müdahaleler, dağıtım dışı durumlar yaratabilir; bu nedenle bir davranış değişikliği otomatik olarak doğal hesaplamayı ortaya çıkarmaz. Tek bir örnek yerine birden fazla yöntem, eşleşen kontroller ve nicel etkiler kullanın.

Süperpozisyon ve Seyrek Özellikler

Sinir ağları, özellikleri üst üste bindirerek bireysel boyutlardan daha fazla özelliği temsil edebilir. Bu nedenle bir nöron, birbirinden alakasız birden fazla kalıp için aktive olabilir ve nöron düzeyindeki etiketler yanıltıcı olur.

Seyrek otomatik kodlayıcılar, model aktivasyonlarından daha büyük bir özellik sözlüğü öğrenir. Kalıpları daha ayrılabilir hâle getirebilirler, ancak seçilen seyreklik, eğitim verisi, yeniden yapılandırma hatası ve otomatik etiketler elde edilenleri etkiler. Sinir ağı özellikleri hâlâ nedensel doğrulama gerektirir.

Güvenlik, Hata Ayıklama ve Sınırlamalar

Mekanik araçlar, hatırlanmış gerçekleri, önyargıları, yanıltıcı stratejileri veya hata devrelerini bulmaya yardımcı olabilir ve düzenleme ya da izlemeyi destekleyebilir. Aynı araçlar, dağıtık, nadir veya bağlama bağımlı hesaplamaları kaçırabilir.

Bulguları kapsamlı kanıt olarak ele alın: model sürümü, görev, veri kümesi, katman, müdahale, etki ve belirsizlik. Yorumlamayı davranışsal değerlendirmeler, kırmızı takım çalışması ve sorumlu AI yönetişimiyle bağlayın; tek bir güvenlik sertifikası gibi kullanmayın.

Temsiller, Devreler ve Nedensel Kanıtlar

Mekanik yorumlanabilirlik, içsel hesaplamaların model davranışını nasıl ürettiğini inceler. Araştırmacılar aktivasyonları, ağırlıkları, dikkati ve ara özellikleri inceler, ardından temsiller ve devreler hakkında varsayımlar oluşturur. Bir temsil mutlaka tek bir nöronda depolanmaz; yönler, katmanlar, tokenlar ve bağlama bağımlı kombinasyonlar arasında dağıtılmış olabilir.

Seyrek otomatik kodlayıcılar, yoğun aktivasyonları seçici olarak aktive olan daha geniş bir özellik kümesine ayırmaya çalışır. Özellik etiketleri gözlemlenen örneklerin insan yorumlarıdır, gerçek veri değildir. Yeniden yapılandırma hatası, seyreklik, özellik bölünmesi, absorpsiyon ve ölü özellikler, ayrıştırmanın neyi ortaya koyduğunu ve neyi kaçırdığını etkiler.

Korelasyon, mekanik bir iddia için yetersizdir. Aktivasyon yamalama, ablatasyon, nedensel izleme, yönlendirme ve hedeflenmiş ağırlık müdahaleleri, bir bileşenin davranışı öngörüldüğü gibi değiştirip değiştirmediğini test eder. Müdahaleler ayrıca dağıtım dışı durumlar yaratabilir; bu yüzden sonuçların kontroller, doz‑tepki analizi, alternatif açıklamalar ve farklı istemler ve modeller arasında tekrarlanması gerekir.

Sıkı Bir Yorumlanabilirlik Çalışma Akışı

Öncelikle kesin ölçülmüş bir davranış ve rekabet eden varsayımları ayıran bir veri kümesiyle başlayın. İlgili katmanları, konumları, bileşenleri veya özellikleri yerelleştirin; aday mekanizmaları inceleyin; müdahale edin; ve önerilen devrenin yeni durumları tahmin edip etmediğini test edin. Keşif örneklerini doğrulayıcı değerlendirmeden ayrı tutarak seçim yanlılığını azaltın.

Otomatik araçlar nöronları, özellikleri, başlıkları veya yolları sıralayabilir, dil modelleri ise açıklamalar önerebilir. Otomasyon kapsama alanını artırır ancak inandırıcı hikayeler üretebilir. Açıklamaları tutulan aktivasyon örnekleri ve nedensel tahminler üzerinden puanlayın, belirsizliği kaydedin ve modellerin sürümü, tokenleştirici, istemler ve kod ile artefaktların yeniden üretilebilir olmasını sağlayın.

Mekanizmalar çok anlamlı, tekrarlı, doğrusal olmayan ve dağıtık olabilir. Tek bir bileşeni kaldırmak diğerleri tarafından telafi edilebilir, bir özellik ise birden fazla davranışa katılabilir. Olumsuz bulgular bilgilendiricidir: düzenlenmiş örneklerin dışındaki bir devrenin başarısız olması, giderek belirsiz bir açıklama ile kurtarılmak yerine daraltılmalı veya reddedilmelidir.

Uygulamalar, Sınırlamalar ve Güvenlik İddiaları

Yorumlanabilirlik, halüsinasyon, önyargı, ezberleme, kaçak davranış veya beklenmedik genelleme sorunlarını ayıklamaya yardımcı olabilir; modelleri karşılaştırabilir ve bilimsel varsayımlar üretebilir. Ayrıca izleme veya müdahale için özellikleri tanımlayabilir. Bu kullanım şekilleri, faydalı bir araştırma görselleştirmesinin otomatik olarak güvenilir bir üretim kontrolü olmadığı için görev‑özel doğrulama gerektirir.

Algılanan bir özelliğin yokluğu, bir yetenek ya da niyetin yokluğunu kanıtlamaz; okunabilir bir özellik de modelin belirli bir yanıtta onu kullandığını kanıtlamaz. Araçlar, sınırlı kapsama sahip bir hesaplama yansımasını gözlemler. Güvenlik iddiaları, algılama duyarlılığı, yanlış pozitifler, dağılım, düşman ve bilinen kör noktaları belirtmelidir.

Yorumlanabilirliği, davranışsal değerlendirmeler, kırmızı takım çalışması, veri yönetişimi, erişim kontrolleri, izleme ve olay müdahalesi ile birlikte kullanın. Mümkün olduğunda yöntemleri ve karşı örnekleri yayınlayın. Alan hızla ilerliyor, ancak mevcut teknikler sınır‑model düşüncesinin tam ve güvenilir bir açıklamasını ya da genel bir uyum garantisini sunmaz.

Uygulamalı Örnek: Önerilen Model Devresini Test Etmek

Bir modelin bir cümlede dolaylı nesneyi çözmek için bir dizi dikkat başlığı ve özellik kullandığını varsayalım. Araştırmacılar, farklı isimler, konumlar, dikkat dağıtıcılar ve karşı örnekler içeren kontrollü bir veri kümesi tanımlar ve ardından davranışı ölçer. Aktivasyon incelemesi aday bileşenleri belirler, ancak varsayım müdahaleden önce yazılmıştır: her bileşenin hangi bilgiyi taşıdığı, nereye hareket ettiği ve değiştirilmesinin çıktıyı nasıl etkilemesi gerektiği.

Aktivasyon yamalama ve ablatasyon, tutulan örnekler üzerinden gereklilik ve yeterlilik test eder. Beklenen yönde tahmin edilen tokeni değiştiren hedefli bir düzenleme mekanizmayı destekler; geniş çaplı performans kaybı desteklemez. Kontroller, alakasız konum ve bileşenleri yamalar, müdahale büyüklüğünü değiştirir ve alternatif devreleri karşılaştırır. Ekip, açıklamanın başarısız olduğu olumsuz durumları yayınlar ve yalnızca korelasyondan insan‑okunur bir amaç atamaktan kaçınır.

Bir güvenlik uygulaması iddia edebilmek için yöntem, gerçekçi istemler ve düşman uyarlama altında bilinen duyarlılıkla ilgili davranışı tespit etmelidir. Özellik izleyicileri yanlış pozitifler, kaçma, model güncellemeleri ve nedensel alaka açısından değerlendirilir. Yorumlanabilirlik kanıtları hata ayıklamayı ve ek testleri yönlendirebilir, ancak uygulama dış kontrol ve davranışsal izleme içinde kalır. Çekici bir devre diyagramı, kanıtlarla desteklenen bilimsel bir varsayımdır; modelin tam açıklaması ya da görülmemiş davranışlar için bir garanti değildir.

Pratik Uygulama Kontrol Listesi

Kavramı sınırlı, test edilebilir bir çalışma akışına dönüştürün: gözlemle → varsayım oluştur → izle → müdahale et → ölç → tekrarla. Sorumlu bir sahibi adlandırın, verileri ve bağımlılıkları belgeleyin, basit bir temel oluşturun, kabul ve durdurma kriterlerini belirleyin, temsilci hataları test edin ve kapsamı genişletmeden önce izleme, geri alma ve gözden geçirmeyi tanımlayın. Sürümleri ve varsayımları kaydedin, böylece başka bir ekip sonucu yeniden üretebilir ve neyin değiştiğini anlayabilir.

Başlatmadan önce, sistemi inşa eden, işleten, güvenliğini sağlayan ve etkileneni kapsayan kişilerle belgelenmiş bir hazırlık incelemesi yapın. Normal durumları, sınır koşullarını, bağımlılık hatalarını ve kötüye kullanımları test edin; kanıtları ve çözülmemiş riskleri koruyun. Sürüm onayını, eşik değişikliğini, çıktıyı geçersiz kılmayı veya operasyonu durdurmayı kimlerin yapabileceğini tanımlayın. Gerçek dünya verileri geldiğinde kararı yeniden gözden geçirin; çünkü teknik olarak başarılı bir pilot, daha geniş ölçekte güvenilir performansı garanti etmez.

• FEATURES: aday temsil birimleri.
• CIRCUITS: etkileşimli bileşenler ve bilgi akışı.
• VALIDATION: kontroller, müdahaleler, kapsama ve belirsizlik.

Sıkça Sorulan Sorular

Mekanik yorumlanabilirlik, model ağırlıklarını okumakla aynı şey midir?

Hayır. Ham ağırlıklar kendiliğinden açıklayıcı değildir. Araştırmacılar, aktivasyonları, özellikleri, bileşenleri ve müdahaleleri analiz ederek nedensel varsayımlar oluşturur ve test eder.

Seyrek otomatik kodlayıcılar bir LLM’yi tam olarak açıklayabilir mi?

Hayır. Aday bir özellik temeli sunarlar ve devre analizini destekleyebilirler, ancak kapsama, doğruluk, yeniden yapılandırma, etiketleme ve ölçeklenebilirlik hâlâ açık sorunlardır.

Temel Referanslar

• Distill: Circuits
• Meng et al.: Locating and Editing Factual Associations
• Anthropic: Scaling Monosemanticity