Sınır Ötesi Yapay Zekayı Kim Denetleyebilir? White House Accord’ın Eksik Tanımı

Bu hafta, Google, OpenAI, Anthropic, Meta, xAI ve Nvidia liderleri White House Accord on Super Intelligence imzaladı. Şirketler, sınır ötesi modeller için dört katmanlı denetim taahhüt etti: iç kontroller, bunları doğrulayan bir iç ekip, bağımsız bir dış denetçi veya değerlendirici ve bağımsız bir kurul komitesi. Taahhütler şu anda gönüllüdür ve anlaşma, bunların sonunda yasalaştırılabileceğini belirtiyor.

Dört katmandan, dış değerlendirme en fazla ağırlığa sahiptir. Bu, şirket dışındaki birinin güvenlik önlemlerinin işe yarayıp yaramadığını söyleyebileceği tek katmandır. Aynı zamanda en az tanımlamaya sahiptir. Anlaşma, bağımsız bir değerlendiricinin kim olarak niteleneceğini, hangi standarda göre değerlendirme yapacağını, ne kadar erişim elde edeceğini veya bağımsızlığın, değerlendiricinin aynı şirkete hizmet satması durumunda nasıl korunacağını belirtmez. Her şirket kendi değerlendiricisini seçer.

Bu şartlar altında, iki şirket bağımsız bir değerlendirmeyi geçtiğini duyurabilir ve çok farklı anlamlar taşıyabilir. Bu boşluğu kapatmak üç soruya yanıt bulmayı gerektirecek.

Kimlerin Nitelikli Olduğunu Ne Belirlemeli

Bağımsız bir AI değerlendiricisinin güvenilir tanımı en az dört unsuru kapsamalıdır.

Bağımsızlık. Bir değerlendirici, tasarlamasına yardımcı olduğu güvenlik önlemlerini gözden geçirmemeli ve aynı şirkete iyileştirme ya da danışmanlık hizmeti satmamalıdır. Olgun denetim alanları ayrıca ücret bağımlılığını izler. Bir müşterinin değerlendiricinin gelirinde büyük bir paya sahip olması durumunda, değerlendiricinin daha yumuşak davranması için bir nedeni olur.

İşe uygun yetkinlik. “Denetim” AI’da çeşitli faaliyetleri kapsar. Bir modeli tehlikeli yetenekler için test etmek, örneğin bir siber saldırıya ya da biyolojik bir silaha yardım etmesi, makine öğrenimi araştırmacıları ve alan uzmanları gerektirir. Bir şirketin güvenlik önlemlerinin iyi tasarlanıp pratikte çalışıp çalışmadığını kontrol etmek deneyimli kontrol denetçileri gerektirir. Bir alanda nitelikli bir değerlendirici, diğer alanda otomatik olarak nitelikli değildir ve bir değerlendirme raporu hangi türün yapıldığını belirtmelidir.

Erişim ve kapsam. Sadece belgeleri gören bir değerlendirici, bir güvenlik önleminin belgelerde var olduğunu doğrulayabilir. Bunun çalıştığını teyit etmek ise sistemlere, günlük kayıtlara, onay kayıtlarına ve kişilere belirli bir süre boyunca erişim gerektirir. Sınır ötesi modeller eğitim çalıştırmaları ve dağıtımlar arasında değişir, bu yüzden değerlendiricinin bir değişikliğin yeni bir inceleme gerektirdiği konusunda net bir kuralı olmalıdır.

Değerlendiricinin denetimi. Birinin denetçileri denetlemesi gerekir. Yerleşik denetim piyasalarında, akreditasyon kurumları değerlendiricilerin çalışmalarını inceler ve eksik olduğunda itibarlarını kaldırabilir. Bu güvence, bir değerlendirmenin sonuçlarına ağırlık veren şeydir.

Zaten Mevcut Olan Altyapı

 Bu şeylerin hiçbiri sıfırdan icat edilmek zorunda değil. AI yönetim sistemleri için uluslararası standart olan ISO 42001, kuruluşlara belgelenmiş kontroller, net sorumlular ve sürekli iyileştirme ile AI’yi yöneten bir çerçeve sunar. Yanı sıra gelen ISO 42006, ISO 42001’e karşı denetim ve sertifikasyon yapan kuruluşlar için gereksinimleri belirler; bu gereksinimler denetçilerin göstermesi gereken yetkinlik ve uyması gereken tarafsızlık kurallarını içerir. Sertifikasyon kuruluşları akreditasyon altında çalıştığından, üçüncü bir taraf denetçileri denetler.

AIUC-1 belirli dağıtımlarda belirli AI ajanlarını sertifikalandırır, halüsinasyonlar, jailbreak’ler ve güvensiz araç kullanımı gibi sorunlar için tekrarlayan üçüncü taraf testleri içerir ve ISO 42001’in kontrolleri üzerine inşa edilir.

Eyaletler ayrıca değerlendiricileri doğrudan denetlemek için modelleri test ediyor. Connecticut bu yıl bir pilot programı oluşturacak bir yasa çıkardı; program Temmuz 2027’de başlıyor ve eyaletin Tüketici Koruma Departmanı en fazla beş bağımsız doğrulama kuruluşunu onaylayacak. Her biri kapsamını, yöntemlerini, raporlama yükümlülüklerini ve yönetişimini tanımlayan eyalet denetimli bir anlaşma yapmalı. Bu yapı, anlaşmanın birkaç açık sorusuna yanıt veriyor: değerlendiricileri kim onaylıyor, neye tabi tutuluyor ve kim denetliyor.

Bu parçalar sınır ötesi model değerlendirmesi için oluşturulmadı ve tam bir yanıt olarak sunulmamalıdır. Önümüzdeki iş, bunları birleştirerek yönetim sistemi güvencesi, teknik model testi ve değerlendirici denetiminin bağımsızlığın tek bir güvenilir tanımı altında bir araya gelmesini sağlamaktır.

Kuralların Önce Gelmesi Neden Gerekiyor

Anlaşmanın taahhütleri bugün gönüllüdür. Yasa haline gelirse, bir değerlendiricinin kim olabileceğine dair kurallar, zorunluluk yürürlüğe girmeden önce üç nedenden dolayı yerinde olmalıdır.

İlk olarak, erken uygulama bir emsal haline gelir. İmzalayanlar değerlendiricileri adlandırıp sonuçları yayınlamaya başladığında, piyasa “bağımsız” ve “nitelikli” için çalışan tanımlara yerleşecektir. Dış baskı olmadan belirlenen tanımlar genellikle kolaylığa eğilimlidir. Daha sonra gelen yasa yapıcılar bu tanımları zaten sözleşmelere ve beklentilere yerleşmiş bulacaklardır.

İkinci olarak, nitelikli kapasitenin inşa edilmesi zaman alır. Değerlendirme kuruluşlarını akredite etmek, hem sınırdaki modelleri hem de kontrol testlerini anlayan değerlendiricileri eğitmek ve ortak yöntemler geliştirmek yıllar sürer. Bu kapasite mevcut olmadan gelen bir zorunluluk, mevcut olan kişi tarafından karşılanacaktır.

Üçüncü olarak, arkasında nitelikli bir değerlendirici pazarı olmayan bir gereklilik, sadece kutu işaretlemesi üretir. Şirketler kuralın harfini yerine getirecek, düzenleyiciler zayıf değerlendirmelere itiraz edecek çok az dayanak bulacak ve kamu denetiminin görünümünü, ancak çok az somut içeriği elde edecektir.

Bazıları, sınırdaki modelleri değerlendirme biliminin hâlâ yeni olduğu için bu kuralların konulmasının çok erken olduğunu savunuyor. Bu, modeller geliştikçe evrimleşmesi gereken test yöntemleriyle ilgili adil bir endişe. Burada ortaya çıkan sorular değerlendiriciyle ilgilidir: Çıkar çatışmalarından uzak mı, göreve nitelikli mi, yeterli erişime sahip mi ve denetime tabi mi? Bu soruların sabit yanıtları vardır ve diğer güvence alanları onlar için on yıllardır yanıt vermektedir.

Şirketlerin Şimdi Yapabilecekleri

İleri yapay zeka geliştiren veya kullanan şirketlerin bir zorunluluk beklemesi gerekmez. Bir değerlendirici seçerken, firmadan aldıkları diğer hizmetlerin neler olduğunu, ekibinin belirli değerlendirme türü için hangi niteliklere sahip olduğunu, sözleşmenin ne kadar erişim sağladığını ve firmanın çalışmalarını kimin denetlediğini sorabilirler. Şu anda bir yapay zeka yönetim sistemi kurmak, gelecekteki herhangi bir değerlendiriciye değerlendirebileceği somut ve belgelenmiş bir şey sunar.

Bu anlaşma, yapay zeka sorumluluğu için sağlam bir yapı oluşturur. Değeri, değerlendirici rolünü kimin üstleneceğine ve onlardan ne bekleneceğine bağlıdır; bunu tanımlama süresi ise kimsenin bunu kullanması zorunlu olmadan önce gerçekleşmelidir.