Yapay Zeka Denetimi Üç Kör Noktasına Sahip — ve Çoğu Şirket Bunların Hiçbirini İzlemiyor

Şirketlerin içindeki çoğu yapay zeka güvenliği konuşması yanlış hedefe yöneliktir. Ekipler, hangi modeli kullanacağı hakkında haftalarca tartışır, sonra bu modeli e-postalarına, ödemelerine, müşteri veritabanlarına ve kodlarına bağlar, ancak daha basit bir soru sormayı unutur: Bu şey bir şey yaptığında, kim izliyor ve durdurabilir mi?

Rakamlar, bunun yakın zamanda pahalıya mal olacağını söylüyor. Gartner, 2028’de rutin iş kararlarının en az %15’inin otomatik olarak yapay zeka tarafından verileceğini öngörüyor, bu oran 2024’te neredeyse sıfırdı. Aynı araştırmada, 2027 yılı sonuna kadar agentic yapay zeka projelerinin %40’ından fazlasının iptal edileceğini uyarıyor ve nedenlerinden biri olarak zayıf risk kontrollerini gösteriyor. Bunu tekrar okuyun. Projeler, modellerin kötü olmasından değil, kimse onları yönetecek bir yol oluşturmadığı için ölüyor.

Yapay zeka için yönetim sistemleri kurmak benim işim, bu nedenle aynı boşlukları sürekli olarak görüyorum. Üç tanesi var. Çoğu şirket bunlardan hiçbirini düzgün bir şekilde izlemiyor ve birçoğu hiçbiriyle ilgilenmiyor.

Ajanlar gürültülü olan

Herkes otonom ajanlardan endişe duyuyor ve haklılar. Ancak çoğu insan yanlış parçadan endişe duyuyor. Bir ajanın ürkütücü olan yanı, neden olduğu değil, eylemi değil. Önermez, ödemesini yapar. E-posta taslağı hazırlamaz, gönderir. Bir modele bir dizi araç verin ve gerçek sistemlere dokunup değiştirebileceği yeteneği vermiş olursunuz.

Bunu yanlış yapın ve başarısızlık, beceriksiz bir cümle değil. Para kapıdan çıkıyor veya bir veritabanından sessizce siliniyor. Ve daha keskin bir kenarı var. Prompt enjeksiyonu, LLM uygulamaları için OWASP risk listesinin başında geliyor ve iyi bir nedenden ötürü: Bir modele yanlış metin verin ve istenmeyen bir şey yapması için ikna edilebilir. Model sadece konuşabiliyorsa, bu bir sıkıntı. Model araçları çağırabiliyorsa, bu, API anahtarlarınızı tutan bir saldırgan.

Standart cevap, ajanın yaptığı her şeyi kaydetmek ve izlemektir. İyi. Ancak bir iz, zaten meydana gelen bir şeyin açıklamasıdır. Para kutusunun boşaldıktan sonra CCTV kaydı gibi, soruşturma için faydalı, ancak hırsızlığı durdurmak için işe yaramaz.

Kimse bahsetmediği sessiz olan

İkinci kör nokta, bir slayta girmeyecek kadar sıkıcı. Bu, basit bir API çağrısı. Ajan değil, çerçeve değil, sadece bir hizmette bulunan ve bir modele istek gönderen bir kod parçası.

Üretimde kullanılan çoğu yapay zeka aslında böyle görünüyor ve tüm yığının en az yönetilen kısmı, çünkü çok sıradan. Bu, bir hizmetin üç katman derinliğinde gömülü bir HTTP isteği, AI politikasından habersiz bir mühendis tarafından yazılmış ve nerede bulacağını bilmez. Bu tek çağrı, bir müşterinin verilerini üçüncü taraf bir modele gönderebilir veya aşağı akışta bir eylemi tetikleyebilir ve kimse bunun olup olmadığını kontrol etmez, bağımsız hiçbir şey bunu yaptığı hakkında yazmaz.

Çirkin olan insanlardır

Üçüncü kör nokta, insanlardır, bu nedenle en kötüsü. Personeliniz, görevi ChatGPT veya Claude’a yapıştırmanın daha hızlı olduğunu ayarlar ayarlar önce keşfetti, bu nedenle bunu her gün yapıyorlar, genellikle şirketin göremediği kişisel hesaplar üzerinden. Bu hayal ürünü değil. Cyberhaven’in gerçek işyeri kullanımına bakış, çalışanların önemli bir kısmının şirket verilerini ChatGPT’ye yapıştırdığını, bunların çoğunun şirketin penceresi olmayan hesaplar aracılığıyla olduğunu buldu.

Uyarıcı bir hikaye istiyorsanız, bu Samsung’dur. Samsung, 2023’te mühendislerin üç ayrıoccasion’da ChatGPT’ye özel kaynak kodunu yapıştırdıktan sonra şirket içinde generatif AI’yi yasakladı. Bunlar kötü aktörler değildi. Hızlı bir şekilde hata ayıklamaya çalışan iyi mühendislerdi. Bu, tüm tuzak: sızıntı, verimlilikle aynı görünüyor. Eski veri kaybı araçlarınız bunu yakalayamayacak, çünkü bu, bir dosyayı binadan çıkarmak yerine bir tarayıcı sekmesine kopyala-yapıştır.

Aslında ne çalışıyor

Üçüncüsünü hizalayın ve çözüm, ajanlarla ilgili olarak değil, her şeyin önce ne yaptığını yönetmek, sonra değil. Gerçekten önemli olan birkaç şey, çoğunlukla zor yoldan öğrenildi.

Eylemin önünde, arkasında değil oturun. Bu, tüm oyun ve neden gözlemlenebilirlik ve yönetim aynı kelime olmadığını sürekli olarak vurguladığım. Bir ajanın dün 40.000 pound aktardığını söyleyen bir panelden, bir kaybı raporlayan bir şey. İnsanın transferi bırakmasını sağlayan bir şey, bir kontrol. Kurulumunuz sadece size ne olduğu hakkında bilgi veriyorsa, denetimınız yok. Hindsight’ınız var.

Bir kontrol noktası kullanın, her aracı için değil. Ajanlar, API çağrıları ve personelin bir sohbet botuna yapıştırması ayrı sorunlar gibi görünüyor, bu nedenle şirketler ayrı araçlar satın alıyor ve aralarında boşluklarla kalıyor. Kötü şeyler bu boşluklarda yaşıyor. Yapay zeka ne yaparsa yapsın, nereden gelirse gelsin, aynı kapıdan geçmek zorunda.

Yapay zeka’nın yeniden yazamayacağı bir günlüğü tutun. Şeyleri yapan sistemin aynı zamanda tek kayıt tutan sistem olduğu sürece, bir kaydınız yok. Düzenleme izni verilen bir günlüğünüz var. Bu, nereye gidiyor. AB Yapay Zeka Yasası’nın kayıt tutma gereksinimi, Madde 12, yüksek riskli bir sistemin ne yaptığının sistemi dışındaki biri tarafından yeniden oluşturulabilmesi için var. Uygulamada, bu, şeylerin kaydedildiği, sonradan sessizce değiştirilemeyen, sistemin dışındaki bir günlükleri anlamına gelir.

Büyük, geri alınamaz çağrılarda bir insan koyun. Her şey değil, bunu yapın ve insanlar onayları için boğulacak. Ancak para transferi, veri ihracatı, kayıt silme gibi geri alınamaz çağrılarda durun ve bekleyin. AB Yapay Zeka Yasası, yüksek riskli sistemler için insan denetimini zorunlu kılıyor. Hatırlanması gereken önemli nokta, denetimin ancak kişinin gerçekten hayır deme zamanı ve bağlamı olması durumunda sayılmasıdır. Okunmayan bir onay sadece tiyatro.

Samimi bir kontrol

Bu üçü de köşe durumu değil. Bunlar, çoğu şirketin şu anda yapay zeka’yı çalıştırma şekli, sessizce ve çok az ağ ile. Bir sonraki birkaç yıl içinde çirkin bir olay olmadan çıkan takımlar, en güzel grafiklere sahip olanlar olmayacak. Bunlar, yapay zeka’nın yaptığı her şeyin, ajanın, API çağrısının, yapıştırılan paragrafın, sonradan değil, önceden bir kapıdan geçmesi gerektiğine karar veren takımlar.

Kurulumunuzu hızlı bir şekilde test etmek istiyorsanız, iki soruyu samimiyetle cevaplayın. Bu üç yüzeyden, kaç tanesini gerçekten görebilirsiniz? Ve gördüklerinizden, kaç tanesini durdurabilirsiniz? Birçok şirketin ikinci soruya verdiği samimi cevap sıfır. İşte ilk olarak düzeltmeniz gereken sayı.