AI Güvenilirlik Problemi Hakkında Kimse Konuşmak İstemiyor

AI güvenilirliği hakkında baskın anlatı, basit: modeller hayal görür. Bu nedenle, şirketlerin onlardan en fazla faydayı elde edebilmeleri için modellerin geliştirilmesi gerekir. Daha fazla parametre. Daha iyi eğitim verisi. Daha fazla pekiştirme öğrenimi. Daha fazla hizalama.

Ve yine, sınır modeller daha yetenekli hale geldikçe, güvenilirlik tartışması ortadan kaybolmayı reddediyor. Şirket liderleri hala ajanların.core sistemler içinde anlamlı eylemler yapmasına izin vermek için tereddüt ediyor. Yönetim kurulları hala soruyor: “Ona güvenebilir miyiz?”

Ama hayal görme主要 olarak bir model problemi değil. Bir bağlam problemi. AI sistemlerine, güvenli bir şekilde akıl yürütmeleri için gerekli yapısal görünürlüğü sağlamadan, şirket altyapısında çalışmasını istiyoruz. Sonra da modeli tahmin ettiği için suçluyoruz.

Gerçek güvenilirlik açığı, ağırlıklarda değil, bilgi katmanında.

Bir Cerrahın Görüntülemesi Olmadan

Bir cerrahın görüntüleme olmadan operasyon yapmasını hayal edin. Hiçbir MRI. Hiçbir CT taraması. Surrounding doku hakkında gerçek zamanlı görselleştirme yok. Sadece genel bir anatomi bilgisi ve bir skalpel. Hatta en опытlı cerrah da tahmin etmek zorunda kalacaktı. Yaklaşık değerlendirmek zorunda kalacaktı. Olasılıksal akıl yürütmeye güvenmek zorunda kalacaktı.

Şu anda şirket AI ajanları da bunu yapıyor.

Bir AI sistemi, bir iş akışını değiştirmesi, bir ERP kuralını güncellemesi veya araçlar arasında otomatikleştirme tetiklemesi istendiğinde, genellikle ortamın tam bağımlılık grafiğine sahip değildir. Hangi “kullanılmayan” alanın bir aşağı akış panosunu güçlendirdiğini bilmez. Hangi otomatikleştirme o doğrulama kuralına atıfta bulunur, göremez. Güvenle ikinci dereceden etkiyi simüle edemez.

Bu nedenle, büyük dil modellerinin eğitildiği şeyi yapar: tahmin eder. Tahmin,理解 değildir. Ve yapısal bağlam olmadan tahmin, hayal görme gibi görünür.

Yanlış Tartışmayı Sürdürüyoruz

AI topluluğu, model-merkezli bir güvenilirlik tartışması içinde kilitlenmiştir. Ölçek yasaları üzerine makaleler. Zincir-düşünce tetikleme araştırmaları. Alım-augmentasyon teknikleri. Değerlendirme benchmarkları.

Tüm gerekli. Tüm değerli. Ancak eksik olan şeyi fark edin: şirket sistemi topolojisi tartışması.

Şirket bağlamında güvenilirlik, sadece “model doğru metin üretir” anlamına gelmez. “Sistem, güvenli, izlenebilir ve öngörülebilir değişiklikler yapar” demektir.

Bu, esasen farklı bir gereksinimdir.

OpenAI ve Anthropic AI ajanlarının performansını değerlendirdiğinde, akıl yürütme görevleri, kodlama benchmarkları veya bilgi anımsama üzerine doğruluğu ölçerler. Bu, faydalı sinyallerdir. Ancak, bir AI ajanının 15 yıllık biriken otomasyon borcu olan canlı bir gelir sistemini güvenle değiştirme yeteneğini ölçmezler.

Sorun, modelin doğru kod yazıp yazamayacağı değil, AI’nin dağıtıldığı ortamı anladığıdır.

Canlı Sistemler Entropi Birikir

Şirket sistemleri statik veritabanları değildir. Canlı sistemlerdir. Her yeni entegrasyon bir iz bırakır. Her kampanya bir alan tanıtır. Her “hızlı çözüm” ek bir otomasyon katmanı tanır. Zamanla, bu katmanlar, hiçbir个人的in tam olarak anlamadığı şekillerde etkileşir.

Bu, büyümenin bir işlevidir. Karmaşık uyarlanabilir sistemler doğal olarak entropi biriktirir. MIT Sloan School’un araştırmaları uzun süredir nasıl organizasyonların içinde operasyonel riski artıran bilgi asimetrisini vurgulamıştır. Bu arada, Gartner, kötü veri kalitesinin organizasyonlara ortalama $12.9 milyon maliyet getirdiğini tahmin ediyor.

Şimdi, bu ortamın yapısal opaquenessini öncelemeksizin, otonom ajanları bu ortama yerleştirmeyi hayal edin.

Sonuçların öngörülemez görünmesinden şaşırmamamız gerekmez. Ajan kötü niyetli veya aptal değil. Kör.

Alım Yeterli Değil

Bazıları, alıma-augmentasyonlu üretim (RAG) bu problemi çözdüğünü iddia edecektir. Modeli belgelere erişim sağlayın. Şema açıklamalarına besleyin. API’lere bağlayın.

Bu yardımcı olur.

Ancak belgeleme, topoloji değildir.

Bir iş akışının “nasıl çalışması gerektiği” hakkında bir PDF açıklaması, 17 diğer otomasyonla nasıl etkileşime gireceğinin gerçek zamanlı grafiği değildir.

Şirket gerçekliği, şirket belgeleriyle thường uyuşmaz.

2023 yılında Communications of the ACM’de yayımlanan bir çalışma buldu ki, eski belgeler, yazılım bakım başarısızlıklarının birincil katkıda bulunanlarıdır. Sistemler, hikayelerinden daha hızlı evrimleşir.

Bu nedenle, AI ajanlarına belgeleme sağlasak bile, genellikle onlara kısmi veya idealize edilmiş bir harita veriyoruz.

Kısmi haritalar hala kendinden emin hatalar üretir.

Etken Katman, Gerçek Güvenlik Katmanıdır

Güvenliği, hizalama eğitimi, güvenlik rayları, kırmızı takımlar ve politika filtreleri olarak düşünme eğilimindeyiz. Tüm önemli. Ancak şirket bağlamında, güvenlik bağlamsaldır. Şunu bilmektir:

• Bu alanın neye bağlı?
• Hangi otomasyon bu nesneyi referans alıyor?
• Hangi aşağı akış raporları bozulacak?
• Kim bu süreci sahip alıyor?
• Ne zaman son olarak değiştirildi?
• Şu anki yapılandırmanın önce hangi tarihi değişiklikler geldi?

Bu katman olmadan, bir AI ajanı temel olarak bir kara kutu içinde doğaçlama yapıyor. Bu katmanla, önce etkiyi simüle edebilir.

Hallüsinasyon ve güvenilirlik arasındaki fark genellikle görünürlüktür.

Neden Model Suçlanıyor

Neden, o halde, tartışma o kadar çok model odaklı? Çünkü modeller okunabilir. Perpleksiteyi ölçebiliriz. Benchmark puanlarını karşılaştırabiliriz. Ölçek eğrilerini yayınlayabiliriz. Eğitim verisi kalitesini tartışabiliriz.

Şirket içindeki bilgi topolojisi çok, çok daha dağınıktır. Çapraz fonksiyonel koordinasyon gerektirir. Yönetim disiplini gerektirir. Şirketlerin kendi sistemlerinin biriken karmaşıklığıyla yüzleşmelerini gerektirir.

“Model hazır değil” demekten daha kolay, “altyapımız opak” demektir.

Ancak AI ajanları içerik oluşturmaktan operasyonel yürütmeğe geçtiğinde, bu çerçeve tehlikeli hale gelir.

Güvenilirliği salt bir model problemi olarak ele alırsak, ajanları anlamalarını sağlayamadıkları ortamlara devam.deploy edeceğiz.

Otonomi Bağlamı Gerektirir

Anthropic’in son deneyleri çoklu ajanlı yazılım geliştirme ekipleri gösteriyor ki, AI sistemleri, yapısal bağlam ve kalıcı bellek sağlandığında, karmaşık görevler boyunca koordinasyon yapabilir. Yetenek sınırı hızla ilerlemekte. Ancak bu tür otonomi, çevresel farkındalık olmadan kırılgandır.

Bir otonom araba, sadece güçlü bir sinir ağına güvenmez. Lidar, kameralar, haritalama sistemleri ve gerçek zamanlı çevresel algıya da dayanır. Model, daha geniş bir algı yığınının bir katmanıdır.

Şirket AI’si de buna eşdeğer bir şeye ihtiyaç duyar. Sadece API erişimi değil. Sadece belgeleme değil. Ancak sistem bağımlılıklarının yapısal, dinamik bir anlaşılması.

Buna sahip olmadıkça, hallüsinasyon tartışmaları, temel nedeni yanlış teşhis etmeye devam edecek.

Gizli Risk: Aşırı Güven

Şu anki çerçevenin başka bir inceliği daha var.

Modeller geliştikçe, çıktıları daha akıcı, daha ikna edici, daha otoriter hale gelir.

Akıcılık, aşırı güveni amplifiye eder.

Bir ajan, tam bağlam olmadan bir sistemi değiştirdiğinde, başarısızlık hemen belirgin olmayabilir. Haftalar sonra, bir raporlama uyumsuzluğu, bir uyum açığı veya bir gelir tahmini hatası olarak ortaya çıkabilir. Model yetenekli görünüyor, bu nedenle organizasyonlar, operasyonel güvenliğini abartabilirler. Gerçek başarısızlık modu, inandırıcı bir yanlış hesaplama olabilir.

Ve inandırıcı bir yanlış hesaplama, karanlıkta gelişir.

Güvenilirlik Sorusunu Yeniden Çerçevelendirme

“Model yeterli mi?” sorusunu sormak yerine: “Ajan, güvenli bir şekilde davranmak için yeterli yapısal bağlama sahip mi?” sorusunu sormalıyız. Benchmark doğruluğunu ölçmek yerine, çevresel görünürlüğü ölçmeliyiz. Parametre sayılarını tartışmak yerine, sistem opaquenessini denetlemeliyiz.

AI güvenilirliğinin sonraki sınırı, sadece daha büyük modeller değildir. Daha zengin bağlam katmanlarıdır.

Bunlar şunları içerir:

• Şirket sistemlerinin bağımlılık grafikleri
• Gerçek zamanlı değişiklik izleme
• Sahiplik haritalama
• Tarihsel yapılandırma bilgisi
• Çalışmadan önce etki simülasyonu

Hiçbiri göz alıcı değil. Hiçbiri sosyal medyada trend değil. Ancak güvenilirlik burada kazanılacak.

Işıklar Açıkken İnşaat

Şirket liderleri, ajanlara operasyonel yetki vermeden önce güvenilirlik talep etmekte haklılar. Ancak ileriye giden yol, efsanevi bir hallüsinasyon-free modeli beklemek değil.

Bu, ajanların akıllı eylem yapmasını sağlayan görünürlük altyapısına yatırım yapmaktır.

Bir junior admin’in, bağımlılıkları anlamadan üretim sistemlerini değiştirmesine izin vermezsiniz. AI ajanlarına da izin vermemelisiniz.

Hedef? Kör noktaları azaltmak.

Ajanlar yapısal farkındalıkla çalıştıklarında, hallüsinasyon oranları düşer, ancak model değişmez, çünkü tahmin yüzeyi küçülür.

Tahmin, akıl yürütmeye dönüşür. Akıl yürütme, simülasyona dönüşür. Simülasyon, güvenli çalışmaya dönüşür.

Kaçınılmaz Değişim

Sonraki beş yıl içinde, AI yığını ikiye bölünecek. Bir katman, model yeteneğine odaklanacak: akıl yürütme derinliği, çoklu modlu akıcılık ve maliyet verimliliği. Diğer katman, bilgilendirme / bağlamsal topolojiye odaklanacak: sistem grafikleri, meta veri zekası ve yönetim çerçeveleri.

Salt model seçimi olarak güvenilirliği ele alan organizasyonlar mücadele edecek.

Güvenilirliği, mimari bir özellik olarak ele alan organizasyonlar, daha az riskle daha hızlı ilerleyecek.

Hallüsinasyon tartışması, geriye dönüp bakıldığında komik görünecek.

Gerçek hikaye, görünürlük hakkında olacak.

AI doğası gereği sorumsuz değil.

Karanlık bir odada çalışıyor.

Bunu ele almadıkça, akıllı sistemler inşa etmiyoruz. Güçlü tahminciler, opak ortamlarda inşa ediyorlar.

Ve bu, tüm ilerlemeye rağmen, AI’nin hala karanlıkta inşa edildiği anlamına geliyor.