Yapay Zeka Güvenilirlik Problemi Hakkında Kimse Konuşmak Istemez

Yapay zeka güvenilirliği hakkında baskın anlatı, basittir: modeller hayal görür. Bu nedenle, şirketlerin onlardan en fazla faydayı elde edebilmeleri için, modellerin geliştirilmesi gerekir. Daha fazla parametre. Daha iyi eğitim verisi. Daha fazla pekiştirme öğrenimi. Daha fazla hizalama.

Ve yine de, hatta sınır modeller daha yetenekli hale geldikçe, güvenilirlik tartışması ortadan kaybolmayı reddeder. Şirket liderleri hala, ajanların çekirdek sistemlerde anlamlı eylemler gerçekleştirmesine izin vermekte tereddüt eder. Yönetim kurulları hala sorar: “Ona güvenebilir miyiz?”

Ancak hayal görme, öncelikle bir model problemi değildir. Bir bağlam problemidir. Yapay zeka sistemlerinin, güvenli bir şekilde akıl yürütebilmeleri için gerekli yapısal görünürlüğü sağlamadan, şirket altyapısında çalışmasını istiyoruz. Sonra modeli tahmin ettiği için suçlarız.

Gerçek güvenilirlik açığı, ağırlıklarda değil, bilgi katmanında daha çok vardır.

İmajı Olmayan Bir Cerrah

İmajı olmayan bir cerrahı düşünün. Hiçbir MRI. Hiçbir BT taraması. Çevre dokuların gerçek zamanlı görselleştirilmesi yok. Sadece anatomiden genel bir anlayış ve bir skalpel. Hatta en yetenekli cerrah da akıl yürütmek zorunda kalacaktır. Yaklaşım yapacak. Olasılıkçı akıl yürütmeye güvenmek zorunda kalacaktır.

Bu, şu anda şirket yapay zeka ajanlarının yaptığı şeydir.

Bir yapay zeka sisteminin, bir iş akışını değiştirmesi, bir ERP kuralını güncellemesi veya araçlar boyunca otomasyonu tetiklemesi istendiğinde, genellikle ortamın tam bağımlılık grafiğine sahip değildir. “Kullanılmayan” alanın, aşağı akış panosunu nasıl güçlendirdiğini bilmez. Otomasyonun, o doğrulama kuralını nasıl referans aldığını göremez. Güvenle ikinci dereceden etkiyi simüle edemez.

Bu nedenle, büyük dil modellerinin eğitim aldığı şeyi yapar: tahmin eder. Tahmin, anlayış değildir. Ve yapısal bağlam olmadan tahmin görünür hayal görme gibi görünür.

Yanlış Tartışmayı Sürdürüyoruz

Yapay zeka topluluğu, model-merkezli bir güvenilirlik tartışması içinde kilitlenmiştir. Ölçek yasaları üzerine makaleler. Zincir-düşünce prompting üzerine araştırmalar. Alım-augmentasyon teknikleri. Değerlendirme benchmarkları.

Hepsi gerekli. Hepsi değerli. Ancak eksik olanı fark edin: şirket sistemi topolojisi tartışması.

Şirket bağlamında güvenilirlik, yalnızca “model doğru metin üretir” anlamına gelmez. “Sistem, güvenli, izlenebilir ve öngörülebilir değişiklikler yapar” anlamına gelir.

Bu, temel olarak farklı bir gereksinimdir.

OpenAI ve Anthropic yapay zeka ajanlarının performansını değerlendirdiğinde, akıl yürütme görevleri, kodlama benchmarkları veya bilgi anımsama üzerine doğruluk ölçerler. Bunlar faydalı sinyallerdir. Ancak, bir yapay zeka ajanının, 15 yıllık biriken otomasyon borcu olan canlı bir gelir sistemini güvenle değiştirme yeteneğini ölçmezler.

Sorun, modelin sözdizimi olarak doğru kodu yazıp yazamayacağı değildir; sorun, yapay zekanın, kodun dağıtıldığı ortamı anladığıdır.

Canlı Sistemler Entropi Birikirir

Şirket sistemleri, statik veritabanları değildir. Canlı sistemlerdir. Her yeni entegrasyon, bir iz bırakır. Her kampanya, bir alanı tanıtır. Her “hızlı çözüm”, ek bir otomasyon katmanı tanır. Zamanla, bu katmanlar, hiçbir个 kişinin tam olarak anlamadığı şekillerde etkileşir.

Bu, büyümenin bir fonksiyonudur. Karmaşık uyarlanabilir sistemler, doğal olarak entropi biriktirir. MIT Sloan Okulu’ndan yapılan araştırmalar, uzun süredir organizasyonların içindeki bilgi asimetrisinin, operasyonel riski nasıl artırdığını vurgulamıştır. Bu arada, Gartner, kötü veri kalitesinin, organizasyonlara ortalama olarak $12.9 milyon maliyetine neden olduğunu tahmin etmektedir.

Şimdi, yapay zeka ajanlarını, önce yapısal opaqueness’ini ele almadan, bu ortamda çalıştırmanın sonucunu düşünün.

Sonuçların öngörülemez görünmesi şaşırtıcı değildir. Ajan, kötü niyetli veya aptal değildir. Kör. Karanlığa inşa ediyor.

Alım Yeterli Değil

Bazıları, alıma dayalı üretim (RAG) bu sorunu çözer diyebilir. Modeli belgelere erişim sağlayın. Şema açıklamalarıyla besleyin. API’lere bağlayın.

Bu yardımcı olur.

Belge, topoloji değildir.

İş akışının “nasıl çalışması gerektiği”ni açıklayan bir PDF, aslında 17 başka otomasyonla nasıl etkileşime girdiğini gösteren gerçek zamanlı bir graf değildir.

Şirket gerçekliği, genellikle şirket belgeleriyle eşleşmez.

2023 yılında Communications of the ACM’de yayımlanan bir çalışma, buldu ki, eskimiş belgeler, yazılım bakım başarısızlıklarının birincil katkıda bulunanıdır. Sistemler, anlatılarından daha hızlı evrim geçirir.

Bu nedenle, yapay zeka ajanlarına belge sağlasak bile, genellikle onlara kısmi veya idealize edilmiş bir harita veriyoruz.

Kısmi haritalar, hala kendinden emin hatalar üretir.

Eylem Güvenliği Gerçek Güvenlik Katmanıdır

Güvenliği, hizalama eğitimi, güvenlik sınırları, kırmızı takımlar ve politika filtreleri olarak düşünme eğilimindeyiz. Hepsi önemli. Ancak şirket bağlamlarında, güvenlik bağlamsaldır. Şudur:

• Bu alana ne bağımlı?
• Hangi otomasyon bu nesneyi referans alıyor?
• Hangi aşağı akış raporları bozulacak?
• Kim bu süreci sahip?
• Ne zaman son olarak değiştirildi?
• Geçerli yapılandırmanın önceliği hangi tarihsel değişikliklerdi?

Bu katman olmadan, bir yapay zeka ajanı, temelde bir siyah kutu içinde doğaçlama yapıyor. Bu katman ile, etkiyi simüle edebilir. Hallüsinasyon ve güvenilirlik arasındaki fark, genellikle görünürlüktür.

Neden Model Suçlanıyor

Peki, neden tartışma, modellere o kadar çok odaklanıyor? Çünkü modeller okunabilir. Perpleksite ölçebiliriz. Benchmark puanlarını karşılaştırabiliriz. Ölçek eğrilerini yayınlayabiliriz. Eğitim verisi kalitesini tartışabiliriz.

Şirketler içindeki bilgi topolojisi, çok, çok daha dağınıktır. Çapraz fonksiyonel koordinasyon gerektirir. Yönetim disiplini talep eder. Organizasyonları, kendi sistemlerinin biriken karmaşıklığıyla yüzleşmeye zorlar.

“Model hazır değil” demektense, “altyapımız saydam değil” demektense daha kolay.

Ancak yapay zeka ajanları, içerik oluşturmaktan operasyonel yürütmeğe geçtiğinde, bu çerçeve tehlikeli hale gelir.

Eğer güvenilirliği yalnızca bir model problemi olarak ele alırsak, anlamlı şekilde algılayamadıkları ortamlara ajanları devam.deploy edeceğiz.

Otonomi Bağlam Gerektirir

Anthropic’in son deneyimleri, çoklu ajanlı yazılım geliştirme ekipleri, yapısal bağlam ve kalıcı bellek sağlandığında, yapay zeka sistemlerinin karmaşık görevler boyunca koordine edebileceğini gösteriyor. Yetenek sınırı hızla ilerlemektedir. Ancak bu tür bir otonomi, çevresel farkındalık olmadan kırılgandır.

Bir otonom araba, yalnızca güçlü bir sinir ağına güvenmez. Lider, kamera, haritalama sistemleri ve gerçek zamanlı çevresel algılama sistemlerine de dayanır. Model, daha geniş bir algı yığınının yalnızca bir katmanıdır.

Şirket yapay zekasına, lidarın eşdeğeri gerekir. Sadece API erişimi değil. Sadece belge değil. Ancak sistem bağımlılıklarının yapısal, dinamik bir anlaşılması.

Buna sahip olmadığımız sürece, hallüsinasyon tartışmaları, kök nedenini yanlış teşhis etmeye devam edecektir.

Gizli Risk: Aşırı Güven

Mevcut çerçevenin bir başka inceliği vardır.

Modeller geliştikçe, çıktıları daha akıcı, daha ikna edici, daha otoriter hale gelir.

Akanlık, aşırı güveni artırır.

Bir ajan, tam bağlam olmadan bir sistemi değiştirdiğinde, başarısızlık hemen belirgin olmaz. Haftalar sonra, bir raporlama uyumsuzluğu, bir uyum açığı veya bir gelir tahmini hatası olarak ortaya çıkabilir. Model yetenekli görünürse, organizasyonlar, operasyonel güvenliğini abartabilir. Gerçek başarısızlık modu, inandırıcı bir yanlış hesaplama thrives.

Ve inandırıcı bir yanlış hesaplama, karanlıkta thrives.

Güvenilirlik Sorusunu Yeniden Çerçevelendirme

“Model yeterli mi?” diye sormak yerine: “Ajan, güvenli bir şekilde davranmak için yeterli yapısal bağlama sahip mi?” diye sormalıyız. Benchmark doğruluğunu ölçmek yerine, çevresel görünürlüğü ölçmeliyiz. Parametre sayısını tartışmak yerine, sistem opaqueness’ini denetlemeliyiz.

Yapay zeka güvenilirliğinin bir sonraki sınırı, yalnızca daha büyük modeller değildir. Zenginleştirilmiş bağlam katmanlarıdır.

Bunlar şunları içerir:

• Şirket sistemlerinin bağımlılık grafikleri
• Gerçek zamanlı değişiklik izleme
• Sahiplik eşleme
• Tarihsel yapılandırma farkındalığı
• Çalışmadan önce etki simülasyonu

Hiçbiri gösterişli değildir. Hiçbiri sosyal medyada trend olmaz. Ancak güvenilirlik burada kazanılacaktır.

Işıklar Açıkken İnşa Etme

Şirket liderleri, operasyonel yetki vermeden önce güvenilirlik talep etmekle haklılar. Ancak ileriye giden yol, efsanevi bir hallüsinasyon-free modeli beklemek değildir.

Bu, akıllı eylem için mümkün kılan görünürlük altyapısına yatırım yapmaktır.

Üretim sistemlerini anlamadan değiştirmelerine izin vermediğimiz bir junior admin’e izin vermemeliyiz. Yapay zeka ajanlarına da izin vermemeliyiz.

Hedef? Kör noktaları azaltmak.

Ajanlar yapısal farkındalıkla çalıştığında, hallüsinasyon oranları düşer, çünkü model değişmez, ancak tahmin yüzeyi küçülür.

Tahmin, akıl yürütme olur. Akıl yürütme, simülasyon olur. Simülasyon, güvenli yürütme olur.

Kaçınılmaz Değişim

Sonraki beş yıl içinde, yapay zeka yığını ikiye bölünecektir. Bir katman, model yeteneğine odaklanacak: akıl yürütme derinliği, çoklu modlu akıcılık ve maliyet verimliliği. Diğer katman, bilgilendirme / bağlamsal topolojiye odaklanacak: sistem grafikleri, meta veri akılları ve yönetim çerçeveleri.

Güvenilirliği, yalnızca model seçimi olarak ele alan organizasyonlar mücadele edecek.

Güvenilirliği, mimari bir özellik olarak ele alan organizasyonlar, daha az riskle daha hızlı ilerleyecek.

Hallüsinasyon tartışması, geriye dönüp bakıldığında tuhaf görünecek.

Gerçek hikaye, görünürlük hakkında olacak.

Yapay zeka, doğası gereği sorumsuz değildir.

Karanlıkta çalışıyor.

Bu sorunu ele almadığımız sürece, akıllı sistemler inşa etmiyoruz. Güçlü tahminciler, saydam olmayan ortamlarda inşa ediliyor.

Ve bu, tüm ilerlemeye rağmen, yapay zeka hala karanlıkta inşa edildiği anlamına geliyor.