Döngüdeki İnsan Yönetişim Değildir

AI riskine karşı açık cevap “döngüye bir insan koymak“dır. Ancak bu cümle zor olan kısmı gizler.

Döngüdeki bir insan, yalnızca döngü tasarlanmışsa çalışır. Aksi takdirde, insan üç başarısızlıktan birine dönüşür:

• Bir darboğaz, çünkü AI çıktısını incelemek, manuel olarak işi yapmak kadar uzun sürer.
• Bir mühür, çünkü inceleyici aşırı yüklenmiştir, kanıtları göremez, iş bağlamını anlamaz ve kuyruğu hareket ettirmek için onaylar.
• Ya da üçüncü başarısızlık: çökme bölgesi. Döngüye bir insan ekleyerek, kurum bir kişiye hesap verebilirlik yükler, ancak o kişiye gerçek kontrol, zaman, yetki, sistemi durdurma yeteneği veya bir sonraki çalıştırmayı değiştirme yolu vermez. Sonuç, insana düşer, ancak karar alt yapısı değişmez.

İşte, kurumsal AI konuşması genellikle burada yanlış gider. İnsanın işi incelemesi gerekip gerekmediğini konuşuruz, ancak o incelemenin nasıl tasarlandığını konuşmayız. Bir kişi ekleyerek yönetişim oluşturulacağını varsayarız. Ancak öyle değildir. Yönetişim, inceleyicinin anlamlı kontrolü, anlamlı görünürlüğü ve karar verildikten sonra sistemi iyileştirme yeteneğine bağlıdır.

İnsan incelemesi değerli, ancak yalnızca yargı önemli olduğu yerlerde ve anlamlı bir yargı verebilmek için yeterli bağlamla desteklenirse değerli olur.

Doğrulama Kapısı Bir İnceleme Adımıdan Daha Fazlasıdır

Bir kapı, bir durdurma düğmesi değildir. Bir doğrulama arayüzüdür.

Bir ajan veya otomasyon bir öneri ürettiğinde – bir taslak cevap, önerilen bir eylem, bir sınıflandırma, bir ödeme yetkisi, bir vaka yönlendirme, bir iade paketi veya bir ret mektubu – inceleyici, hemen neler olacağı ve nedenini anlamalıdır.

Gerçek bir doğrulama kapısı, önemli olanları göstermelidir: önerilen eylem; arkasındaki kaynaklar; kontrol edilen kurallar; gerçekleşecek iş geçişi; kullanılan yetki; yazılacak denetim kaydı; incelemeye neden olan belirsizlik veya istisna; ve mevcut seçenekler: onay, düzenle, reddet veya yükselt.

Her bir öğe bir neden için vardır. Önerilen eylem, sistemin ne yapmayı amaçladığını açıklar. Destekleyici kanıtlar, nedenini açıklar. Kurallar ve yetki, önerinin kurumsal politika içinde olup olmadığını gösterir. Belirsizlik, inceleyicinin neden ilk olarak insan döngüsüne ulaştığını açıklar. Birlikte, incelemeyi tahmin oyunundan doğrulamaya dönüştürürler.

İnceleyici, tüm bunları manuel olarak yeniden oluşturmak zorunda kalırsa, kapı inşa edilmemiştir.

Kapının amacı, yalnızca hataları önlemek için değildir. İkincil amacı daha önemlidir. Kurumun yargısını yakalar.

Burada kurumsal dağıtım birleşmeye başlar. Her gerçek onay, düzenle, reddet veya yükseltme kararı, kurumun yargısını yakalar – ancak yalnızca kapı nedenini yakalarsa.

Onaylar veri değildir, doğrulamalardır.

Bir mühürleme tıklama, hiçbir şey yakalamaz. Bir neden kodu ile birlikte incelenen, düzenlenerek, reddedilen veya yükseltilen bir karar, bir sonraki sistem sürümünden öğrenilebilecek bir sinyal yakalar. İnceleyici, bakmadan onaylarsa, sistem hiçbir şey öğrenmez. İnceleyici, düzenler, reddeder, yükseltir ve bir neden verirseniz, kurum yargıyı yakalar.

Zamanla, bu yargılar, kurumun en değerli varlıklarından biri haline gelir. Politikaların nerede belirsiz olduğunu, iş akışlarının nerede sürekli olarak bozulduğunu, istisnaların en sık nerede oluştuğunu ve otomasyonun nerede daha fazla güvenle veya daha fazla kısıtlanabileceğini açıklar. Amacın, yalnızca daha fazla işi otomatikleştirmek değildir. Gelecek kararların kalitesini, bugünkü yargıları yakalayarak iyileştirmektir.

Hesap Verebilirlik Bir Adlandırılmış Sahibe Dahil Daha Fazlasıdır

Bu ayrım, kurumların hesap verebilirlik hakkında düşündükleri şekilde değişir.

Bir kapı yeterli değildir. Bir adlandırılmış sahibi yeterli değildir. Bir denetim günlüğü yeterli değildir.

Hesap verebilirlik, sonuç alma gerektirir: hata, gelecekteki davranışı değiştirebilecek bir yere düşmelidir.

Kurumlar, AI’ı sonuçları olan işlere dağıtmadan önce, beş soruyu sormalıdır:

1. Bu eylem yanlışsa, sonuç kimin üzerine düşer?
2. O kişi veya sistem, eylemden önce anlamlı kontrolü vardı mı?
3. Sorumlu sahibi, ajanı veya otomasyonu inceleyebilir, kısıtlayabilir, geçersiz kılabilir veya durdurabilir mi?
4. Sorumluluk, sahip olanın gerçekten sahip olduğu kontrole orantılı mı?
5. Bir sonraki çalıştırmada ne değişir: beceri, kural, izin, iş akışı, otomasyon, doğrulama kapısı, neden kodu, eğitim, veya güven sınıfı?

Anlamlı kontrolü olmayan bir insan kapısı, yönetişim değildir. Bir çökme bölgesidir.

Döngü, yakalanan yargı bir şeyi değiştirene kadar kapanmaz: beceri, kural, izin, yükseltme eşiği, otomasyon, test, inceleme arayüzü, eğitim planı, denetim örneği veya güven sınıfı. Bir sonuç, bir sonraki sistemi değiştirmezse, yalnızca bir olaydır, öğrenme değildir. Kurumlar, her anlamlı incelemenin bir sonraki sistemi değiştirdiğinde iyileşir.

Koruyucu Raylar Başarısızlığı Önler. Değerlendirmeler Güven Oluşturur.

Kurumlar ayrıca, koruyucu raylar ve değerlendirmeler arasında ayrım yapmalıdır. Bunlar, çözülmesi gereken farklı sorunlardır.

1. Koruyucu raylar, çalışma zamanında davranışı zorlar. Şema kontrolleri, güvenli parametre engelleri, izin kontrolleri, PII kısaltma,.prompt-enjeksiyon savunmaları ve araç kullanım sınırları, güvenli olmayan davranışları önlemek için vardır.
2. Değerlendirmeler, performansı zaman içinde ölçer. Kalite, sürüklenme, araç seçimi, yükseltme kalitesi, maliyet, gecikme ve politika uyumluluğunu inceler. Sistemlerin güvenilebilir olup olmadığını kurumlara söyler.

Biri当前 kararı korur, diğeri gelecekteki kararları iyileştirir.

Koruyucu raylar ve değerlendirmeler, farklı amaçlara hizmet eder ve sorumlu kişiler de farklıdır. Platform, politikayı zorlar. Operatörler, sonuçları değerlendirir. Birlikte, sistemi iyileştirmeye izin veren geri bildirim döngüsünü oluştururlar.

Sistem, politikayı, talep kaydını, destekleyici belgeleri, önceki davaları ve kurumsal playbook’u alır. Triage paketini hazırlar, ciddiyet önerisini yapar, eksik kanıtları tanımlar ve kurallar gerektiriyorsa bir sahtecilik alt davası açar. Ayarlayıcı, önerilen hareketi, destekleyici kanıtları, neden kodunu, denetim kaydını ve onaylama sonucunu görür. Birden fazla sistemden davayı yeniden oluşturmak yerine, öneriyi kendisi doğrulayabilir. Sadece doğrulamadan sonra, otomasyon davayı günceller, ödeme yapar, ek belge ister veya işi kapatır.

Bir talepler iş akışı, bunun nasıl çalıştığını gösterir. Ajan, bir süreci ezberlememiştir. Bir yayımlanmış harita içinde hareket etmiştir.

Mimari İşin Arkasındadır

Aynı ilke, işin nasıl organize edildiğine bakılmaksızın uygulanır. Her kurumsal sorun aynı şekle sahip değildir ve yönetişim de buna yansımalıdır. Bazı işler bir hedefle başlar. Bazıları bir dava ile başlar, bazıları bir iş akışıyla başlar. Mimari, işe, değil, işin arkasındaki işlemlere bağlı olmalıdır.

Hedef odaklı bir dağıtım, bir sonuçla başlar, değil, bir tanımlanmış yol ile. Bu müşteri yükseltmesini çöz. Bu hesapta terk riskini azalt. Bu sahtecilik sinyalini soruştur. Bu yenileme planını hazırla. Varış noktası nettir, ancak yol, yeni bilgiler ortaya çıktıkça değişebilir. Bir ana ajan, işi parçalar, onaylı ajanları ve araçları kullanır, onaylı otomasyonları çağırır ve yönetilen sınırlar içinde insan işini atar. Gücü, adaptabilitesidir. Riski, adaptabilite olmadan öngörülemezlik olmasıdır.

Bu nedenle esnek sistemler, daha güçlü yönetişime ihtiyaç duyar, değil, daha azına. Açık iş akışı sınırları, otomasyon izinleri, karar hakları, denetim kayıtları ve yükseltme kuralları, AI daha yetenekli hale geldikçe daha önemli hale gelir. Bir ajanın kendi yolunu belirleme özgürlüğü ne kadar fazla olursa, kurumun o ajanın çalışabileceği sınırları tanımlaması o kadar önemlidir.

Kurumsal AI, her kararın birplace bir insanı içerdiği için başarılı olmayacak.

Kurumsal AI, kurumların döngüyü kendilerinin inşa etmeyi öğrendiği için başarılı olacak.