AI Doğru ve Süreç Yanlış Olduğunda

Finansal hizmetlerde sık karşılaşılan bir senaryoyu hayal edin. Bir ekip, yüzlerce sayfa, tekrarlayan hükümler ve normalde çalışanların günlerini alan rutin işleri gözden geçirmek için AI’yi dağıtır. Model, riskleri ve doğru paragraflara referansları tanımlar. Ancak çıktı toplamları değil.

Bu sorun, dosyaların yan yana contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx ve contract_finalfinal_THIS_ONE.docx adlı dosyalarla dolu olan sözleşmeler klasöründedir.

AI, en son kaydedilen dosyayı seçti. Ancak bu dosya, biri geçen hafta yanlışlıkla açıp otomatik olarak kaydettiği daha eski bir sürümdü.

Model, tasarlandığı gibi davranmıştır. Ancak süreç, onu yanıltmıştır.

Model Sorun Değilse

Önceki makalemda, AI başarısızlıklarının genellikle modelin dışında – onun etrafındaki yönetim, mülkiyet ve karar alma yapılarında başladığını savunmuştum. Ancak yönetim, sorunların sadece bir parçasıdır. İyi yönetilen bir AI sistemi, bileşimi altında eski belgelerine, informal istisnalarına veya çok daha yavaş bir çalışma temposu için tasarlanmış onay yollarına bağlı bir süreçle mücadele edecektir.

Bir AI sistemi kötü bir sonuç ürettiğinde, model genellikle ilk şüpheli olur. Belki hayal görüyor, görevi yanlış anlıyor veya zayıf bir ipucu alıyor. Ancak bazen model, tasarlandığı gibi davranıyor. Başarısızlık, onun bilgiğini sağlayan süreçte veya onun çıktısını gerçekleştiremeyen organizasyonda meydana geliyor.

AI’yi dağıtmak, her zaman var olan ancak görünmeyen süreç sorunlarını ortaya çıkaran bir tanı aracı gibi davranır. İnsanların daha önce düşünmeden telafi ettiği eksik bağlam, belirsiz mülkiyet ve belgelenmeyen informal iş-around’ları ortaya çıkarır.

Hız Kapasite Olmadan

AI sadece çıktıyı hızlandırmaz. Ayrıca itirazları, karar taleplerini ve sorunların keşfini de hızlandırır. Bir model, gerçek zamanlı olarak bir anormalliği işaretler, cuma öğleden sonra birinin nihayet günlükleri kontrol etmek için zaman bulduğu anda değil.

Organizasyonlar, bu hız için tasarlanmamıştır. Onay prosedürleri, yükseltme yolları, karar alma yetkisi – hepsi insan hızına göre ayarlanmıştır. AI, organizasyonun absorbe edebileceğinden daha hızlı çıktı ürettiğinde, üç şey olabilir:

• AI, verimlilik kazancını silerek bir karara bekler.
• Çalışanlar, onun çıktısını görmezden gelir ve eski sürece geri döner.
• Çalışanlar, hızı korumak için baskı altında hissettiği için düzgün bir şekilde kontrol etmeden kararlar verir.

Bazı çalışanlar, daha güvenli hissettikleri için manuel kontrollere geri döner. Diğerleri, teknolojinin vaat ettiği hızı korumak için baskı altında hissettiği için doğrulama fırsatı bulamadan sonuçları onaylar. Her iki durumda da, organizasyon, daha hızlı çıktı için ödeme yapar, ancak sorumlu kararlar verme konusunda daha hızlı olmaz.

Mülkiyet de belirsiz hale gelebilir. Bir işaretlenmiş anormalliği incelemek, modelin yanlış olduğunu kararlaştırmak ve birden fazla takımın dahil olduğu durumlarda sorunu yükseltmekten kim sorumlu? Açık bir cevap olmadan, AI, kimsenin gerçekten sahibi olmadığı çıktılar üreterek arka planda çalışmaya devam eder.

Bu, daha geniş bir organizasyonel sorunun parçasıdır. Forbes analizinin 2025’in sonlarında gözlemlediği gibi, teknoloji iş akışlarını organizasyonun absorbe edebileceğinden daha hızlı değiştirdiğinde, sonuç verimlilik değil, fazla çalışmadır. AI, bir sürecin bir aşamasını hızlandırabilir, ancak değeri, çevreleyen organizasyonun ürettiği şeyi absorbe edip gerçekleştirebileceğine bağlıdır.

Belgelenmeyen Bilgi

Martin’in şirketin bir tedarikçi ile sözleşmesinin 2.000 €’nun altındaki ödemeler için bir istisna içerdiğini hayal edin. Üç yıl önce sözlü olarak anlaşmaya varılmış, ancak belgelenmemiştir. Şirket, ödeme onaylarını otomatikleştirmek için AI’yi dağıttığında, sistem, sözleşmeye göre doğru bir şekilde ödemenin engellenmesini sağlar.

Bu, tổtsel bilgi türüdür: insanların zihninde yaşayan, sistemlerde değil, organizasyonel bilgi. Her şirketin böyle bir bilgisi vardır ve çoğunun ne kadarının olduğunu bilmesi yoktur.

AI, sadece erişilebilir hale getirilen bilgiyi kullanabilir. Martin’in istisnası, sistem için mevcut değildir. Bu bağlam olmadan, kararı teknik olarak doğru olabilir, ancak operasyonel olarak yanlış.

McKinsey, ajant AI dağıtımlarında aynı zorluğu tanımlamıştır. Etkili AI ajantları oluşturmak, şirketlerin, standart prosedürlerde veya yalnızca çalışanların zihnindeki belirsiz bilgilerde var olan uzman uygulamalarını kodifye etmelerini gerektirir. Diğer bir deyişle, AI dağıtımı, organizasyonun, Martin’in bildiği şeylere ne kadar bağlı olduğunu ilk kez görmesi olabilir.

Yanlış Gerçek Kaynak

AI’nın en tehlikeli çıktısı her zaman açıkça yanlış olan değildir. İnanılır, profesyonellikle sunulan, ancak eskimiş bilgilerden üretilen bir cevap olabilir.

Yıllarca, birçok bölüm, Jane’in her zaman hangisinin yetkili olduğunu bildiği aynı belgenin birden fazla sürümünü kullanmıştır. AI, ne yazık ki, bunu yapamaz.

Belgelerin sürümlerini ayırt etme kuralları verilmedikçe, sistem, aldığı belgeyi sorgulamak için hiçbir neden göremez. AI, yanlış belgede doğru bir şekilde çalışır – bu, hiç inceleme yapılmamasından daha kötü olabilir, çünkü çıktı inandırıcı görünür.

Deneyimli bir çalışan, gerçeğin nerede olduğunu bilir ve karmaşıklıktan çıkabilir. Bir sistem, ise güvenilir bir şekilde hangisinin geçerli, onaylanmış ve ilgili olduğunu belirleme yoluna ihtiyaç duyar.

Belgelenmeyen bilgi, güvensiz belgeler ve insan hızına göre tasarlanmış onay prosedürleri gibi görünüyor. Ancak hepsi aynı kök nedene sahiptir. Hiçbiri AI tarafından yaratılmamıştır, ancak AI, onları görmezden gelmeyi daha zor hale getirir.

Ajant Oluşturmadan Önce Cevaplanacak Sorular

Bir AI ajenti dağıtmadan önce, bir organizasyonun üç soruyu cevaplayabilmesi gerekir.

Hangi kararlar, belgelenmeyen bilgiye dayanır?

Bu, deneyimli çalışanların açıklamadan uyguladıkları istisnaları, kısayolları ve yargı çağrışımını belirlemek anlamına gelir. Sadece röportajlar, tüm bu bilgileri ortaya çıkarmayabilir. Organizasyonlar, resmi süreçle nasıl çalışıldığını gözlemlemek ve gerçeği resmi sürece karşılaştırmak zorunda kalabilir.

Sistem, hangisinin geçerli, onaylanmış ve ilgili olduğunu nasıl belirleyecektir?

Bir ajanta daha fazla belge sağlamak, onun bir onaylanmış sözleşmeyi bir taslak sözleşmeden veya güncel bir politikayı eskimiş bir politikadan ayırt edememesi durumunda sorunu çözmez. Sürümleme, mülkiyet, onay durumu ve saklama kuralları, sistem için hangisinin kararını yönlendireceğini belirlemek için yeterince açık olmalıdır.

Mevcut onay ve yükseltme prosedürleri, ajantın çıktısının hızını ve hacmini absorbe edebilir mi?

Ekipler, ajantın ne kadar iş tamamlayabileceğini tahmin etmelidir, ancak aynı zamanda ajantın ürettiği işin, kaç inceleme, istisna ve yükseltmeyi yaratabileceğini de dikkate almalıdır. NIST AI Risk Yönetimi Çerçevesi, AI sistemlerinin insan denetiminde rõl ve sorumlulukları açıkça tanımlamayı önerir. Bunlar, sistem dağıtılmadan önce beklenen hacim için tasarlanmalıdır – sonra değil.
Bu sorular, bir kez cevaplandıktan sonra unutulmamalıdır. Süreçler değişir, belgeler eskir ve belgelenmeyen istisnalar yeniden birikir. Hazırlık, bu nedenle, yalnızca başlatılmamalıdır, aynı zamanda sürdürülmelidir.

AI Hazırlığı Süreçle Başlar

AI hazırlığı, yalnızca teknolojiyi test etmek değildir. Organizasyonun kendi süreçlerini, teknolojinin içinde çalışabilmesi için yeterli düzeyde açık ve net hale getirmesini de içerir.

Organizasyonu AI için hazırlamak, yalnızca bir model seçmek veya bir ajant oluşturmakla ilgili değildir. Mülkiyeti açıklamak, yetkili bilgileri tanımlamak, istisnaları belgelenmek ve çıktıların nasıl incelendiğini, yükseltildiğini ve gerçekleştirildiğini yeniden tasarlamakla ilgilidir.

Bu zorlu bir iştir, ancak başarısız bir dağıtım, organizasyonu sonunda bunu yapmak zorunda bırakacaktır. Tek değişken, zamanlamadır.