Şirketlerin AI Sistemleri Neden Dağıtımdan Sonra Bozuluyor ve Buna Ne Yapılabilir?

Uyarı: Sorun Model Değil

2023 yılında New York Şehir Belediyesi, işletmelerin karmaşık düzenlemeleri daha kolay bir şekilde erişebilecekleri MyCity sohbet botunu başlattı. Fikir basitti: yasal bilgileri daha kolay erişilebilir hale getirmek.

Pratikte, sistem yanlış, hatta yasal olarak yanıltıcı cevaplar üretti – bahşiş kurallarından konut ayrımcılığına, ödeme yasalarına kadar.

Daha sonra yapılan bir denetim, kullanıcı geri bildiriminin %71.4’ünün olumsuz olduğunu buldu. Altta yatan sorunları çözmek yerine, yanıt, ek açıklamalar eklemeye oldu. Sohbet botu, iki yıldan fazla bir süre “beta” olarak kaldı ve sonra kapatıldı.

Bu başarısızlık teknik değildi. Sistem, üretim sırasında doğru çalışmıyordu çünkü doğruluğu garantileyebilecek bir mekanizma, açık bir sorumluluk ve şeyler yanlış gittiğinde müdahale edecek bir yol yoktu.

Bu, günümüzde şirketlerin AI sistemlerinin arkasındaki modeldir: teknoloji çalışıyor, ancak şirketler bunları güvenilir bir şekilde çalıştırabilecek bir yapıya sahip değil.

Pilotdan Üretime: Her Şey Nerede Bozuluyor

Bir pilot oluşturmak oldukça basittir – bir kullanım durumu seçin, bir model seçin, verileri hazırlayın, bir sponsor bulun. Bir sistemi üretim aşamasında çalıştırmanın tamamen farklı bir ligde olduğu görülür.

Aralık, 2012’de Felix Baumgartner’ın yaptığı gibi bir havuza atlamak ile stratosferden atlamak arasındaki fark gibidir. Aynı temel fizik, tamamen farklı koşullar – ve başarısızlık için çok farklı sonuçlar.

Üretim aşamasında, AI gerçek karar alma akışlarına girer, müşterilerle etkileşime girer ve yasal ve operasyonel sonuçlar oluşturur. Bu, sistemlerin yönetilme şeklindeki boşlukların ortaya çıktığı yerdir – modelde değil.

Avrupa, diğer bölgelerden daha erken görünür. AI Yasası, GDPR ve NIS2 gibi düzenlemeler, benimsemeyi yavaşlatmıyor – ancak şirketlerin AI sistemlerini gerçek kısıtlamalar altında çalıştırıp çalıştıramayacaklarını ortaya koyuyor.

2025 yılında, büyük AB şirketlerinin %55’i zaten AI kullanıyordu. Benimseme zaten büyük ölçekte gerçekleşiyor. Sorun, dağıtımdan sonra ne olacağı.

Bu noktada, temel operasyonel sorular ortaya çıkmaya başlar. Ve genellikle, bunları kimse cevaplayamaz: AI çıkışları ve otomatik kararlar için kim sorumludur? Sistem beklenmedik şekillerde davranıldığında ne olur? Ve kim bunu medyaya ulaşmadan önce yakalar?

Sorumluluk şirketle birlikte kalır, teknolojiyle değil. Air Canada’nın sohbet botu bir müşteriye yanlış bilgi verdi. Müşteri buna güvendi ve daha sonra bir geri ödeme reddedildi. Bir tribunal, havayolunun sorumlu olduğunu kararlaştırdı – sohbet botu ayrı bir varlık değildi.

Aynı sorun, farklı bir açıyla: McDonald’s McHire sistemi, yaklaşık 64.000 başvurucunun hassas verilerini ortaya çıkardı. Nedeni, sofistike bir saldırı değildi – yönetici oturum açma “admin” ve “123456” kullanıldı. Sistem gelişmiş görünüyordu. Başarısızlık ise temel düzeydeydi.

Bir sistemi canlıyken yönetişim eklemek already too late. Bir sistemi dağıtmak teknik bir karardır. Onu güvenilir bir şekilde çalıştırmak ise organizasyonel bir karar. Ve bu, şirketlerin en çok yanlış değerlendirdiği kısım.

Kim Gerçekten AI Riskini Sahip Oluyor? Hiç Kimse.

Bu, sorunun核心 ve paradoksal olarak en az tartışılan kısmı. BT altyapıyı yönetir. Hukuk, uyumu sağlar. İş takımları kullanım durumlarını iter. Ancak AI riskini uçtan uca kimse sahip olmuyor.

Bu, iki anlık sorunu yaratır. “Git” kararı yavaşlar – çünkü kimse sorumluluk almak istemiyor. Ve “dur” kararı da aynı şekilde yavaşlar – çünkü kimse bunu kimin yapabileceğini bilmiyor.

Veriler bunu yansıtıyor. AI kullanım durumlarının %10’dan azı pilot aşamasından üretime geçiyor ve çoğu kuruluş, ölçülebilir bir iş etkisini üretmekte zorlanıyor. Aynı zamanda, birçok kuruluş zaten AI’yi dağıtıyor – ancak yönetişim olgunluk anketi göre, yalnızca %7’si iyi yapılandırılmış ve tutarlı bir şekilde uygulanmış yönetişime sahipti.

Bu neden böyle tutarlı bir şekilde oluyor? Çünkü çoğu çerçeve ve şirket politikaları neler olması gerektiğini tanımlar – ancak önemli olduğunda kimin sorumlu olduğunu tanımlamaz. Bir sistem gece yarısı Cumartesi yanlış çıktılar üretmeye başladığında, soru teorik değil. Kim hareket ediyor? Ve kim karar vermeye yetkili?

Bu, ölçek arttıkça daha da kötüleşiyor. Bir sistem informel olarak yönetilebilir. Ancak 30 sistem olduğunda, sorumluluk takımlar arasında parçalanır ve kimse tam resme sahip olmaz.

Avustralya’nın Commonwealth Bankası açık bir örnek sunuyor. Banka, 45 müşteri hizmetleri çalışanı yerine AI ses botlarını kullanmaya başladı ve talebin düşmesini bekliyordu. Ancak talebin artmasıyla, yöneticiler fazla çalışmaya başladı ve banka tüm 45 çalışanı yeniden işe almak zorunda kaldı. Başarısızlık, otomatiklemenin iş yükünü azaltamadığını gösteremedi.

Hiç kimse, varsayımların başarısız olduğu anda, dağıtımdan önce sonuçların sahibi olmadı. Bu, uygulamada bir sorumluluk boşluğunun nasıl göründüğünü gösteriyor.

Kuralların Olması Yeterli Değil. Bir Mekanizmaya İhtiyacınız Var

Çoğu şirket politikaya sahip değil. Ancak bir şeyler yanlış gittiğinde çalışan sistemlere sahip değil.

Bir politika neler olacağını tanımlar. Bir mekanizma ise neler wirklich olacağını belirler – bir model yanlış çıktılar ürettiğinde, bir satıcı arka planda bir şey değiştirdiğinde veya bir sistem beklenmedik şekillerde davranmaya başladığında.

Bu fark, üretim aşamasında görünür – kararlar gerçek koşullar altında alınmak zorunda olduğunda.

Bu başarısızlıklar tutarlı bir dinamiğe sahiptir. Her durumda, aynı operasyonel boşluklar ortaya çıkar – sadece farklı formlarda.

Sahiplik İlk Gelmeli

Her dağıtılan AI sisteminin, onaylayabilecek, durdurabilecek ve kapatabilecek yetkiye sahip açık bir sahibi olması gerekir – bir kişi, bir takım veya bir bölüm değil.

Bunun olmaması, hızlı dağıtımın veya güvenli müdahalenin mümkün olmasını engeller. Commonwealth Bankası örneğinde görüldüğü gibi, açık sahipliğin olmaması, doğrudan operasyonel başarısızlığa yol açar.

Veri ve Yasal Açıklık Çoğu Zaman Eksik

Çoğu sistem, belgelendirilmiş veri akışları, doğrulanmış yasal dayanak veya üretim aşamasında hangi yükümlülüklerin geçerli olduğu konusunda açıklık olmadan canlıya alınır.

İtalyan düzenleyicisinin DeepSeek’e 2025 yılında karşı aldığı önlem, bunu açıkça gösteriyor. Sorun, model kalitesi değildi – kişisel verilerin nasıl işlendiğinin açıklanamamasıydı. Sonuç, Avrupa kullanıcıları için aniden bir hizmet kesintisiydi.

Testler Gerçek Dünya Kullanımını Nadiren Yansıtüyor

Sistemler genellikle iyi performans gösterdikleri senaryolarda değerlendirilir, ancak başarısızlık önemli olduğunda değil.

MyCity sohbet botu açık bir örnektir. Temel kenar durumlar – iş hukuku, konut ayrımcılığı veya ödeme kuralları etrafında – dağıtımdan önce yakalanmadı. Gerçek kullanıcılarla karşılaştığında, bu başarısızlıklar hemen kamuoyuna açıklandı.

Test, yalnızca performans değil, sistem başarısız olduğunda kullanıcılar, düzenleyiciler veya gazeteciler önce bunu tanımlamaktır.

Müdahale Belirsiz veya Yavaştır

Sorunlar görünür olduğunda, sistemi durdurmak veya kapatmak için açık bir tetikleyici veya yetki thường yoktur.

Zillow Offers bunu büyük ölçekte gösteriyor. Sistem, bir algoritma kullanarak evleri fiyatlandırıyor ve satın alıyordu. 2021’de pazar soğuduğunda, sistem enflasyonlu fiyatlardan ev almaya devam etti. Zamanında tespit edilebilecek bir mekanizma veya sistemi durdurmak için açık bir karar noktası yoktu. Sonuç, 880 milyon doların üzerinde bir kayıp ve tüm bölümün kapanmasıydı.

İzleme Sahiplik Değil

İzleme genellikle panellere indirgenir, ancak bu, başarısızlıkları önlemez.

Önemli olan, tanımlanmış sorumluluktur: kim sinyalleri izler, ne tür bir olayı tetikler ve kim davranmakla yükümlüdür.

Deloitte Avustralya‘nın durumu, bunun ne anlama geldiğini gösteriyor. Bir hükümet raporu, doğrulanmamış çıktılar ve yanlış yasal referanslar içeriyordu çünkü kimse bunları teslim edilmeden önce doğrulamakla görevli değildi. Sonuç, kısmi bir geri ödeme ve itibar hasarıydı.

Agentic AI: Gelecek Daha Zor Olacak

Üretken AI çıktılar üretir. Agentic AI ise eylemler gerçekleştirir. Bu, riski tamamen değiştirir.

Biraz önce değerlendirilebilecek bir cevap yerine, bir talimat bir dizi kararı tetikleyebilir – API çağrıları, veri erişimi, işlemler, güncellemeler – genellikle her adımda insan müdahalesi olmadan.

Şeyler yanlış gittiğinde, sorun artık doğruluk değil, izlenebilirliktir. Hangi adım sorunlara neden oldu? Hangi veri kullanıldı? Kim eylemi yetkilendirdi? Çoğu durumda, bu sorular sonradan cevaplanması zor sorular.

Bu, mevcut boşlukların kritik hale geldiği yerdir. Belirsiz sahiplik, zayıf izleme ve müdahale eksikliği, yalnızca devam etmez – birleşir. Yanlış bir cevap düzeltilabilir. Yanlış bir eylem, kimsenin fark etmeden önce sonuçlar yaratabilir.

Erken sinyaller already bu yönde işaret ediyor. Gartner, agentic AI projelerinin %40’ından fazlasının 2027 yılına kadar iptal edileceğini öngörüyor – model kısıtlamaları nedeniyle değil, şirketlerin maliyeti, riski ve sonuçları kontrol etmekte zorlandığı için.

Düzenleyiciler, otomasyonun sorumluluğu ortadan kaldırmadığını belirten basit bir ilkeyle already yanıt veriyor. Şirketler için bu, açık bir sonuç yaratıyor: eğer sahiplik ve kontrol bugün belirsizse, agentic sistemlere ölçeklendirme sorunu çözmeyecek – bunu büyütecek.

Çalıştırın – Yoksa Kaybedin

AI artık kısıtlama değil. Modeller yaygın olarak mevcut, yetenekli ve giderek daha çok commoditize ediliyor. Gerçek farklılaştırıcı, bir şirketin AI’yi oluşturup oluşturamadığı değil – onu canlıyken güvenilir bir şekilde çalıştırıp çalıştıramadığıdır.

Bu, çoğu başarısızlığın meydana geldiği yerdir – sistemlerin nasıl çalıştırıldığı, nasıl oluşturulduğu değil.

Bu, en önemli AI sisteminizi alın ve üç soru sorun:

• Kim onu kapatabilir?
• Onun başarısız olduğunu nasıl anlarsınız?
• O başarısız olduğunda ne olur?

Eğer bu cevaplar belirsizse, sistem üretim için hazır değil.

Model olabilir. Ancak şirket değil.