Düşünce Liderleri

Modelin Ötesinde AI Yönetişimi

Zuzana Drotárová
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarHesap verebilirlik boşlukları, kurumsal yapay zeka başarısızlıklarının çoğuna model…
Daha fazla göster
  • Hesap verebilirlik boşlukları, kurumsal yapay zeka başarısızlıklarının çoğuna model kusurlarından daha fazla neden oluyor.
  • Air Canada, sohbet robotunun yanlış taziye ücreti tavsiyesi nedeniyle sorumlu tutuldu.
  • Aracı yapay zeka, otonom eylemler riski artırdıkça mevcut yönetişim boşluklarını büyütecek.

Uyarı: Sorun Model Değil

2023 yılında New York Şehir Belediyesi, işletmelerin karmaşık düzenlemelerde yolunu bulmasına yardımcı olmak için MyCity sohbet botunu başlattı. Fikir basitti: yasal bilgileri daha kolay erişilebilir hale getirmek.

Pratikte, sistem yanlış cevaplar üretti – sadece yanlış değil, aynı zamanda yasal olarak yanıltıcı – bahşiş kurallarından konut ayrımcılığına, ödeme yasalarına kadar.

Daha sonra yapılan bir denetim, kullanıcı geri bildiriminin %71.4’ünün olumsuz olduğunu buldu. Altta yatan sorunları çözmek yerine, verilen yanıt sorumluluk reddi açıklamaları eklemek oldu. Sohbet botu, iki yıldan fazla bir süre “beta” olarak kaldı ve sonra kapatıldı.

Başarısızlık teknik değildi. Sistem, üretim sırasında doğru çalışmadı çünkü doğruluğu garantileyecek bir mekanizma, açık bir sorumluluk ve şeyler yanlış gittiğinde müdahale edecek bir yol yoktu.

Bu, günümüzde kurumsal AI’nin arkasındaki modeldir: teknoloji çalışır, ancak organizasyonlar onu güvenilir bir şekilde çalıştırma konusunda hazır değildir.

Pilot’tan Üretime: Her Şey Nerede Bozulur

Bir pilot oluşturmak oldukça basittir – bir kullanım durumu seçin, bir model seçin, verileri hazırlayın, bir sponsor bulun. Bir sistemi üretimde işletmek tamamen farklı bir düzeydir.

Arada bir fark vardır – bir havuza atlamak ve Felix Baumgartner’ın 2012’de yaptığı gibi stratosferden atlamak arasındaki fark gibidir. Aynı temel fizik, tamamen farklı koşullar – ve başarısızlık için çok farklı sonuçlar.

Üretimde, AI gerçek karar alma akışlarına girer, müşterilerle etkileşime girer ve yasal ve operasyonel sonuçlar oluşturur. Bu, modelde değil, nasıl yönetildiğinde ortaya çıkan boşluklardır.

Avrupa bu durumu çoğu bölgeden daha erken görünür kılar. AB AI Yasası, GDPR ve NIS2 gibi düzenlemeler, benimsemeyi yavaşlatmaz – ancak organizasyonların AI sistemlerini gerçek kısıtlamalar altında çalıştırıp çalıştırabileceğini ortaya koyar.

2025 yılında, büyük AB işletmelerinin %55’i zaten AI kullanıyordu. Benimseme zaten büyük ölçekte gerçekleşiyor. Sorun, dağıtımdan sonra ne olacağıdır.

Bu noktada, temel operasyonel sorular ortaya çıkmaya başlar. Ve genellikle, kimse onlara cevap veremez: AI çıktıları ve otomatik kararlar için kim sorumludur? Sistem beklenmedik şekillerde davranırsa ne olur? Ve kim bunu medyaya ulaşmadan önce yakalar?

Sorumluluk şirketle kalır, teknolojiyle değil. Air Canada’nın sohbet botu (AC.TO ) bir müşteriye yakınını kaybeden yolculara yönelik özel uçuş ücretleri hakkında yanlış bilgi verdi. Müşteri buna güvendi ve daha sonra bir geri ödeme almadı. Bir tribunal, havayolunun sorumlu olduğuna hükmetti – sohbet botu ayrı bir varlık değildi.

Aynı sorun, farklı bir açıyla: McDonald’s McHire sistemi, yaklaşık 64.000 başvurucunun hassas verilerini ifşa etti. Nedeni, sofistike bir saldırı değil, yönetici oturum açma işleminin “admin” ve “123456” kullanmasıydı. Sistem gelişmiş görünüyordu. Başarısızlık ise temel düzeydeydi.

Zaten çalışan bir sisteme yönetişimi sonradan eklemek için artık çok geçtir. Bir sistemi dağıtmak bir teknik karardır. Onu güvenilir bir şekilde çalıştırmak bir organizasyonel karardır. Ve bu, çoğu şirketin küçümsediği kısım.

AI Riskinin Sorumluluğu Gerçekte Kimde? Hiç Kimsede.

Bu, sorunun özü ve paradoksal olarak en az tartışılan kısmı. BT altyapıyı yönetir. Hukuk, uyumu ele alır. İş takımları kullanım durumlarını itekler. Ancak AI riskinin uçtan uca sorumluluğunu üstlenen kimse yoktur.

Bu, iki anlık sorunu yaratır. “Git” kararı yavaşlar – çünkü kimse sorumluluk almak istemez. Ve “dur” kararı da aynı şekilde yavaşlar – çünkü kimse kimin durdurmaya yetkili olduğunu bilmez.

Veriler bunu yansıtıyor. AI kullanım durumlarının %10’dan azı pilot aşamasından üretime ulaşıyor ve çoğu organizasyon, ölçülebilir bir iş etkisini yaratmakta zorlanıyor. Aynı zamanda, birçok kuruluş zaten AI’yi dağıtmakta – ancak yönetim olgunluk anketine göre, sadece %7’sinde iyi yapılandırılmış ve tutarlı biçimde uygulanan bir yönetişim sistemi bulunuyordu.

Bu neden böyle tutarlı bir şekilde olur? Çünkü çoğu çerçeve ve kurumsal politika, ne olacağını tanımlar – ancak önemli olduğunda kimin sorumlu olduğunu tanımlamaz. Bir sistem cuma günü gece yarısı yanlış çıktılar üretmeye başladığında, soru teorik değildir. Kim hareket eder? Ve kim karar vermeye yetkilidir?

Bu, ölçek arttıkça daha da kötüleşir. Bir sistem gayriresmî olarak yönetilebilir. Ancak 30 sistem olduğunda, sorumluluk takımlar arasında parçalanır ve kimse tam resmi göremez.

Avustralya Commonwealth Bankası (CBA.AX ) net bir örnek sağlar. Banka, 45 müşteri hizmetleri çalışanı yerine AI ses botlarını kullanmaya başladı ve talebin düşmesini bekliyordu. Ancak düşmedi. Çağrı hacmi arttı, yöneticiler kapasiteyi aşan çağrıları karşılamak üzere devreye girdi ve banka tüm 45 çalışanı yeniden işe almak zorunda kaldı. Bu karar sorgulandığında banka, otomasyonun iş yükünü azalttığını gösteremedi.

Dağıtımdan önce kimse varsayımları doğrulamadı. Bu varsayımlar boşa çıktığında sonuçtan sorumlu olan kimse yoktu. Bu, uygulamada bir sorumluluk boşluğunun nasıl göründüğünü gösterir.

Kurallar Yetmez. Bir Mekanizma Gerekir

Çoğu organizasyonda eksik olan politikalar değildir. Bir şeyler ters gittiğinde çalışacak sistemler eksiktir.

Bir politika, ne olacağını tanımlar. Bir mekanizma, ne gerçekten olacağını belirler – bir model yanlış çıktılar ürettiğinde, bir satıcı arka planda bir şey değiştirdiğinde veya bir sistem beklenmedik şekillerde davranmaya başladığında.

Bu fark, üretimde görünür hale gelir – kararlar gerçek koşullar altında verildiğinde.

Bu başarısızlıklar tutarlı bir dinamik izler. Her durumda, aynı operasyonel boşluklar ortaya çıkar – sadece farklı formlarda.

Sahiplik İlk Gelen

Kullanıma alınan her AI sisteminin açıkça sorumlu bir sahibi olmalıdır – bir kişi, bir takım veya bir bölüm değil, onaylama, duraklatma ve kapatma yetkisine sahip.

Bunun olmaması, hızlı dağıtım veya güvenli müdahaleyi imkansız kılar. Avustralya Commonwealth Bankası örneğinde görüldüğü gibi, açık sahipliğin olmaması doğrudan operasyonel başarısızlığa yol açar.

Veri ve Yasal Açıklık Çoğu Zaman Eksiktir

Birçok sistem, belgelendirilmiş veri akışları, doğrulanmış yasal bir temel veya üretim aşamasında hangi yükümlülüklerin geçerli olduğu konusunda açıklık olmadan canlıya alınır.

İtalyan düzenleyicisinin DeepSeek’e karşı 2025’te aldığı eylem bunu açıkça gösterir. Sorun, model kalitesi değildi – kişisel verilerin nasıl işlendiğinin açıklanamamasıydı. Sonuç, Avrupa kullanıcıları için aniden hizmet kesintisiydi.

Testler Gerçek Dünya Kullanımını Nadiren Yansıtır

Sistemler genellikle iyi performans gösterdikleri senaryolarda değerlendirilir, ancak başarısızlığın en ağır sonuçları doğuracağı durumlarda değil.

MyCity sohbet botu net bir örnektir. Temel kenar durumları – iş hukuku, konut ayrımcılığı veya ödeme kuralları etrafında – dağıtımdan önce yakalanmadı. Gerçek kullanıcılarla karşılaştığında, bu başarısızlıklar hemen kamuoyuna açıklandı.

Test yalnızca performansla ilgili değildir; kullanıcılar, düzenleyiciler veya gazetecilerden önce sistemin nerede başarısız olduğunu saptamakla ilgilidir.

Müdahale Belirsiz veya Yavaş

Sorunlar görünür olduğunda, sistemi durdurma veya kapatma yetkisi olan açık bir tetikleyici veya otorite genellikle yoktur.

Zillow Offers bunu büyük ölçekte gösterir. Sistem, evleri fiyatlandırmak ve satın almak için bir algoritma kullandı. 2021’de pazar soğuduğunda, sistem şişirilmiş fiyatlarla ev almaya devam etti. Zamanında sapmayı tespit edecek bir mekanizma veya onu durdurmak için açık bir karar noktası yoktu. Sonuç, 880 milyon doların üzerinde bir kayıp ve tüm bölümün kapatılmasıydı.

İzleme Sahiplik Değil

İzleme genellikle panellere indirgenir, ancak bu, başarısızlıkları önlemez.

Önemli olan, tanımlanmış sorumluluktur: sinyalleri kim izler, hangi durum üst mercilere iletmeyi tetikler ve kimden harekete geçmesi beklenir.

Deloitte Avustralya‘nın durumu, bunun neye benzeyebileceğini gösterir. Bir hükümet raporu, uydurma atıflar ve yanlış hukuki referanslar içeriyordu; çünkü teslimden önce çıktıların doğrulanmasından açıkça sorumlu olan kimse yoktu. Sonuç, kısmi bir geri ödeme ve itibar hasarıydı.

Agentic AI: Gelecek Daha Zor Olacak

Üretken AI çıktılar üretir. Agentic AI eylemler gerçekleştirir. Bu, riski tamamen değiştirir.

Değerlendirilecek tek bir cevap yerine, bir talimat sistemler arasında bir karar zincirini tetikleyebilir – API çağrıları, veri erişimi, işlemler, güncellemeler – genellikle her adımda insan müdahalesi olmadan.

Şeyler yanlış gittiğinde, sorun artık doğruluk değildir. İzlenebilirliktir. Hangi adım soruna neden oldu? Hangi veri kullanıldı? Kim eylemi yetkilendirdi? Çoğu durumda, bu sorular sonradan cevaplanması zor sorulardır.

Bu, mevcut boşlukların kritik hale geldiği yerdir. Belirsiz sahiplik, zayıf izleme ve müdahale eksikliği yalnızca sürmekle kalmaz, etkileri de birikip artar. Yanlış bir cevap düzeltilir. Yanlış bir eylem, kimse fark etmeden önce sonuçlar yaratabilir.

Erken sinyaller şimdiden bu yönde işaret ediyor. Gartner, agentic AI projelerinin %40’ından fazlasının 2027 yılına kadar iptal edileceğini öngörüyor – model kısıtlamaları nedeniyle değil, organizasyonların maliyeti, riski ve sonuçları kontrol etmekte zorlandığı için. Bu, üretken AI kullanıma alındıktan sonra gördüğümüz örüntünün aynısıdır; yalnızca riskler daha yüksektir.

Düzenleyiciler şimdiden basit bir ilkeyle karşılık veriyor: otomasyon, sorumluluğu ortadan kaldırmaz. Organizasyonlar için bu, açık bir sonucu yaratır: eğer sahiplik ve kontrol bugün belirsizse, agentic sistemlere ölçeklendirme sorunu çözmeyecektir. Onu büyütecektir.

Çalıştırın – Yoksa Kaybedin

AI artık kısıtlama değildir. Modeller yaygın olarak mevcuttur, yeteneklidir ve giderek daha çok standart ve birbirinin yerine geçebilen bir metaya dönüşüyor. Gerçek farklılaştırıcı, bir organizasyonun AI’yi oluşturup oluşturamadığı değildir – bir organizasyonun AI’yi canlıya aldıktan sonra güvenilir bir şekilde çalıştırıp çalıştırabileceğidir.

Bu, çoğu başarısızlığın meydana geldiği yerdir – sistemlerin nasıl çalıştırıldığı, nasıl inşa edildiği değil. Başarılı olacak organizasyonlar, en gelişmiş modellere sahip olanlar olmayacak. En açık operasyonel yapıları olanlar olacak.

Bu, doğrudan test edilebilir. En önemli AI sisteminizi alın ve üç soru yanıtlayın:

  • Kim sistemi kapatabilir?
  • Sistem başarısız olduğunda nasıl anlarsınız?
  • Başarısız olduğunda ne olur?

Eğer bu cevaplar belirsizse, sistem üretim ortamına hazır değildir.

Model olabilir. Organizasyon değil.

Zuzana Drotárová iş analizini Avenga'da yönetiyor, Çek Cumhuriyeti ve Slovakya'daki işletme programları boyunca ~100 analisti denetliyor. AI dahil işletme girişimlerinin gerçek kullanım ortamında çalışıp çalışmadığını belirleyen operasyonel ve karar alma yapılarına odaklanıyor.