Şirketlerin Gerçekten Nasıl Çalıştığı Hakkında Bilgi Nerede Bulunur, Teknoloji Değil Bilgi Problemiyle Karşılaşıyor

Geçen yıl, S&P Global (SPGI ) bildirdi ki, şirketlerin çoğunun AI girişimlerinin çoğunu terk etme oranı iki katından fazla arttı, %17’den %42’ye çıktı. Öncesinde, Gartner yayınladı bir agentic AI projeleri tahmini: 2027 yılı sonunda bunların %40’ı durdurulacak.

McKinsey & Company’ye göre, neredeyse tüm şirketlerin AI ajanları ile deneysel çalışmalar yapıyor. Ancak kaç tanesi pilot aşamasını geçip gerçekten operasyonel oldu? Yaklaşık onda biri.

Endüstri, model hallucinations, yönetim eksikliği, yüksek GPU maliyetleri ve uzman eksikliği gibi açıklamalara sahip. Tüm bunlar gerçek zorluklar. Ancak üç yıldır bilgi yönetim sistemleri ve AI ajanları ile çalıştıktan sonra, şirketlerin ajanlarına eksik veri geçirdiklerini görüyorum.

Pedagojik Bilimler Doktoru olarak, bunu bir bilgi transfer problemi olarak görüyorum. Bir kişi karar alma mantığını açıklamıyorsa, bu mantık yeni bir çalışana veya AI ajanına aktarılamaz. Neden böyle olduğunu ve ne yapılacağını keşfedelim.

Şirketlerin Gerçekten Nasıl Çalıştığı Hakkında Bilgi Nerede Bulunur

Bir büyük şirkete, çalışanların bilgisi nerede depolanıyor diye sorduğunuzda, uzun bir liste alırsınız: Confluence, SharePoint, LMS platformları, FAQ botları, Slack arşivleri. Bu, RAG sisteminin ihtiyaç duyduğu her şeyi alabileceği bir yığın gibi görünüyor. Ancak kritik bir unsur eksik: insanların zihnindeki bilgi. Hiç kimsenin yazmadığı bilgi.

Bu neden bir problem?

Çünkü bir AI ajanı, bir iş akışının bir kısmını devralmak için – bağlamı anlamak, bir eylem seçmek ve görevi tamamlamak için – sadece bir bilgi tabanına erişimi değil, aynı zamanda uzman bir uzmanın kullandığı karar alma mantığını da benötir.

Yeni bir destek ajanı, bir talep alıyor: müşteri, bir hizmet için ödeme yaptığını ancak erişimin aktif edilmediğini iddia ediyor. Senaryo, müşterinin beklemesini isteyen standart bir adım dizisi içerir. Ancak ajan, durumun alışılmadık olduğunu fark eder: müşteri daha önce iki kez destek ekibi ile iletişime geçmiş ve sistemde son bir saat içinde benzer birçok vaka vardır. Daha deneyimli bir kolegadan yardım ister ve o, bu durumu daha önce gördüğünü ve sorunun muhtemelen ödeme ağ geçidi, banka ve iç etkinleştirme sistemi arasındaki bir arızadan kaynaklandığını, bu nedenle durumun başka bir departmana iletileceğini söyler.

AI ajanı için bu mantık görünmez. Senaryoya, bilet geçmişine ve ödeme durumuna erişimi olabilir, ancak deneyimli bir operatörün hangi sinyalleri kesin olarak dikkate aldığını bilmez. Uzmanlar bu bilgiyi kasıtlı olarak saklamıyorlar, sadece bunu formalize edemez veya adımlara ayıramazlar: hangi seçeneklerin ruled out edildiği, neden belirli bir eylem seçildiği ve standard senaryonun neden uygulanmadığını. Bilişsel bilim adamları buna zımni bilgi diyor – sogar sahibi tarafından da tam olarak fark edilmeyen örtük bilgi.

Bu, tıkanmanın belge erişim düzeyinde değil, uzman deneyimini AI ajanı için uygun bir forma dönüştürme aşamasında ortaya çıktığı anlamına geliyor.

Buna Ne Yapılabilir

Bir AI ajanının etkili çalışması için, sadece bir LLM’yi kurumsal bir bilgi tabanına bağlamak yeterli değil, çünkü başarılı kararlar genellikle zımni bilgiye dayanır. Öncelikle, yapılandırılmış karar alma kriterleri içeren bir bilgi katmanı oluşturulmalıdır.

Bilgi yönetiminde, bu süreç dışsallaştırma olarak adlandırılır – zımni bilgiyi açık bilgiye dönüştürme. Diğer bir deyişle, şirketin sadece uzmanın ne yaptığını değil, nasıl düşündüğünü anlaması gerekiyor. Bu genellikle, bir üst uzman ile derinlemesine görüşmeler yoluyla yapılır. Onların yanında, doğru soruları sorabilen bir metodolog, bilgi mühendisi veya eğitim tasarım uzmanı olmalıdır. Görevleri, uzmanın söylediği şeylere dayalı bir “talimat” yazmak değil, seçenek arasında seçim kriterlerini yeniden oluşturmak, kenar durumlarını ayırmak ve uzmanın zaten otomatik olarak ele aldığını hataları ortaya çıkarmaktır.

Burada AI önemli ölçüde yardımcı olabilir: görüşmeleri transkribe etmek, benzer durumları gruplamak, uzman açıklamalarını taslak senaryolara dönüştürmek ve doğrulama için durumlar oluşturmak. Ancak nihai yapı, uzman tarafından gözden geçirilip onaylanmalıdır.

Sonuç, işleyen bir bilgi korpusu olmalıdır. Hem yeni çalışanları eğitmek hem de bir AI ajanını yapılandırmak için kullanılabilir. Her iki senaryo da aynı temele dayanır: üst uzmanlardan yapılandırılmış deneyim.

Alternatif, Confluence üzerinden RAG’nin mantığı hiçbir zaman belgelendirilmeyen bir şekilde yeniden oluşturacağı varsayımına devam etmektir. Uygulamada, bu neredeyse hiç çalışmaz: sistem ilgili bir belgeyi alabilir, ancak bağlam ve deneyim temelinde doğru eylemi seçmesini öğrenemez.

AI Ajanının Çalışmaya Hazır Olduğunu Nasıl Kontrol Edersiniz

Uzman bilgisini senaryolara dönüştürdünüz ve ajanı yapılandırdınız. Ancak ajanın inandırıcı cevapları ile gerçek operasyonel performansı arasında bir boşluk vardır ve bu boşluk sadece doğrulama sırasında görünür. Bu aşamada, gerçekten gerekli tüm bilginin yakalandığını belirlemek önemlidir.

Pratik bir yaklaşım, senaryo tabanlı testtir. AI ajanına, uzmanın günlük işinden gerçek durumlar verirsiniz: müşteri bir ücreti protesto ediyor, alışılmadık bir e-posta geliyor veya temel senaryoya uymayan bir talep ortaya çıkıyor. Sonuçlar, başka bir LLM tarafından değil, bilgi korpusunu oluşturmanıza yardımcı olan aynı uzman tarafından değerlendirilmelidir. AI ajanı, deneyimli uzmanın izlediği yola farklı bir yol izliyorsa, bu her zaman modelin zayıf olduğu anlamına gelmez. Daha sık, kritik bir kuralın, istisna veya örneğin eksik olduğunu gösterir. Bu durumda, süreç başa döner: metodolog, uzmanla mantığı açıklar, bilgi korpusu güncellenir, talimatlar iyileştirilir ve test tekrarlanır.

Bu döngü, isteğe bağlı bir adım değil, ajanın sadece “potansiyelini göstermek” yerine gerçekten iş yapmasını sağlayan bir aşamadır. Bu, yavaş ve etkileyici olmayan bir süreçtir: gösterişli bir demo üretmez ve uzmanların katılımını gerektirir. Ancak bunu sistematik olarak yapanlar, gerçekten uzmanların rutin iş yükünü azaltan ajanlara sahip olurlar. Bunu atlayanlar, altı ay içinde genellikle Gartner’ın %40’lık projelerin iptal edileceğini öngören istatistiklerine girerler.

Agentic AI, teknoloji nedeniyle değil, şirketlerin ajanlarına eksik bilgi verdiğinden başarısız olur. 2024-2025’te bu, deneysel aşama tarafından açıklanabilir. 2026’da bu hata artık yüksek bir maliyetle gelir.