Kurumsal AI Pilotlarının Üretimden Önce Neden Tıkanması: Sorun Model Değil, Harness’tir

Model asla zor kısım değildi. İçeriden bakıldığında, üretim kazanıldığı veya kaybedildiği katmanda: geri alma, zemine oturtma, yönlendirme ve değerlendirme.

Her büyük kurumsal AI anketi aynı duvarı tanımlar: organizasyonlar modellere erişebilir, pilotları çalıştırabilir ve etkileyici bir demo yapabilir, ancak neredeyse hiçbiri üretime ulaşmaz. Raporlar, yöneticilerin anketlere cevap verdiği dış bakış açısıyla bu açığı tanımlar. Bu, diğer taraftan, inşa edilenlerin içinden bir bakış açısıdır: pilotlar ya üretime geçer ya da sessizce ölür.

Herkesin ölçtüğü açıklık

Rakamlar tanıdık hale geldi. Deloitte’ın Kurumsal AI Raporu, AI erişiminin neredeyse evrensel olduğunu, ancak yaklaşık bir çeyrek organizasyonun deneylerinin yalnızca %40’ını üretime geçirdiğini ve yaklaşık beşte birinin otonom ajanlar için olgun bir yönetim yapısına sahip olduğunu buldu. MIT’in Proje NANDA’sı, daha açık bir şekilde ifade etti: yüzlerce dağıtımda, ezici çoğunluk ölçülebilir bir finansal getiri elde edemedi. Gartner, birçoğunun kanıt konsepti aşamasından sonra terk edileceğini öngördü, kötü veri kalitesi, artan maliyet ve belirsiz iş değerine atıfta bulundu.

Bu bulguları bir araya getirdiğinizde, tek bir şekil ortaya çıkar. Tıkanma noktası, yetenekli modellere erişimin değil, bir modelin demo’da çalıştığı ve bir sistemin her zaman, her kullanıcı için, gerçek yük altında, yanlış olmanın gerçek sonuçlarıyla üretiminde çalıştığı arasındaki mesafedir.

Açıklanması gereken bir uyarı: birçok pilot, mühendislikle ilgili olmayan nedenlerle asla gemiye binmez: gerçek bir iş durumu, kullanılabilir veri, yönetici sponsor veya hiç kimse tarafından modellenen toplam maliyet. Bunları bir kenara koyun. Aşağıdakiler, teknik olarak gerçek, inandırıcı bir demo yapan ve arkasında gerçek bir kullanım durumu olan, ancak仍de üretime geçemeyen pilotlar hakkında.

Anket verileri size bunu söyleyemez: aslında o mesafeyi kapatan nedir. Bu cevap, bir anketKADE değil, demo herkesi etkilemeden önce ve sistem gerçek müşterilerle güvenilmezken yapılan mühendislik kararlarında yaşar.

Desen: Kararlı çözüm neredeyse nunca modeldir

Kurumsal AI anlaşmalarımıza bakıldığında, tutarlı bir desen ortaya çıkar: bir pilot nihayet üretime ulaştığında, oraya ulaşmasını sağlayan değişiklik, nadiren daha iyi bir modeldi. Modelin etrafındaki katmandı: bilgi nasıl alınıp zemine oturtulur, çıktılar bir kullanıcıya ulaşmadan önce nasıl kontrol edilir, iş hangi modele yönlendirilir ve her şey nasıl sürekli olarak değerlendirilir.

Bunu harness katmanı olarak adlandırıyoruz. Pratik olarak, bir ajan, araçlara erişimi olan bir modeldir ve harness, modelin bağlamı nasıl alacağı, bu araçları nasıl kullanacağı ve ürettiği şeyden nasıl sorumlu tutulacağıyla ilgili her şeyi kapsar: geri alma, zemine oturma kontrolleri, model yönlendirme, koruma rayları ve değerlendirme. Bu bileşenler izole olarak çalışmaz. Belirli bir kullanım durumu için bunları bilerek birleştirmelisiniz. Bu birleştirilmiş disiplin, üretim için gerçekten kazanıldığı veya kaybedildiği yerdir.

Bu, kanıt konsepti tuzağını yeniden çerçeveler. Ekipler tıkanır, çünkü zaten çalışan kısmı optimize etmeye devam ederler. Yeni bir modelle değiştirirler, istemleri yeniden mühendislik yaparlar ve bir sonraki sınır release’ini beklerken, gerçek başarısızlık noktaları, bir demo’nun asla strese sokmadığı sistemlerin diğer kısımlarında, bir katman dışında oturur.

Güvenli bir ajan oluşturan, daha akıllı bir model değil, zemine oturtmadır

Sigorta sektöründe öneri ve danışman asistanını düşünün, bir alanda, kendinden emin yanlış bir cevap, bir hata değil, bir sorumluluktur. Bu gibi durumlarda ilk içgüdü, en yetenekli mevcut modeli almak ve yetenek güvenliği satın aldığını varsaymaktır. Alamazsınız. Daha akıcı bir model, daha inandırıcı sanrılar üretir, bu, bir düzenlenmiş bağlamda daha kötü, değilse daha iyidir.

Sistemi sevk edilebilir kılan, harness’ti: yalnızca yönetilen, kiracı-güvenli kaynaklardan alınan bir geri alma tasarımı; üretken iddiaları bu kaynaklara karşı önceden bir kullanıcıya ulaşmadan önce doğrulayan zemine oturma kontrolleri; ve bir doğrulama adımı, desteklenmeyen bir şeyi iddia etmekten ziyade çekinmeden çekilmeyi tercih eden. Sonuç, bir LLM-only bazline karşı %80 ila %90 arasında bir sanrı azalmaları ve %95’in üzerinde bir zemine oturma doğruluğu ile sub-iki-saniye P95 gecikmesi, güvenlik katmanının sistemi asla yavaş hissettirmediği.

Güvenlik ile model seçimini eşleştiren herkes için karşıt bir ders: zemine oturma ve doğrulama katmanı, yönetimdir. Politika belgeleri ve onay komiteleri önemlidir, ancak bir modeli çıkarım zamanında bir gerçeği uydurmasını durduramaz. Bir geri alma ve doğrulama harness’ı durdurur. Dağıtımlarımızda, teknik zemine oturma katmanı, gerçek yönetim mekanizmasıdır: “AI şeyleri uyduramaz” ilkesi, sistem özelliğine dönüştüğü yer.

AI maliyeti, model seçimi değil, model yönlendirmesinde kararlaştırılmaktadır

Pilotların öldüğü ikinci yer, bütçe incelemesidir. Bir sistem güzel çalışabilir ve hala iptal edilebilir, çünkü her token’in ekonomisi, binlerce kullanıcı ve düzinelerce kullanım durumu boyunca çarpıldığında, önceden hiç kimse tarafından modellenen bir toplam-maliyet-sorununa dönüşür.

Burada da içgüdü, güçlü bir model seçmektir, ancak bu, hatadır. Çoğu kurumsal iş yükü, bir karışımdır: taleplerin büyük bir kısmı rutin, küçük bir kısmı gerçekten zordur. Her talebi güçlü bir modele göndermek, triaj işini iyi yapan daha küçük, daha ucuz bir model için güçlü model fiyatları ödemek demektir.

Bir üçüncü taraf LLM API’sine yapılan bir göçte, Amazon Bedrock ’a, kazançlar modeli değiştirmekten değil, model katmanını yeniden mimariden geldi. Her görevi uygun model katmanına yönlendirmek, Bedrock’un yerli maliyet ve yönetim kontrolleriyle birleştirildiğinde, AI altyapısı maliyetinde %42’lik bir azalma ve %60 daha hızlı uyumlu içerik oluşturma sağladı, uygulamayı yeniden oluşturmadan.

Bu ilkeyi genişletin ve birleştirin. Bir “danışman” mimarisi, ucuz modellerin triaj ve çoğu talebi iyi bir şekilde ele alması, güçlü modellerin yalnızca gerçekten ihtiyaç duyulan durumlara ayrıldığı, yönlendirmeyi bir kerelik tasarruf yerine yapısal bir tasarruf haline getirdi.

Bu desen, kurumsal AI maliyetini, ajan operasyonları için %60 ila %80, bazı dağıtımlarda %85’e kadar azalttı. Nokta, başlıklı yüzdeler değil, AI sisteminin maliyetinin, seçilen model tarafından değil, mimarisi tarafından belirlendiğidir.

Bu neden anket verisinde görünmez

Hiçbiri, bir anketKADE değil, mühendislerin mekanizmalar hakkında sorduğu bir soru olarak temiz bir şekilde görünmez. “Pilotunuz üretime ulaştı mı?” yöneticilerin cevaplayabileceği bir evet/hayır sorusudur. “Neydi oraya ulaşmasını sağlayan?” mühendislerin cevaplayabileceği bir sorudur ve cevap, nadiren “daha iyi bir model”dür. Çoğu zaman, “modelin etrafındaki katmanı düzelttik”tir.

Bu uyumsuzluk, kanıt konsepti tuzağının garip şekilde devam etmesini açıklar. Endüstri, model problemi teşhis etmeye ve model çözümleri satın almaya devam ederken, gerçek kısıtlama, demo’nun göstermediği ve temel model lansmanının reklam vermeyeceği, geri alma, zemine oturma, yönlendirme ve değerlendirme gibi altyapıya oturur.

Ayrıca, yönetim ve teslimat hızının zıtlar olarak kabul edilmediğini açıklar. Ortak anlatı, yönetimin gemiye binmeyi yavaşlattığını öne sürer. Deneyimlerimize göre, ngược’tir: bir sistemi yönetilebilir kılan, zemine oturma ve doğrulama çalışması, aynı zamanda onu gerçek kullanıcıların önüne koyabilecek kadar güvenilir kılar. Harness katmanında yapılan, gemiye binmeyi yavaşlatan değil, gemiye binmeyi sağlayan şeydir.

Bu, pilotunuz tıkanmışsa ne anlama gelir

Eğer bir génératif AI projesi kanıt konsepti cehenneminde oturuyorsa, en faydalı şey, modeli ilk olarak incelemeye karşı direnmektir. Model, zaten yeterli olan parçadır. Bunun yerine, etrafındaki katmana bakın:

• Geri alma ve zemine oturma: Sistem, yönetilen, doğrulanabilir kaynaklardan cevap veriyor mu, yoksa eğitiminden mi icat ediyor?
• Doğrulama: Çıktı, bir kullanıcıya ulaşmadan önce herhangi bir şey kontrol ediyor mu, yoksa modelin güveni doğrudan geçiyor mu?
• Yönlendirme: Her talebe güçlü bir model için ödeme yapıyor musunuz, yoksa işi, iyi yapabileceği en ucuz modele mi yönlendiriyorsunuz?
• Değerlendirme: Kalite, kendi benchmark’lerinize karşı sürekli olarak ölçümleniyor mu, yoksa bir kez demo’da doğrulandı mı ve bir daha asla değil mi?

2026’da pilotlarından üretime geçen organizasyonlar, en iyi modellere erişimi olanlar değildir. Herkesin bunu vardır. Onlar, modelin asla zor kısım olmadığını anlayanlar ve mühendislik çabalarını, üretim gerçekten kazanıldığı harness’e koyanlardır.