Kurumsal Yapay Zekânın İşe Yarıp Yaramadığını Token Maliyetleri Göstermez

Kurumsal yapay zekâ, tanıdık bir döngüden geçiyor. Başlangıçta kuruluşlar, teknoloji heyecan verici olduğu ve henüz faturası gelmediği için en büyük ve en yetenekli modellere yönelerek tüm kaynaklarını bu alana seferber etti. Fatura geldiğinde ise tepki aynı ölçüde tahmin edilebilirdi: Ekipler erişimi kısıtlamaya, denemeleri azaltmaya ve daha ucuz modeller aramaya başladı.

Databricks’in kurucu ortağı ve CEO’su Ali Ghodsi, bu döngünün ilk aşamasını, daha fazla token tüketmenin ilerleme göstergesi sayıldığı “token tüketimini en üst düzeye çıkarma” olarak tanımladı. Daha önemli aşama ise “değeri en üst düzeye çıkarma”; bu, yapılan harcamanın ne sağladığını anlamak ve kaynakları önem taşıyan işlere yönlendirmek demek.

Bu, maliyet optimizasyonuna yalnızca yeni bir ad vermekten ibaret değil. Maliyet optimizasyonu, bir kuruluşun nasıl daha az harcayabileceğini sorgularken değeri en üst düzeye çıkarma yaklaşımı, harcadığı kaynaklardan nasıl daha fazla fayda sağlayabileceğine odaklanır. Yapay zekâ, sınırlı sayıdaki denemelerden çıkıp kuruluşların günlük faaliyetlerinin parçası hâline geldikçe bu ayrım giderek daha önemli olacak.

En Büyük Model Her Zaman Doğru Model Değildir

Birçok kuruluş, yapay zekâ programlarına neredeyse her görevde mevcut en güçlü modeli kullanarak başladı. Ekiplerin teknolojinin neler yapabileceğini anlamaya çalıştığı ve modelin yeteneklerinin öngörülebilirliğinden daha önemli olduğu ilk deneme aşamasında bu yaklaşım mantıklıydı.

Ancak kullanıma alımlar yaygınlaştıkça, her istekte en ileri modeli kullanmanın maliyetini gerekçelendirmek zorlaştı. Bazı kuruluşlar erişimi kısıtlayarak ya da ekiplerden daha az iş yapmalarını isteyerek karşılık verdi. Ancak kapsamlı kısıtlamalar, gerçek israfın yanı sıra yararlı denemeleri de engelleyebilir.

Daha olgun bir yaklaşım ortaya çıkıyor. Ekipler, rutin işler için daha küçük ve uzmanlaşmış modeller kullanmaya, karmaşık akıl yürütme gerektiren ya da başarısızlığın maliyetinin yüksek olduğu görevler içinse daha yetenekli modelleri ayırmaya başlıyor. Zamanla bazı kuruluşlar, maliyet, performans ve hassas veriler üzerinde daha fazla denetim sağlamak için modelleri kendi altyapılarında da çalıştırabilir.

Önemli olan, büyük ya da küçük bir modelin daha iyi olup olmadığı değil. Asıl soru, modelin yapılacak işe uygun olup olmadığı ve elde edilen sonucun onu üretmenin toplam maliyetini karşılayıp karşılamadığıdır.

Tokenler Değeri Değil, Faaliyeti Gösterir

Kurumsal yapay zekâ panolarının çoğu tüketim verileri temel alınarak oluşturuluyor. Bu panolar, kaç token kullanıldığını, bunların hangi modeller tarafından işlendiğini ve kuruluşun ne kadar harcama yaptığını gösteriyor. Bu rakamlar gerekli olsa da yapılan işin yararlı bir sonuç üretip üretmediğini ortaya koymuyor.

İki kat fazla token tüketen bir ekip, mutlaka iki kat fazla değer yaratıyor değildir. Ekip daha zor işlerle uğraşıyor, gereğinden güçlü bir model kullanıyor ya da başarısız görevleri tekrar tekrar deneyen bir ajana dayanıyor olabilir. Model maliyetleri yüksek olan bir iş yükü; kesintileri önlüyorsa, müşteri sorunlarını çözüyor ya da çalışanlara saatlerce değerli zaman kazandırıyorsa yine de son derece iyi bir yatırım olabilir.

Aynı sorun, tokenler yerine gigabaytların söz konusu olduğu gözlemlenebilirlik alanında da yıllardır yaşanıyor. Ekipler, her şeyi toplamanın en güvenli strateji gibi görünmesi nedeniyle işe tüm verileri toplamaya başladı. Depolama ve işleme faturaları yükselince de masrafları denetlemek için verileri örneklemeye, saklama sürelerini kısaltmaya ve bağlamı çıkarmaya başladılar.

Her iki durumda da artan maliyete verilen yanıt çoğu zaman daha az iş yapmak oldu. Oysa kuruluşların ihtiyacı; hangi faaliyetin değerli, hangisinin israf olduğunu ve sonuçtan ödün vermeden hangilerinin daha verimli hâle getirilebileceğini belirleyebilmektir.

Gerçek Maliyet, Çıkarımın Ötesine Geçer

Bir model çağrısı, yapay zekâ iş yükünün tamamını nadiren oluşturur. Bir ajan, yanıt üretmeden önce belgeleri getirebilir, veritabanını sorgulayabilir, telemetri verilerinde arama yapabilir, harici hizmetleri çağırabilir ve uygulama ya da altyapı tarafında yeni faaliyetler başlatabilir.

Bir dağıtımın ardından ödeme adımındaki gecikmenin neden arttığını araştıran bir ajanı düşünün. Ajan günlükleri inceleyebilir, metrikleri karşılaştırabilir, izleri denetleyebilir, dağıtım kayıtlarını getirebilir ve sonraki aşamalardaki hizmetleri analiz edebilir. İlk varsayımı doğru çıkmazsa zaman aralığını değiştirebilir, farklı hizmet adlarıyla arama yapabilir ve birkaç alternatif nedeni izleyebilir.

Dolayısıyla tek bir insan talimatı, makineler tarafından oluşturulan yüzlerce işlemi tetikleyebilir. Bu işlemler işlem gücü, depolama giriş-çıkış işlemleri, ağ kapasitesi ve üçüncü taraf API kotalarını tüketir; bunların hiçbiri kuruluşun model harcamalarını gösteren panosunda görünmeyebilir.

Bu da görünüşte ucuz bir modelin maliyetli bir iş akışını destekleyebileceği anlamına gelir. Daha yetenekli bir modelin çağrı başına maliyeti daha yüksek olabilir; ancak daha az adımda doğru sonuca ulaşarak daha az yeniden deneme ve daha az destekleyici altyapı gerektirebilir. Bu karşılaştırmayı yapmanın tek yolu, görevin tamamını gözlemlemektir.

Faaliyeti, Maliyeti ve Sonuçları Bir Arada Değerlendirin

Değeri en üst düzeye çıkarmak, kuruluşların çoğu zaman ayrı ayrı ölçtüğü üç tür bilgiyi birbiriyle ilişkilendirmesini gerektirir.

İlki; model seçimi, token tüketimi, gecikme, araç çağrıları, yeniden denemeler ve paralel dallar da dahil olmak üzere yapay zekâ etkinliğidir. İkincisi; işlem gücü, depolama, ağ kullanımı, veritabanı yükü ve harici API ücretleri de dahil olmak üzere bu etkinliğin yol açtığı altyapı ve maliyetlerdir. Üçüncüsü ise çalışmanın başarıyla tamamlanıp tamamlanmadığını ve herhangi birinin sonucu faydalı bulup bulmadığını göstermesi gereken çıktıdır.

Her çıktının kesin bir dolar tutarıyla ifade edilmesi gerekmez. Bir yanıtın kabul edilip edilmediği, bir kişinin işi yeniden yapmak zorunda kalıp kalmadığı, bir olayın daha hızlı çözüme kavuşup kavuşmadığı ya da otomatik bir iş akışının müdahale olmadan tamamlanıp tamamlanmadığı gibi pratik bir ölçüt yeterli olabilir.

Örneğin, yüzlerce sorgu üreten bir olay incelemesi, mühendislerin kritik bir hizmeti 30 dakika daha erken yeniden devreye almasına yardımcı oluyorsa buna değer olabilir. Çok daha küçük bir iş akışıysa kimsenin okumadığı bir rapor üretiyorsa yine de kaynak israfına yol açabilir. Yalnızca token tüketimine bakarak bu ikisini birbirinden ayırmak mümkün değildir.

Kuruluşlar etkinliği çıktılarla ilişkilendirebildiklerinde; öncü modelleri nerede kullanacaklarına, daha küçük modellerin nerede yeterli olacağına ve hangi iş akışlarının yeniden tasarlanması gerektiğine bilinçli biçimde karar verebilir.

Görünürlük, kontrolden vazgeçmeyi gerektirmemeli

Yapay zekânın değerini anlamak, hassas bağlama erişmeyi gerektirir. İstemler, model yanıtları, kaynak kodu, müşteri bilgileri ve üretim telemetrisi aynı iş akışının parçaları olabilir.

Kuruluşlar, yapay zekâ sistemlerinin performansını anlamak için bu bilgileri harici bir hizmete aktarmak zorunda kalmamalıdır. Ölçümü faydalı kılan istemler ve üretim bağlamı, güvenlik, gizlilik ve uyumluluk ekiplerinin kuruluşun ortamı dışına çıkarılmasına izin veremeyeceği bilgilerle aynı olabilir.

Bu nedenle kurumsal liderler, yapay zekâ ve gözlemlenebilirlik verilerinin nerede işlendiğini, kimlerin erişebildiğini, ne kadar süre saklandığını ve analizin mevcut güvenlik sınırları içinde yapılıp yapılamayacağını sormalıdır. İyi yönetişim görünürlüğe bağlıdır; ancak bu görünürlük yeni bir veri denetimi sorununa yol açmamalıdır.

Analizi temel verilerin yakınında tutmak, yapay zekâ etkinliğini etkilediği uygulamalar, altyapı ve iş süreçleriyle ilişkilendirmeyi de kolaylaştırır. Ekiplerin yalnızca ne kadar harcadıklarını değil, bu harcama karşılığında ne elde ettiklerini de anlamalarını sağlayan şey, bu bütünlüklü bakış açısıdır.

Hacme değil, değere odaklanın

Kurumsal yapay zekânın bir sonraki aşamasında başarılı olacak kuruluşlar, mutlaka en çok token kullanan ya da en az harcama yapanlar olmayacak. Başarıyı; hangi modellerin ve iş yüklerinin anlamlı sonuçlar ürettiğini görebilen, ardından bu bilgiyi devreye alma kararlarına yön vermek için kullanan kuruluşlar elde edecek.

Bunun için tek başına ele alınan model maliyeti panellerinin ötesine geçmek gerekir. Ekipler, bir kullanıcı isteğinden model çağrılarına, araçlara ve altyapıya, oradan da nihai sonuca uzanan tüm süreci gözlemlemeli; hassas bilgileri de kuruluşun uygun denetimi altında tutmalıdır.

Tokenmaxxing, denemeleri teşvik ettiği ve yapay zekânın neler yapabileceğini ortaya koyduğu için yararlı bir aşamaydı. Ardından gelen disiplin Valuemaxxing’dir: Kuruluşların harcamaları veya verileri üzerindeki denetimi kaybetmeden denemelere devam edebilmesi için görünürlüğü, maliyeti ve sonuçları bir araya getirir.

İlk faturalar geldi diye kurumsal yapay zekânın kapsamını daraltmak gerekmez. Bunun yerine daha bilinçli kullanılması gerekir: Harcanan çaba işin zorluğuna, modeller görevlere, harcamalar da ölçülebilir değere uygun olmalıdır.