Röportajlar
Propensity Labs’in Kurucu Ortağı ve CEO’su Rahul Nambiar – Röportaj Dizisi

Öne çıkan noktalarİstemleri daha ucuz bir modele uyarlamak, maliyetin %7'siyle birinci sınıf bir modelle…
Daha fazla göster
- İstemleri daha ucuz bir modele uyarlamak, maliyetin %7'siyle birinci sınıf bir modelle eşleşmesini sağladı.
- Daha ucuz modeller genellikle yetersiz ham yetenekten ziyade düzeltilebilir davranış kalıpları nedeniyle başarısız olur.
- Ekipler yalnızca token başına maliyet yerine başarıyla tamamlanan görev başına maliyeti ölçmelidir.
Rahul Nambiar, Propensity Labs’in Kurucu Ortağı ve CEO’sudur. Daha önce AWS’de büyük ölçekli altyapılar geliştirdi; ardından Meta’ya geçerek makine öğrenimiyle sınıflandırma kullanılan eksabayt ölçeğinde bir kullanıcı verisi envanteri projesindeki çalışmalara liderlik etti. Şimdiyse çalışmaları, yapay zekâ modellerinin davranışlarını anlamaya ve ajan tabanlı iş akışlarının maliyetini düşürüp güvenilirliğini artırmak için model yönlendirmeyi talimat uyarlamayla birleştirmeye odaklanıyor.
Propensity Labs, ekiplerin kendi iş yüklerine uygun yapay zekâ modellerini seçip yönlendirmesine yardımcı olan sistemler geliştiriyor. Şirketin yaklaşımı; kullanıcıların her modelde uzmanlaşmak zorunda kalmadan mevcut modellerden daha fazla verim almasını sağlamak amacıyla model davranışlarının değerlendirilmesini, istemlerin otomatik olarak uyarlanmasını ve modeller arasında yönlendirme yapılmasını bir araya getiriyor.
Kariyeriniz, eksabayt ölçeğindeki bir veri envanteri projesinde gizlilik teknolojileri çalışmalarına liderlik ettiğiniz Meta’dan AWS’ye ve şimdi de Propensity Labs CEO’luğuna uzanıyor. Bu teknik geçmiş, mevcut yapay zekâ modellerinin sınırlamalarına ve uzmanlaşmış talimat yönlendirmenin potansiyeline bakışınızı nasıl şekillendirdi?
Aslında kariyerime AWS’de başladım, ardından Meta’ya geçtim. Büyük ölçekli sistemler kurarken öğrendiğim şeylerden biri, temel bileşenleri birbirinin yerine kullanılabilecek kara kutular gibi görmek yerine nasıl davrandıklarını anlayıp iyileştirmenin çoğu zaman büyük kazanımlar sağlayabilmesi. Aynısı yapay zekâ modelleri için de geçerli. Çok yetenekli modellerin bile davranışsal tuhaflıkları olduğunu ve bunların anlaşılabileceğini, hatta etraflarından dolaşılabileceğini gördük. Bu da performans ve maliyet açısından çoğu zaman şaşırtıcı ölçüde büyük iyileşmeler sağlıyor.
Yakın tarihli deneyinizde, yönlendirme yapılan daha küçük modellerin çok daha düşük maliyetle üst düzey modellerden daha iyi performans gösterdiğini ortaya koydunuz. Bu tür bir model yönlendirmesini üretim ortamlarında uygulamanın önündeki başlıca mühendislik engelleri, bir kıyaslama testindekilerden nasıl farklı?
İstemleri Luna’ya ve zayıf yönlerine göre uyarlayarak Sierra’nın karmaşık Tau3 ajan tabanlı kıyaslama testinde, maliyetin %7’si karşılığında Sol’un performansını yakalamasını sağladık. Uyarlama yapılmış Luna ile Sol arasında yönlendirme yaparak Astra’nın performansını, onun maliyetinin %16’sı karşılığında yakalayabildik.
Bizim için önemli bir çıkarım, hem yönlendirmenin hem de istem uyarlamasının belirli bir iş yüküne özgü olması gerektiğiydi. Kıyaslama testleri, bir modelin herhangi bir görevde nasıl performans gösterdiğini inceleyebileceğiniz ve başarısını değerlendirebileceğiniz, düzenli ortamlar ve değerlendirme sistemleri sunar. Bu da istemleri modele nasıl uyarlamanız ve hangi durumda hangi modele yönlendirme yapmanız gerektiği konusunda yol gösterir.
Üretim iş akışları bu kadar düzenli bir yapıda sunulmaz. Modellerin görevleri tamamladığına ilişkin iz kayıtlarınız olur, ancak gerçekten başarılı olup olmadıklarını ve başarının nasıl görünmesi gerektiğini anlamanın güvenilir bir yolu yoktur. Öğrendiğimiz yöntem, ister değerlendirmeler ister üretim iz kayıtları olsun, mevcut kullanım verilerini alıp farklı modelleri ve uyarlamaları aynı iş yükü üzerinde sınamamızı sağlayacak bir değerlendirme düzeni oluşturmaktır.
İşin ilginç yanı, yönlendirme ile uyarlamanın birlikte ele alınması gerekmesi. Daha ucuz bir model, mevcut istemlerinizle bir görevde başarısız olabilir; ancak istemleri o modelin davranışına göre uyarladığınızda başarılı olabilir. Bu da en başta hangi modele yönlendirme yapmanız gerektiğini değiştirir.
Talimatları belirli modellere uyarlamaktan söz ediyorsunuz. Hangi talimatların evrensel olduğunu, hangilerinin belirli bir model mimarisinin güçlü ve zayıf yönlerine göre özel olarak uyarlanması gerektiğini nasıl ayırt ediyorsunuz?
Evrensel gibi görünen birçok talimatın modele göre uyarlanması gerekir. Basit bir örnek vereyim: tek turlu yanıtlarda halüsinasyon. Burada DeepSeek V4 Pro ve GPT-6 Luna olmak üzere iki farklı modeli inceledik. İkisi de yanıtı bilmediklerinde bir şeyler uydurmaya güçlü bir eğilim gösteriyor. Eğitim süreçlerinden kaynaklanan bir özellik, yanıt vermekten kaçınıp “Bilmiyorum” demelerini oldukça zorlaştırıyor. Bu davranış benzer olsa da istemlerle bunu azaltma yöntemlerimiz birbirinden oldukça farklı.
DeepSeek V4 Pro’ya “Bilmiyorum demen sorun değil” ifadesinin birçok farklı çeşidini ekleyerek Claude modellerindeki düzeye yakın sıklıkta yanıt vermekten kaçınmasını sağlayabilirsiniz. Aynı yöntem Luna üzerinde pek etkili olmuyor. Luna en iyi, yanlış yanıt vermenin bir bedeli olduğunda karşılık veriyor. “Yanlış yanıt -90 puan, doğru yanıt ise yalnızca +10 puan kazandırır” gibi bir ifade, ağabeyi Sol ile aynı ölçüde yanıt vermekten kaçınmasını sağlıyor. Davranış aynı, ancak iki modeli bu davranıştan uzaklaştırmak için kullanılabilecek yöntemler çok farklı. Talimatları belirli bir modele uyarlamak için hem modeli hem de modelin kullanıldığı iş akışını derinlemesine anlamanız gerekiyor.
Şirketler ajan tabanlı iş akışlarına yönelirken, daha ucuz ve uzmanlaşmış modeller arasında yönlendirme yapmanın, her şeyi halledecek giderek daha yetenekli tek bir öncü modeli beklemekten daha kalıcı bir strateji olduğuna dair ne gibi kanıtlar görüyorsunuz?
Hemen hemen her hafta yeni bir öncü model çıkıyor. Diyelim ki şu anda tüm iş akışınız için en büyük ve en iyi modeli seçtiniz. Birkaç ay, hatta birkaç hafta içinde, iş akışınızın büyük bölümlerini, hatta tamamını yerine getirebilecek daha küçük modellerin ortaya çıkması muhtemel. Aynı zamanda, iş akışınızda daha iyi performans gösterecek daha büyük veya daha uzmanlaşmış modeller de muhtemelen piyasaya çıkacak. Modeller arasında geçiş yapmayarak ya da yönlendirme uygulamayarak hem performans hem de maliyet açısından elde edebileceğiniz kazanımları kaçırıyorsunuz.
Ancak tüm bu gelişmeleri takip etmek zahmetli ve insanların farklı modellerin hepsinde uzmanlaşması beklenmemeli. İstediğiniz performansı en düşük maliyetle sunan en iyi modeli iş yükünüz için her zaman kullanabilmenizi sağlayarak yardımcı olabileceğimize inanıyoruz. Bazen bunun için iş yükünüzün belirli bölümlerinde piyasadaki en yetenekli modeli seçmek yeterli olur; bazen de iş yükünüzün büyük bölümünü çok daha ucuz modellerin üstlenebileceği şekilde uyarlamak gerekir.
Görevleri birden fazla model arasında yönlendiren bir sistemi yönetirken, özellikle görevler hassas bilgilere dokunduğunda veri tutarlılığını ve gizliliğini nasıl sağlıyorsunuz?
Kullanıcılarla model sağlayıcıları arasında bir katman olarak çalışıyoruz. Kullanıcılar kullanmak istedikleri sağlayıcıları seçiyor ve kendi API anahtarlarını kullanıyor. Bu sağlayıcıların sunduğu modeller arasından iş yükleri ya da iş yüklerinin bir bölümü için en uygun modeli seçiyor, iş yüklerini uyarlıyor ve doğru modellere yönlendiriyoruz. Yalnızca müşterinin paylaşmayı seçtiği değerlendirme sonuçlarını veya iz kayıtlarını kullanıyor; verileri üzerinde eğitim yapmıyor ya da saklamıyoruz.
Propensity Labs’i Mana Azarm ile birlikte kurdunuz. Model davranışının araştırma ağırlıklı yönü ile bu ajan tabanlı işlem hatlarını oluşturmanın pratik sistem mühendisliği yönü arasında odağı nasıl paylaşıyorsunuz?
Burada becerilerimiz birbirini iyi tamamlıyor. Baş Bilim İnsanı olan ve aynı zamanda Profesörlük yapan Mana, daha çok model davranışıyla ilgili konulara odaklanırken ben sistem mühendisliği tarafına odaklanıyorum. Daha doğrusu, olmasını istediğimiz şey bu. Gerçekler daha karmaşık; ikimiz de sonunda o sırada önümüzdeki en büyük engel neyse onun üzerinde çalışıyoruz.
Şu anda premium model API çağrılarına yüksek harcama yapan CTO’lar için, mevcut iş akışlarında model yönlendirmeyi ve talimat uyarlamasını test etmeye başlamanın en kolay yolu nedir?
Bizimle konuşun! Şaka bir yana, en yeni nesil daha küçük bir modeli kendi iş yükünüzde çalıştırıp neleri yapabildiğini görmenizi öneririm. Pek çok kişinin önceki nesillerin daha büyük modellerine takılıp kaldığını ve modellerin gelişme hızı karşısında, iş yüklerini halledebilecek daha küçük ve ucuz alternatiflerin yakın zamanda çıktığını henüz fark etmediğini düşünüyorum.
Geliştiricilerin, uygun biçimde sınırlandırıldıklarında veya yönlendirildiklerinde daha ucuz modellerin neler yapabileceği konusunda en sık düştükleri yanılgılar nelerdir?
En yaygın yanılgı, daha ucuz bir model başarısız olduğunda bunun yalnızca modelin yeterince yetenekli olmadığı anlamına geldiğini varsaymak. Daha ucuz bir modelin iş akışlarınızda nerede ve nasıl başarısız olduğunu derinlemesine incelemenin faydalı olduğunu düşünüyorum. Bu başarısızlıkların bir kısmı, modelin sık sık içine düştüğü kalıplardan kaynaklanıyor. Bu kalıplar fark edilip model onlardan uzaklaştırılırsa, iş akışınızda başarılı olması mümkün olabilir. Diğer bir kısmıysa daha ucuz modelin doğru biçimde yerine getirmek için gerekli temel yeteneklerden yoksun olduğu görevlerdir; böyle durumlarda daha büyük bir modele ihtiyaç duyarsınız.
Çalışmalarınız gizlilik, ölçek ve maliyetin kesişim noktasında yer alıyor. Yapay zekâ altyapısının önümüzdeki 12-18 aylık gelişimine baktığınızda, işletmelerin istedikleriyle mevcut araç ekosisteminin sundukları arasında en büyük kopukluk nerede sizce?
Modelleri üretimde devreye alan uygulayıcılarla konuştuğumda sıkça karşılaştığım duygular, yeni modelleri ve artan yeteneklerini takip etmeye ilişkin fırsatı kaçırma korkusu (FOMO) ve bir ölçüde yorgunluk. Çoğu teknoloji, zaman içinde kullanımı ve devreye alınması daha kolay hâle gelir. Büyük dil modellerini kullanmaksa giderek zorlaştı; seçilebilecek çok sayıda model ve ayar (sıcaklık, akıl yürütme çabası, önbelleğe alma) var. Modelleri kullanan ekipler için bu karmaşıklığı sadeleştirip soyutlamanın, böylece ekiplerin modellerle ne yapmak istediklerine odaklanıp bunu nasıl yapacaklarını düşünmek zorunda kalmamalarının büyük fayda sağlayacağını düşünüyorum.
Teknik ekipler, güvenilirlikten ödün vererek yalnızca maliyet tasarrufu peşinde koşmadıklarından emin olmak için çok modelli yönlendirmeyi denemeye başladıklarında hangi ölçütlere öncelik vermeli?
Görev başarı oranları, başarısızlık oranları, gecikme süresi ve başarıyla tamamlanan görev başına maliyetle işe başlardım. Daha ucuz model daha sık başarısız oluyorsa, yalnızca belirteç başına maliyet pek anlamlı değildir. Bu nedenle yeniden denemeler ve yönlendirme için çağırdığınız sınıflandırıcılar ya da karar modelleri de dâhil olmak üzere, bir görevin tüm maliyetini hesaba katmalısınız.
Zor olan, güvenilirliği ölçmek. Ekiplerin ajanlarını bir modelden diğerine taşırken zorlandığını, birkaç ay boyunca tüm ağırlığı değerlendirme testlerine verdiğini ve ardından model değiştirme sürecini çok daha kolay bulduğunu sıkça görüyoruz. İş akışlarınız için sağlam değerlendirme testlerine mümkün olduğunca erken yatırım yapmanızı ve iş akışlarınız ile kullanıcıların bunları kullanma biçimleri değiştikçe bu testleri güncel tutmanızı şiddetle tavsiye ederim.
Harika röportaj için teşekkürler. Model yönlendirme, talimat uyarlama ve daha güvenilir ve uygun maliyetli yapay zekâ iş akışları için değerlendirme yöntemlerini keşfetmek isteyen okurlar Propensity Labs‘ı ziyaret edebilir.












