Sohrab Hosseini, orq.ai’nin Kurucu Ortağı – Röportaj Serisi

Sohrab Hosseini, orq.ai’nin kurucu ortağı, Amsterdam bölgesinde yer alan bir teknoloji lideri ve girişimcidir. SaaS, büyük ölçekli sistemler ve uygulamalı AI konularında derin deneyime sahiptir. 2022 yılında orq.ai’yi kurduktan sonra, büyük dil modellerini deneysel aşamadan güvenilir üretim kullanımına taşımaya yardımcı olacak pratik altyapılar oluşturmaya odaklandı. Geçmişteki rolleri arasında Neocles’ta COO ve CTO, Transdev’de Future Technology CTO’su olarak otonom rotalama ve filo yönetimi üzerinde çalışması ve TradeYourTrip’te COO’luk yaptı. Aynı zamanda, erken aşamadaki AI şirketlerine ürün yönü, teknik yargı ve yürütme stratejisi konularında danışmanlık ve melek yatırımcılık yapıyor.

orq.ai, organizasyonların AI güçlendirilmiş ürün ve ajanları tasarlamasına, çalıştırmasına ve ölçeklendirmesine yardımcı olmak için oluşturulmuş bir üretken AI işbirliği ve LLMOps platformudur. Platform, prompt yönetimi, deneysellik, geri bildirim toplama ve gerçek zamanlı performans ve maliyet görünürlüğü gibi özellikleri tek bir çalışma alanında birleştirir ve aynı zamanda tüm büyük dil modeli sağlayıcıları ile uyumlu kalır. Teknik ve teknik olmayan ekipler arasındaki yakın işbirliğini sağlayarak, orq.ai şirketlerin sürüm döngülerini kısaltmasına, yönetim ve şeffaflığı iyileştirmesine ve üretimdeki AI sistemlerinin karmaşıklığını ve maliyetini azaltmasına yardımcı olur.

Otonom sistemler, filo yönetimi teknolojisi ve SaaS platformları gibi çeşitli senior teknik ve operasyonel rollerde bulunmuşsunuz. Bu kariyer yolunun, 2022 yılında AI ajanları için bir kurumsal düzeyde kontrol katmanını oluşturma kararınızı nasıl etkiledi?

Arka planlarımız her zaman mühendislik ekiplerini yönetmek ve enablement platformlarına odaklanmak üzerine kurulmuştu; bulut, DevOps ve veri enablement gibi konular özellikle teknoloji danışmanlığı dönemimizde önemliydi. Üretken AI patlaması başladı, kurucu ortağım ve ben kendimize sorduk: Şirketlerin AI’yi sadece oluşturmak için değil, aynı zamanda düzgün bir şekilde yönetmek ve kontrol etmek için ne tür bir enablementa ihtiyacı olacak?

Gerçekte ihtiyaç duyulan şey, AI ajanları için bir kurumsal düzeyde kontrol katmanıydı. Bu, orq.ai’yi ilk olarak oluşturmamıza yol açtı.

Orq.ai’yi ilk piyasaya sürdüğünüzde, gerçek darboğazın model kalitesi değil, ajan sistemlerini demolardan güvenilir üretim ortamına taşıyamamak olduğuna sizi ikna eden hangi pazar gözlemleri oldu?

Her zaman inandığımız gibi, yenilikçi yazılımlar oluştururken, geleceğe yönelik olarak inşa etmeniz gerekir. Başlangıçta, büyük dil modellerinin zaman içinde daha da iyi ve akıllı hale geleceğini varsaydık. Bu nedenle, gerçek zorluk model kalitesi değil, demo aşamasından üretim aşamasına geçişte ortaya çıkan kontrol, yönetim ve yaşam döngüsü yönetimi sorunlarıydı.

Diğer bir deyişle, modeller geliştikçe, müşterilerimiz ve bizim için gerçek değer, bu sistemlerin gerçekten üretim ortamında güvenilir bir şekilde çalışmasını sağlamak oldu. Ve bu, çözüme ulaşmak için çıktığımız şeydi.

Çoğu takım etkileyici prototipler oluşturabilir, ancak çalışma zamanı orkestrasyonu, yönetim ve izleme konusunda zorluklar yaşar. Mühendislik ekipleri, proof-of-concept ortamından canlı üretim ajanına ölçeklenirken, sizin görüşünüzde, en büyük kırılma noktası nedir?

En büyük kırılma noktası, ekiplerin genellikle bir ajanı oluşturmak ve bitirmek arasında düz bir yol olduğunu düşünmeleridir. Aslında, bu çok iteratif bir süreçtir.

Sürekli olarak varsayımlarınızı ayarlıyor, test ediyor, üretim ortamına taşıyorsunuz ve sonra gerçek dünyada neler olduğu izliyorsunuz. Kenar durumları buluyorsunuz ve sonra bu döngüyü yeniden başlatıyorsunuz.

Zorluk, bu sürecin bir defaya mahsus değil, sürekli bir iyileştirme döngüsü olmasıdır. Ve buna ek olarak, bu süreci sorunsuz bir şekilde destekleyecek yeterli araçlar veya iskeleler genellikle mevcut değildir.

Alan uzmanları, ürün yöneticileri ve mühendislerin, silolar ya da çok zaman kaybettiren pahalı devir süreçleri oluşturmadan işbirliği yapabilmesi gerekir. Tüm bu paydaşların birlikte verimli biçimde yinelemeler yapabilmesini sağlamak, çözmeye çalıştığımız bir diğer önemli meseledir.

Orq.ai, deneysellik, değerlendirme, gözlemlenebilirlik ve çalışma zamanı gibi özellikleri kapsayan birleşik bir kontrol katmanı olarak konumlandırılıyor. Neden bir uçtan uca mimariye ihtiyaç duyduğunuzu düşündünüz, birçok nokta çözümü gibi izole araçlar sunmak yerine?

Başlangıçta, genellikle en büyük ağrı noktanızı çözen tek bir aracı seçmek doğaldır, bu genellikle gözlemlenebilirlik olabilir. Ancak takımınız büyüdükçe, bir sonraki tıkanıklığa ulaşırsınız ve başka bir aracı eklersiniz, örneğin bir AI ağ geçidi. Bilinçsizce, manzarınızda beş ila yedi farklı araçla karşılaşırsınız. Veriler parçalanır, insanlar görünürlüğü kaybeder ve tüm bu entegrasyonları korumak için kaynakları boşa harcarsınız. Yaşam döngünüz boyunca birleşik bir görünüm kaybetmiş olursunuz.

Şirketlerin AI güdümlü bir yapıya doğru ilerlediğini gördüğümüzde, gerçekten bir uçtan uca mimariye ihtiyaç duyduğumuzu düşündük. Tüm organizasyon boyunca ajanlarınızın neler yaptığını gösteren birleşik bir görünüm gerekiyor, parçalı nokta çözümleri değil. Bu nedenle, iş akışının büyük parçalarını birleşik bir platformda kapsamak dışında bir yol görmedik.

Yeni Ajan Stüdyo ve yeniden tasarlanan çalışma zamanı ile, erken müşterilerinizden aldığınız geri bildirimlere dayanarak, Avrupa ve ABD’deki büyük ağrı noktalarını çözmeye çalıştığınız konular nelerdi?

Gördüğümüz şey, takımların ajanlarını oluşturmak için çeşitli açık kaynaklı kütüphaneler kullandıkları, ancak bir ajanın gerçek mimarisinin aslında oldukça temiz ve basit olabileceğiydi. Sonuç olarak, şişkin kütüphaneler, çok fazla yük ve basit ajanları ortaya çıkarmak için büyük bir öğrenme eğrisi ile karşılaştılar. Orq ile, bu yükü ortadan kaldırmak istedik.

Ekipler mimari, hesaplama kaynakları, otomatik ölçeklendirme ve altyapının tamamı hakkında endişelenmek yerine ajanlarını yapılandırmaya ve onlara doğru araçlarla API’leri sağlamaya odaklanabilir. Altyapının ağır yükünü üstlenerek, takımların gerçek kullanım durumlarını oluşturmasına yardımcı oluyoruz. Ayrıca, tüm yaşam döngüsünü desteklediğimiz için, ajanlarınızı gerçekten büyük ölçekte test etmenize olanak tanıyan özel iş masaları oluşturduk.

Bu, kenar durumlarını daha hızlı bulmanıza ve ajanlarınızı gerçek dünya senaryolarında daha etkili bir şekilde güçlendirmenize olanak tanır. Takımların ajanları kolayca oluşturmasına, ancak aynı zamanda onları gerçek dünya senaryolarında güçlendirmesine ve zorlaştırmalarına yardımcı olmak için araçlar sunmak önemlidir.

GDPR ve AB AI Yasası, şirketlerin ajanları tasarlamasını, izlemesini ve dağıtmasını etkileyen düzenlemeleri sıkılaştırıyor. Bu düzenlemeler, şirketlerin ajanları nasıl tasarlayıp, izleyip, dağıttığını etkiliyor ve orq.ai nasıl uyum sağlıyor?

Aslında, bu gereksinimlerin aniden sıkılaştığını düşünmüyoruz, bunlar sadece yasaların bir parçasıdır ve müşterilerimizin uyması gerekir. Bizim yaptığımız, tüm yaşam döngüsü boyunca takımların doğru araçlar, değerlendiriciler ve güvenlik önlemlerini sunarak, uyumluluğu baştan itibaren inşa etmelerine yardımcı olmak.

Veri ikametgahı, veri mahremiyeti gibi konuları baştan itibaren entegre ediyoruz. Jeopolitik gerilimler ve Avrupa’da teknoloji ile AI egemenliği yönündeki çabalar nedeniyle buna büyük talep görüyoruz. Tamamen şirket içinde çalışabildiğimiz ve işletmelerin bağımlılıklarını azaltmalarına yardımcı olduğumuz için kendi gelecekleri üzerindeki kontrollerini korumalarına destek olmakta güçlü bir konumdayız.

Şirketler, egemenlik gereksinimlerine hazır mimarilere ve hibrit/şirket içi dağıtımlara talep gösteriyorlar. Bu değişim, şirket AI altyapısının nereye gittiğini size neler söylüyor?

Her şirket ve her kullanım durumu, hazırlanmış olan ile güvenli ve şirket içi arasında bir trade-off içerir. Biz her spektrumun tümünü destekliyoruz. Ancak, model katmanında egemenlik ve veri ikametgahı konusunda güçlü bir odaklanma görüyoruz.

Müşteriler, verilerinin nerede yaşadığını ve büyük bulut sağlayıcılarına bağımlılığını azaltma yeteneğini net bir şekilde görmek istiyor. AI ağ geçidimiz, tüm büyük bulut platformlarında ve şirket içinde çalıştığı için, takımlar kullanım durumu temelinde kolayca trade-off yapabiliyor. Kontrolü elinde tutma ve ortam arasında kolayca geçiş yapma esnekliğini elde ediyorlar.

Büyük şirketlerden ve kamu kurumlarından büyük bir talep görüyoruz.

2026 yılında, şirketlerin deneysellikten gerçek ajan endüstrileşmesine geçişini düşünürsek, çoklu ajan iş akışları, güvenlik önlemleri ve daha gelişmiş akıl yürütme sistemleri nasıl evrilecek?

Ajanların gerçekten endüstrileşmesi ile birlikte, özellikle çoklu ajan kurulumlarında yeni sorunlar ortaya çıkıyor. Bir organizasyon içinde aynı anda çalışabilecek onlarca veya hatta yüzlerce ajan olabilir, tıpkı çalışanlar gibi.

Soru, tüm bu ajanları yönetmek için nasıl bir yönetim katmanına ihtiyaç duyulduğudur, özellikle maliyet, veri kalitesi, veri ikametgahı, doğruluk, halüsinasyon ölçütleri gibi çok boyutlu sorunlar söz konusu olduğunda. Üstten güvenlik önlemleri ve üstten görünürlük katmanlarına ihtiyaç vardır.

CFO, COO, CISO gibi üst düzey yöneticilerin neler olduğunu görebilmesi ve eyleme geçirilebilir iç görülerle müdahale edebilmesi için üstten görünürlük ve yeni agregasyon katmanlarına ihtiyaç vardır. 2026 yılında, “ajan departmanı” kavramı ve buna destek olacak teknolojinin çok daha sıcak bir konu haline geleceğini düşünüyoruz.

Üretim AI’de, ajan kayması, kalite gerilemesi ve belirsiz veri akışları gibi sorunlar sıkça görülüyor. Orq.ai’nin kontrol katmanı, sürüm yönetimi, değerlendirme ve sürekli izlemedeki bu uzun süredir devam eden boşlukları nasıl dolduruyor?

Her ajanın kendi değerlendirmesi gerekiyor. Bu değerlendirmeler, belirli bir senaryo için neyin doğru veya yanlış olduğunu tanımlar. Bu değerlendirme setlerini baştan itibaren doğru bir şekilde kurmak, takımların offline deneysellikte nasıl davranacağını görmek için zaman ayırmalarına yardımcı olur. Ardından, aynı değerlendirmeleri online olarak izleyerek, modellerin kaydığını veya ajan davranışının zaman içinde değiştiğini tespit edebilirler. Böylece, offline testler, online izleme ve güvenlik önlemleri için tutarlı bir kalite ölçütü elde edersiniz.

Geleceğe bakıldığında, şirketlerin bir sonraki nesil AI ajanlarını tanımlayan nedir ve orq.ai, bu dünya için varsayılan operasyonel platformu haline gelmek için nasıl konumlanıyor?

İleriye bakıldığında, şirketlerin bir sonraki nesil AI ajanlarını tanımlayan şey, her satıcının kendi ajanlarını sunacağıdır. Büyük şirketlerde, bu, şirketin kendi ajanları ile üçüncü taraf ajanların birlikte çalıştığı ve birbirlerini çağırdığı bir manzara olacaktır.

Bu, sadece bir tür ajan veya bir satıcı değil, aynı zamanda yönetim ve uyumluluk gerektiren bir ekosistemdir. Ve bu, orq.ai’nin girdiği alandır. Farklı organizasyon katmanlarına, müdahale etmek için doğru agregasyon görünümü ve eyleme geçirilebilir iç görüler sunan ajan kontrol kulesi olarak konumlanıyoruz.

Ajanları oluşturma, ölçeklendirme, çalıştırma ve hatta devreden çıkarma süreçlerinde farklı işlevler bu manzaraya ilişkin farklı görünümlere ihtiyaç duyacaktır. Biz de bu yeteneği sağlayan tercih edilen tedarikçi olacağız.

Harika röportaj için teşekkür ederiz. Daha fazla bilgi edinmek isteyen okuyucular orq.ai‘yi ziyaret edebilir.