Sohrab Hosseini, orq.ai’nin Kurucu Ortağı – Röportaj Serisi

Sohrab Hosseini, orq.ai’nin kurucu ortağı, Amsterdam bölgesinde yer alan bir teknoloji lideri ve girişimcidir. SaaS, büyük ölçekli sistemler ve uygulamalı AI konularında derin deneyime sahiptir. 2022 yılında orq.ai’yi kurduktan sonra, büyük dil modellerini deneysel aşamadan güvenilir üretim kullanımına taşımaya yardımcı olacak pratik altyapılar oluşturmaya odaklandı. Geçmişteki rolleri arasında Neocles’ta COO ve CTO, Transdev’de Future Technology CTO’su olarak otonom rotalama ve filo yönetimi üzerinde çalışması ve TradeYourTrip’te COO’luk yaptı. Aynı zamanda, erken aşamadaki AI şirketlerine ürün yönü, teknik yargı ve yürütme stratejisi konularında danışmanlık ve melek yatırımcılık yapıyor.

orq.ai, organizasyonların AI güçlendirilmiş ürün ve ajanları tasarlamasına, çalıştırmasına ve ölçeklendirmesine yardımcı olmak için oluşturulmuş bir AI işbirliği ve LLMOps platformudur. Platform,.prompt yönetimi, deneysellik, geri bildirim toplama ve gerçek zamanlı performans ve maliyet görünürlüğü gibi özellikleri tek bir çalışma alanında birleştirir ve aynı zamanda tüm büyük dil modeli sağlayıcıları ile uyumlu kalır. Teknik ve teknik olmayan ekipler arasındaki yakın işbirliğini sağlayarak, orq.ai şirketlerin sürüm döngülerini kısaltmasına, yönetim ve şeffaflığı iyileştirmesine ve üretimdeki AI sistemlerinin karmaşıklığını ve maliyetini azaltmasına yardımcı olur.

Otonom sistemler, filo yönetimi teknolojisi ve SaaS platformları gibi çeşitli senior teknik ve operasyonel rollerde bulunmuşsunuz. Bu kariyer yolunun, 2022 yılında AI ajanları için bir entreprise-düzey kontrol katmanını oluşturma kararınızı nasıl etkiledi?

Arka planlarımız her zaman mühendislik ekiplerini yönetmek ve.enablement platformlarına odaklanmak üzerine kurulmuştu; bulut, DevOps ve veri enablement gibi konular özellikle teknoloji danışmanlığı dönemimizde önemliydi. Když generatif AI patlaması başladı, ortaklarım ve ben kendimize sorduk: Unternehmenlerin AI’yi sadece oluşturmak için değil, aynı zamanda düzgün bir şekilde yönetmek ve kontrol etmek için ne tür bir enablementa ihtiyacı olacak?

Gerçekte ihtiyaç duyulan şey, AI ajanları için bir entreprise-düzey kontrol katmanıydı. Bu, orq.ai’yi ilk olarak oluşturmamıza yol açtı.

Orq.ai’yi ilk olarak piyasaya sürdüğünüzde, demo aşamasından güvenilir üretim aşamasına geçişin gerçek bir engel olmadığını, ancak model kalitesinin değil, ajan sistemlerini demo aşamasından güvenilir üretim aşamasına taşımakta yaşanan zorlukların olduğunu gördünüz. Peki, bu piyasada neler gördünüz?

Her zaman inandığımız gibi, yenilikçi yazılımlar oluştururken, geleceğe yönelik olarak inşa etmeniz gerekir. Başlangıçta, büyük dil modellerinin zaman içinde daha da iyi ve akıllı hale geleceğini varsaydık. Bu nedenle, gerçek zorluk model kalitesi değil, demo aşamasından üretim aşamasına geçişte ortaya çıkan kontrol, yönetim ve yaşam döngüsü yönetimi sorunlarıydı.

Diğer bir deyişle, modeller geliştikçe, müşterilerimiz ve bizim için真正 değer, bu sistemlerin gerçekten üretim ortamında güvenilir bir şekilde çalışmasını sağlamak oldu. Ve bu, çözüme ulaşmak için çıktığımız şeydi.

Çoğu takım etkileyici prototipler oluşturabilir, ancak çalışma zamanı orkestrasyonu, yönetim ve izleme konusunda zorluklar yaşar. Mühendislik ekipleri, proof-of-concept ortamından canlı üretim ajanına ölçeklenirken, sizin görüşünüzde, en büyük kırılma noktası nedir?

En büyük kırılma noktası, ekiplerin genellikle bir ajanı oluşturmak ve bitirmek arasında düz bir yol olduğunu düşünmeleridir. Aslında, bu çok iteratif bir süreçtir.

Sürekli olarak varsayımlarınızı ayarlıyor, test ediyor, üretim ortamına taşıyorsunuz ve sonra gerçek dünyada neler olduğu izliyorsunuz. Kenar durumları buluyorsunuz ve sonra bu döngüyü yeniden başlatıyorsunuz.

Zorluk, bu sürecin bir defaya mahsus değil, sürekli bir refineman döngüsü olmasıdır. Ve buna ek olarak, bu süreci sorunsuz bir şekilde destekleyecek yeterli araçlar veya iskeleler genellikle mevcut değildir.

Alan uzmanları, ürün yöneticileri ve mühendislerin birlikte çalışabilmesi için bir yol gerekiyor, ancak bu, silolar veya zaman kaybına neden olan pahalı el değiştirmeler yaratmadan gerçekleşmiyor. Bu, başka bir büyük parçadır ve bunu da çözmeye çalıştık.

Orq.ai, deneysellik, değerlendirme, gözlemlenebilirlik ve çalışma zamanı gibi özellikleri kapsayan birleşik bir kontrol katmanı olarak konumlandırılıyor. Neden bir uçtan uca mimariye ihtiyaç duyduğunuzu düşündünüz, birçok nokta çözümü gibi izole araçlar sunmak yerine?

Başlangıçta, genellikle en büyük ağrı noktanızı çözen tek bir aracı seçmek doğaldır, bu genellikle gözlemlenebilirlik olabilir. Ancak takımınız büyüdükçe, bir sonraki tıkanıklığa ulaşırsınız ve başka bir aracı eklersiniz, örneğin bir AI ağ geçidi. Bilinçsizce, manzarınızda beş ila yedi farklı araçla karşılaşırsınız. Veriler parçalanır, insanlar görünürlüğü kaybeder ve tüm bu entegrasyonları korumak için kaynakları boşa harcarsınız. Yaşam döngünüz boyunca birleşik bir görünüm kaybetmiş olursunuz.

Şirketlerin AI güdümlü bir yapıya doğru ilerlediğini gördüğümüzde, gerçekten bir uçtan uca mimariye ihtiyaç duyduğumuzu düşündük. Tüm organizasyon boyunca ajanlarınızın neler yaptığını gösteren birleşik bir görünüm gerekiyor, parçalı nokta çözümleri değil. Bu nedenle, iş akışının büyük parçalarını birleşik bir platformda kapsamak dışında bir yol görmedik.

Yeni Ajan Stüdyo ve yeniden tasarlanan çalışma zamanı ile, erken müşterilerinizden aldığınız geri bildirimlere dayanarak, Avrupa ve ABD’deki büyük ağrı noktalarını çözmeye çalıştığınız konular nelerdi?

Gördüğümüz şey, takımların ajanlarını oluşturmak için çeşitli açık kaynaklı kütüphaneler kullandıkları, ancak bir ajanın gerçek mimarisinin aslında khá temiz ve basit olabileceğiydi. Sonuç olarak, şişkin kütüphaneler, çok fazla yük ve basit ajanları ortaya çıkarmak için büyük bir öğrenme eğrisi ile karşılaştılar. Orq ile, bu yükü ortadan kaldırmak istedik.

Ajanlarınızın yapılandırılması ve doğru araçlar ve API’lerle donatılması konusunda takımların odaklanmasını istedik. Altyapının ağır yükünü üstlenerek, takımların gerçek kullanım durumlarını oluşturmasına yardımcı oluyoruz. Ayrıca, tüm yaşam döngüsünü desteklediğimiz için, ajanlarınızı gerçekten büyük ölçekte test etmenize olanak tanıyan özel iş masaları oluşturduk.

Bu, kenar durumlarını daha hızlı bulmanıza ve ajanlarınızı gerçek dünya senaryolarında daha etkili bir şekilde güçlendirmenize olanak tanır. Takımların ajanları kolayca oluşturmasına, ancak aynı zamanda onları gerçek dünya senaryolarında güçlendirmesine ve zorlaştırmalarına yardımcı olmak için araçlar sunmak önemlidir.

GDPR ve AB AI Yasası, şirketlerin ajanları tasarlamasını, izlemesini ve dağıtmasını etkileyen düzenlemeleri sıkılaştırıyor. Bu düzenlemeler, şirketlerin ajanları nasıl tasarlayıp, izleyip, dağıttığını etkiliyor ve orq.ai nasıl uyum sağlıyor?

Aslında, bu gereksinimlerin suddenly sıkılaştığını düşünmüyoruz, bunlar sadece yasaların bir parçasıdır ve müşterilerimizin uyması gerekir. Bizim yaptığımız, tüm yaşam döngüsü boyunca takımların doğru araçlar, değerlendiriciler ve güvenlik önlemlerini sunarak, uyumluluğu baştan itibaren inşa etmelerine yardımcı olmak.

Veri ikametgahı, veri mahremiyeti gibi konuları baştan itibaren entegre ediyoruz. Ayrıca, Avrupa’da teknoloji ve AI egemenliği için artan talebi görüyoruz. Tamamen şirket içinde çalışabiliyor ve şirketlerin kendi kaderini kontrol etmesine yardımcı oluyoruz.

Şirketler, egemenlik-ready mimarilere ve hibrit/şirket içi dağıtımlara talep gösteriyorlar. Bu değişim, şirket AI altyapısının nereye gittiğini size neler söylüyor?

Her şirket ve her kullanım durumu, hazırlanmış olan ile güvenli ve şirket içi arasında bir trade-off içerir. Biz her spektrumun tümünü destekliyoruz. Ancak, model katmanında egemenlik ve veri ikametgahı konusunda güçlü bir odaklanma görüyoruz.

Müşteriler, verilerinin nerede yaşadığını ve büyük bulut sağlayıcılarına bağımlılığını azaltma yeteneğini net bir şekilde görmek istiyor. AI ağ geçidimiz, tüm büyük bulut platformlarında ve şirket içinde çalıştığı için, takımlar kullanım durumu temelinde kolayca trade-off yapabiliyor. Kontrolü elinde tutma ve ortam arasında kolayca geçiş yapma esnekliğini elde ediyorlar.

Büyük şirketlerden ve kamu kurumlarından büyük bir talep görüyoruz.

2026 yılında, şirketlerin deneysellikten gerçek ajan endüstrileşmesine geçişini düşünürsek, çoklu ajan iş akışları, güvenlik önlemleri ve daha gelişmiş akıl yürütme sistemleri nasıl evrilecek?

Ajanların gerçekten endüstrileşmesi ile birlikte, özellikle çoklu ajan kurulumlarında yeni sorunlar ortaya çıkıyor. Bir organizasyon içinde aynı anda çalışabilecek onlarca veya hatta yüzlerce ajan olabilir, tıpkı çalışanlar gibi.

Soru, tüm bu ajanları yönetmek için nasıl bir yönetim katmanına ihtiyaç duyulduğudur, özellikle maliyet, veri kalitesi, veri ikametgahı, doğruluk, hallucination metrikleri gibi çok boyutlu sorunlar söz konusu olduğunda. Üstten güvenlik önlemleri ve üstten görünürlük katmanlarına ihtiyaç vardır.

CFO, COO, CISO gibi üst düzey yöneticilerin neler olduğunu görebilmesi ve eyleme geçirilebilir iç görülerle müdahale edebilmesi için üstten görünürlük ve yeni agregasyon katmanlarına ihtiyaç vardır. 2026 yılında, “ajan departmanı” kavramı ve buna destek olacak teknolojinin çok daha sıcak bir konu haline geleceğini düşünüyoruz.

Üretim AI’de, ajan kayması, kalite gerilemesi ve belirsiz veri akışları gibi sorunlar sıkça görülüyor. Orq.ai’nin kontrol katmanı, bu uzun süredir devam eden boşlukları nasıl dolduruyor?

Her ajanın kendi değerlendirmesi gerekiyor. Bu değerlendirmeler, belirli bir senaryo için neyin doğru veya yanlış olduğunu tanımlar. Bu değerlendirme setlerini baştan itibaren doğru bir şekilde kurmak, takımların offline deneysellikte nasıl davranacağını görmek için zaman ayırmalarına yardımcı olur. Ardından, aynı değerlendirmeleri online olarak izleyerek, modellerin kaydığını veya ajan davranışının zaman içinde değiştiğini tespit edebilirler. Böylece, offline testler, online izleme ve güvenlik önlemleri için tutarlı bir kalite ölçütü elde edersiniz.

Geleceğe bakıldığında, şirketlerin bir sonraki nesil AI ajanlarını tanımlayan nedir ve orq.ai, bu dünya için varsayılan operasyonel platformu haline gelmek için nasıl konumlanıyor?

İleriye bakıldığında, şirketlerin bir sonraki nesil AI ajanlarını tanımlayan şey, her satıcının kendi ajanlarını sunacağıdır. Büyük şirketlerde, bu, birincil ve üçüncül ajanların birlikte çalıştığı ve birbirlerini çağırdığı bir manzara olacaktır.

Bu, sadece bir tür ajan veya bir satıcı değil, aynı zamanda yönetim ve uyumluluk gerektiren bir ekosistemdir. Ve bu, orq.ai’nin girdiği alandır. Farklı organizasyon katmanlarına, müdahale etmek için doğru agregasyon görünümü ve eyleme geçirilebilir iç görüler sunan ajan kontrol kulesi olarak konumlanıyoruz.

Ajanların oluşturulmasından, ölçeklendirilmesinden, çalıştırılmasından veya hatta devre dışı bırakılmasından farklı fonksiyonların, bu manzaraya farklı görüşler benötirecektir. Ve biz, bu yeteneği sunmak için gitmek üzereyiz.

Harika röportaj için teşekkür ederiz. Daha fazla bilgi edinmek isteyen okuyucular orq.ai‘yi ziyaret edebilir.