Juan E. Riojas, Bland’de Bilgi İşlemden Sorumlu Başkan – Röportaj Dizisi

Juan E. Riojas, Bland’de Bilgi İşlemden Sorumlu Başkan olarak görev yapan, kurumsal BT, veri yönetimi, analitik, operasyonlar ve dijital dönüşüm alanlarını kapsayan kariyeriyle deneyimli bir teknoloji ve veri yöneticisidir. Aralık 2025’te Bland’e katılmadan önce Twilio ve Rackspace Technology’de Bilgi İşlemden Sorumlu Başkan olarak görev yaptı; daha önce Informatica’da Veri Direktörü, Gogo’da ise Veri Yönetimi ve Analitikten Sorumlu Başkan Yardımcısı olarak liderlik görevleri üstlendi. Dell, Accenture, Expeditors International, OfficeMax ve AxonGroup’da üst düzey operasyon ve yönetim görevlerinde de bulunan Riojas, büyük ölçekli kuruluşlardaki teknoloji ve veri girişimlerini yönetme konusunda kapsamlı deneyime sahiptir.

Bland, gelen ve giden telefon görüşmelerini, müşteri desteğini, planlamayı, bilgi almayı, yönlendirmeyi ve diğer karmaşık iş akışlarını yönetebilen yapay zekâ ajanları geliştiren kurumsal bir sesli yapay zekâ şirketidir. Platformunda temel teknoloji yığını üzerindeki denetimi ön planda tutan Bland, kendi ses, dil ve konuşma modellerini geliştirip işletiyor; dağıtım için Bland Cloud, özel sanal bulutlar veya tamamen kendi sunucularında barındırılan ve ağdan yalıtılmış kurumsal ortamlar sunuyor. Şirket özellikle düzenlemeye tabi ve güvenlik hassasiyeti yüksek kullanım alanlarına odaklanıyor; konuşma akışları, mevcut telefon sistemleriyle entegrasyonlar, yapılandırılabilir veri saklama, rol tabanlı erişim kontrolleri ve kurumsal uyumluluk özellikleri sunuyor.

Twilio ve Rackspace’te Bilgi İşlemden Sorumlu Başkan, Informatica’da Veri Direktörü olarak görev yaptınız; kariyerinizin büyük bölümünde iletişim altyapısı ve kurumsal verilerle ilgilendiniz. Bu deneyimler, kuruluşların yapay zekâya geçerken karşılaştığı engeller konusunda size neler öğretti ve şu anda Bland’de geliştirmekte olduğunuz, şirketlerin kendi sunucularında barındırdığı platformu nasıl şekillendirdi?

Twilio, Rackspace ve Informatica’daki deneyimlerim bana kurumsal yapay zekânın önündeki en büyük engelin teknoloji değil; güven, denetim ve ölçekli biçimde güvenli çalışma becerisi olduğunu öğretti. Şirketlerin verilerinin nerede bulunduğunu, denetimin kimde olduğunu ve yapay zekânın yıllar içinde oluşturdukları güvenlik ve yönetişim çerçevelerine uyup uymayacağını bilmesi gerekiyor. Bland’deki yaklaşımımızı da bu şekillendirdi: Şirketlere, altyapıları veya verileri üzerindeki denetimlerinden vazgeçmeye zorlamadan yapay zekânın gücünü sunan, kendi sunucularında barındırabilecekleri bir platform sağlıyoruz.

Bland, kendi sunucularında barındırılabilen tek sesli yapay zekâ platformudur; bu da konuşma tanımadan metne, LLM çıkarımına ve metinden konuşmaya kadar yapay zekâ orkestrasyonunun her katmanının sahibi olduğunuz anlamına gelir. Bland neden bu yolu seçti ve sesli yapay zekâ yığınının tamamına sahip olmanın en zorlu teknik güçlükleri nelerdi? 

Otomatik konuşma tanımadan (ASR) büyük dil modelinin (LLM) akıl yürütme süreçlerine ve metinden konuşmaya (TTS) kadar her katmanı kendi sunucularımızda barındırıp yönetmeyi üç nedenle seçtik: 1 saniyenin altındaki konuşma gecikmesi, sıkı veri gizliliği sınırları ve yüksek operasyonel güvenilirlik.

Birbirinden farklı harici sağlayıcıları art arda devreye aldığınızda gecikmeler birikir. Gidiş-dönüş ağ geçişleri, bağımsız kuyruk gecikmeleri ve soğuk başlangıçlar üst üste eklenir. Sonuçta konuşmanın akışını bozan, doğal olmayan duraksamalar ortaya çıkar.

Modellerimizi tek bir çalışma ortamında bir arada barındırıp üçüncü taraf API’lerine bağımlılığı ortadan kaldırarak bu geçişleri önlüyoruz. Böylece veriler üzerinde tam egemenlik de sağlıyoruz; hassas ses akışları ve dökümler harici öncü model sağlayıcılarına hiçbir zaman sızmıyor.

En zorlu teknik güçlükler; gecikme yönetimi, akış senkronizasyonu ve yüksek eşzamanlılıkta GPU planlamasıyla ilgiliydi. Gerçek zamanlı, çift yönlü ses iletişimi, kesintisiz bir akış içinde belirteç üretilmesini gerektiriyor. TTS motorunun, LLM cümleyi oluşturmayı henüz tamamlamadan sesi sentezlemeye başlaması gerekiyor.

Bunun çalışmasını sağlamak için özel çıkarım motorları, düşük gecikmeli spekülatif kod çözme işlem hatları ve akustik model uyarlamaları geliştirdik. Bunlar birlikte titreşimi önlüyor, konuşma sırasını yönetiyor ve GPU belleğini aşırı yüklemeden kullanıcı kesintilerini sorunsuz biçimde ele alıyor.

Birçok sesli yapay zekâ platformu; deşifre, akıl yürütme ve konuşma üretimi işlevlerini farklı üçüncü taraf sağlayıcılardan alıp bir araya getiriyor. Bland’in bu yığının daha büyük bir bölümünün sahibi olup işletmesinin avantajları ve mühendislik açısından getirdiği ödünler neler?

En büyük avantaj, uçtan uca gecikme denetimidir. ASR, LLM ve TTS arasında hiç ağ yükü olmadığından birleşik akış işlem hatları çalıştırabiliyor, katmanlar arası optimizasyonlar yapabiliyor ve ilk bayta kadar geçen süreyi sıkı biçimde denetleyebiliyoruz. Her bileşen farklı bir sağlayıcıdan geldiğinde bu düzeyde bir denetim elde edemezsiniz.

İkinci avantaj, güvenlik ve uyumluluk sınırlarının tek bir çatı altında toplanmasıdır. Veriler denetimimizdeki ortamdan hiç çıkmadığı için müşterilerin ses kayıtları ve dökümleri doğrulanmış güvenlik sınırlarımız içinde kalıyor. Bu, üçüncü taraf alt işleyenlerden kaynaklanan riskleri ortadan kaldırıyor ve HIPAA, SOC 2 ve PCI DSS uyumluluğunu çok daha kolay hâle getiriyor. Bir tedarikçi güvenlik incelemesinden geçmiş herkes bunun ne kadar önemli olduğunu bilir.

Üçüncü avantaj, maliyetlerin öngörülebilir olmasıdır. Harici temel model API’lerinde belirteç veya dakika başına ek ücret ödemediğimiz için birim ekonomimiz kurumsal ölçekte de öngörülebilir kalıyor. Modeller bize ait olduğundan akustik özellikleri, prozodiyi ve göreve özel akıl yürütme ağırlıklarını doğrudan ince ayardan geçirebiliyoruz.

Ancak bunların hiçbiri bedelsiz değil. Bu yaklaşım, altyapı ve GPU yatırımı açısından ağır bir yük getiriyor. Büyük özel GPU filolarını yönetmek; gelişmiş zamanlama, orkestrasyon ve çok bölgeli yük devretme mekanizmaları gerektiriyor, ayrıca donanım maliyetleri de yüksek.

Model bakımı ve özelleştirme yükünü de kendimiz üstleniyoruz. Öncü araştırmaları dış tedarikçilere devredemeyiz. Bunun yerine, farklı aksanlar, arka plan gürültüsü koşulları ve diller için kurum içinde geliştirdiğimiz modelleri eğitmek, değerlendirmek ve bakımını yapmak üzere sürekli mühendislik çalışmaları yürütüyoruz.

Bizim için bu ödünleşmeye değer.

Bland, ağustos ayında FedRAMP 20x Class A sertifikası aldı ve bu sertifikaya sahip ilk sesli yapay zekâ platformu olduğunu söylüyor. Okurların çoğu 20x’in eski FedRAMP sisteminden farkını bilmeyecektir. Class A nedir ve bu sertifikayı almak için neleri kanıtlamanız gerekti?

FedRAMP 20x, 2026 FedRAMP Birleştirilmiş Kuralları (CR26) kapsamında yürürlüğe konan, modernize edilmiş ve bulut tabanlı bir çerçevedir. Eski süreçte her şey FIPS 199 etki düzeylerine (Düşük, Orta ve Yüksek) göre sınıflandırılıyordu ve süreç, gereğinden fazla evrak işiyle tanınıyordu. 20x, bu düzeylerin yerine harflerle belirtilen A, B, C ve D Sertifika Sınıflarını getiriyor.

Class A, giriş düzeyindeki sınıftır. Özellikle, güvenlik programları hâlihazırda olgunlaşmış olan ve federal pazara girmek isteyen ticari Bulut Hizmeti Sağlayıcıları (CSP’ler) için tasarlanmıştır. Bunu kalıcı bir varış noktası değil, giriş basamağı olarak düşünün. FedRAMP Program Yönetim Ofisi (PMO) tarafından doğrudan verilen ve tanınan bir Program Sertifikası alırsınız; ardından Class B, C veya D’ye geçiş yapmak için 2 yıllık süreniz olur.

Bu aşamaya gelmek için dört şeyi kanıtlamamız gerekiyordu. Birincisi, temel güvenlik, gizlilik ve kullanılabilirlik ilkelerini kapsayan güncel ve doğrulanmış bir SOC 2 Type II incelemesi. İkincisi, ses, SMS ve sohbet hizmetlerimizi kapsayan, açıkça tanımlanmış ve mantıksal olarak yalıtılmış bir federal bulut hizmeti sınırı.

Üçüncüsü, sürekli izleme hazırlığının yanı sıra FedRAMP 20x’in zorunlu Temel Güvenlik Göstergelerinin (KSI’lar) başlangıç düzeyinde uygulanmasıydı. Bunlar; güvenlik açığı taraması, olay müdahale prosedürleri, erişim denetiminin uygulanması ve makine tarafından okunabilir, sürekli güvenlik raporlamasını kapsıyor.

Teknoloji yığınımızın sahibi olmamızın asıl faydasını dördüncü gereklilikte gördük. Tüm transkripsiyon, akıl yürütme ve konuşma sentezi işlemlerinin, federal verileri denetlenmemiş üçüncü taraf öncü yapay zekâ sağlayıcılarına aktarmadan, kesinlikle Bland’ın yetkilendirilmiş konteyner sınırı içinde yürütüldüğünü doğrulamamız gerekiyordu. Dış tedarikçilerin bileşenlerinden bir araya getirilmiş bir platform için bunu kanıtlamak oldukça zor.

Bland, özel bulut VPC’lerinden özel şirket içi GPU altyapılarına kadar farklı dağıtım seçeneklerini destekliyor. Bu dağıtım modelleri arasında geçiş yaparken mimari; özellikle gecikme, ölçeklendirme ve altyapı gereksinimleri bakımından nasıl değişiyor?

Kısaca, şirket içi dağıtıma yaklaştıkça gecikme ve denetim açısından daha fazla kazanım elde ediyor, esneklikten ise daha fazla ödün veriyorsunuz.

Önce gecikmeye bakalım. Şirket içi dağıtımlar ve özel VPC’ler, kurumun dahili telefon hatlarının ve SIP ağ geçitlerinin hemen yanında konumlandıkları için dış ağ üzerinden geçişi en aza indirir. Örneğin AWS veya GCP üzerindeki özel bir bulut VPC’sinde gecikme, bölge içi ağ iletişimine ve bulut bağlantılarına bağlıdır. Özel, çıplak metal şirket içi donanım ise bir adım daha ileri gider. Hiper yönetici sanallaştırma katmanlarını ve genel internet üzerinden yönlendirmeyi tamamen ortadan kaldırarak akustik jitter’ı mümkün olan en düşük düzeye indirir.

Ödünleşme, ölçeklendirme söz konusu olduğunda belirginleşiyor. Bulut VPC’sinde, bulut GPU örnekleriyle desteklenen Kubernetes kümelerinin otomatik ölçeklendirilmesi gibi esnek orkestrasyon yöntemlerini kullanarak yatay ölçeklendirme yapıyoruz; böylece çağrı sayısı aniden arttığında kapasite dinamik biçimde ayarlanıyor. Şirket içi dağıtımda ise işler böyle yürümüyor. Sabit bir fiziksel GPU kapasitesi sınırı içinde çalışıyorsunuz; bu da en yoğun eşzamanlı çağrı hacmine göre katı kabul denetimi, kuyruk politikaları ve sabit donanım tedariki gerektiriyor. En yoğun gününüzü baştan hesaba katmanız gerekiyor.

Altyapı gereksinimleri de oldukça farklı. Özel VPC dağıtımları; yönetilen bulut depolama, yerel IAM ve bulut tarafından yönetilen gizli bilgilerden yararlanabilir. Şirket içi kurulumlar ise özel raf tipi GPU kümelerine (örneğin NVIDIA kurumsal hızlandırıcılarına), yüksek aktarım hızlı yerel ağ altyapısına, donanım güvenlik modüllerine (HSM’ler) veya yerel anahtar kasalarına ve yerel telemetri toplayıcılarına ihtiyaç duyar. Ayrıca tüm bileşenlerin, internet bağlantısı tamamen kesilmiş veya dışarıya bağlantısı kısıtlanmış ortamlarda çalışabilen kurumsal konteyner çalışma zamanlarında yürütülmesi gerekir.

Bland, kurumların sürüm güncellemelerini denetlemesine, ayrı test ortamları bulundurmasına ve yeni sürümleri daha geniş çapta kullanıma sunmadan önce gerçek çağrıların bir bölümünde kademeli olarak denemesine olanak tanıyor. Yapay zekâ ajanları müşterilerle doğrudan etkileşim kurulan üretim ortamlarına girdikçe geleneksel yazılım sürüm süreçleri neden özellikle önem kazanıyor?

Çünkü yapay zekâ ajanları, geleneksel kurumsal yazılımlar gibi davranmıyor.

Deterministik yazılımlar her seferinde aynı şeyi yapar. Üretken yapay zekâ ajanları ise olasılıksal ve deterministik olmayan bir yapıya sahiptir. İstemdeki küçük bir değişiklik, model ağırlıklarının güncellenmesi veya izlenen yolun değişmesi; konuşma kalitesinde gerilemeye, halüsinasyona ya da uyumluluk politikalarının ihlaline istemeden yol açabilir. Çoğu zaman, değişikliğin kendisinde bunun yaşanacağını gösteren hiçbir şey yoktur.

Eski sürüm yayımlama disiplininin artık daha az değil, daha çok önem taşımasının nedeni bu. Yalıtılmış hazırlık ortamları ve geçmiş çağrı verileri üzerinde titizlikle yürütülen regresyon testleri, herhangi bir şey kullanıma sunulmadan önce pek çok sorunu yakalar. Canary dağıtımları bunu bir adım ileri taşır. Yeni sürümü canlı çağrıların kontrollü bir yüzdesine sunar; duygu durumundaki düşüş, hedefe ulaşma oranları, gecikme artışları ve üst kademeye aktarma ya da devretme tetikleyicileri gibi gerçek zamanlı ölçümleri izlersiniz. Bütün bunlar, daha geniş müşteri kitlesi yeni sürümle karşılaşmadan önce gerçekleşir.

Bu konuyu vazgeçilmez kılan, riskin büyüklüğüdür. Müşteri hizmetleri, hasar talepleri veya hesap yönetimi alanlarında yaşanacak bir aksaklık, mevzuata uyum açısından risk doğurabilir ya da markaya ciddi zarar verebilir. Disiplinli canary kontrolleri ve anında geri alma, hatalı bir güncellemenin kötü bir manşete dönüşmesini önlemenin yoludur.

Bankalar, sağlık kuruluşları, sigorta şirketleri ve kamu kurumları, üretken yapay zekâyı kullanıma alma konusunda çoğu zaman diğer işletmelere kıyasla çok daha yüksek engellerle karşılaşıyor. Bu kuruluşlarla yaptığınız görüşmelerde, bugün daha fazla sesli yapay zekâ uygulamasının hayata geçirilmesini asıl engelleyen nedir: güvenlik, veri egemenliği, güvenilirlik, entegrasyon karmaşıklığı, satın alma süreçleri ya da başka bir şey mi?

Açık ara en büyük engel güvenlik ve veri egemenliği; entegrasyon karmaşıklığı ve eski mimariler ise hemen ardından geliyor. Bankacılık, sağlık, sigortacılık ve kamu sektörlerindeki görüşmelerimizde bu durum değişmedi.

Güvenlik açısından bakıldığında, sıkı düzenlemelere tabi kuruluşlar; hassas ses akışlarının, PHI’nin veya kamuya açık olmayan kişisel bilgilerin harici API sınırlarını aşmasına ya da üçüncü taraf model sağlayıcıları tarafından eğitim amacıyla saklanmasına olanak tanıyan bir mimariyi kesinlikle kabul edemez. Bu kuruluşlar için denetlenebilirlik, verilerin hiç saklanmamasına ilişkin güvenceler ve HIPAA, FedRAMP ve PCI DSS gibi katı uyum sınırları tercih meselesi değildir. Bunlar asgari ön koşullardır. Bu koşulları karşılayamıyorsanız, görüşme genellikle orada sona erer.

Sıradaki engel entegrasyondur. Bu işletmelerin çoğu hâlâ eski şirket içi PBX sistemleri, karmaşık IVR’ler ve sağlık sektöründeki Epic veya Cerner gibi ya da bankacılıktaki ana bilgisayar tabanlı temel sistemler gibi parçalı kayıt sistemleri kullanıyor. Bu ortamlarda konuşma akışlarını gerçek zamanlı, düşük gecikmeli ve çift yönlü okuma/yazma API erişimiyle birbirine bağlamak, önemli bir entegrasyon yükü yaratıyor.

Bir diğer konu da güvenilirlik ve halüsinasyon riski. Hukuk, risk ve satın alma ekiplerinin, otonom bir sesli ajanın hatalı finansal, tıbbi veya düzenleyici tavsiyeler vermesinden haklı olarak kaygı duyması anlaşılır bir durum. Üretim ölçeğinde kullanıma onay vermeden önce ayrıntılı koruma önlemleri, belirleyici konuşma yedekleri ve insanlara açıkça yönlendirme yolları görmek isterler.

Harika röportaj için teşekkürler. Daha fazla bilgi edinmek isteyen okurlar Bland sitesini ziyaret edebilir.