TrueFoundry’nin Kurucu Ortağı ve CEO’su Nikunj Bajaj – Röportaj Serisi

TrueFoundry’yi kurmadan önce makine öğrenimi araştırmaları, Facebook’ta (META ) canlı kullanım ortamındaki yapay zekâ ve büyük ölçekli öneri sistemleri üzerinde çalıştınız. Hangi deneyimler sizi kurumsal yapay zekâ altyapısı geliştiren bir şirket kurmaya en doğrudan yöneltti ve o dönemde hangi sorunun çözülmediğini düşünüyordunuz?

Meta’da makine öğrenimini yazılımın özel bir durumu, üretken yapay zekâyı da makine öğreniminin özel bir durumu olarak görüyorduk. Bunun sonucunda en altta yazılımın, ortada makine öğreniminin, en üstte üretken yapay zekânın bulunduğu dikey bir teknoloji yığını oluşuyordu. Bu yapıda, bir makine öğrenimi geliştiricisiysem oluşturduğum modeller diğer yazılımlarla aynı devreye alma düzenini izler; bu da sistemleri ölçeklendirmeyi çok kolaylaştırır.

Ancak çoğu kuruluş paralel yığınlar kullanıyordu; yani yazılım, makine öğrenimi ve üretken yapay zekâ için ayrı yığınları vardı. Bu paralel yığınlar olduğunda, makine öğrenimi ile yazılım dünyası arasında iş devri gerektiğinden ölçeklendirme daha karmaşık hâle gelir.

Ekibimiz her zaman makine öğrenimi modelleri geliştirme ile makine öğrenimi altyapısının kesişiminde çalıştı. Bu özel bakış açısıyla benzer dikey yığınları kuruluşlara sunabileceğimizi ve onların kendilerine özgü gereksinimlerine uyarlayabileceğimizi gördük. Ayrıca 2021’in sonlarına doğru makine öğreniminin bir dönüm noktasına yaklaştığı hipotezini geliştirdik. O noktaya gelindiğinde daha fazla şirketin bu sistemleri etkili biçimde devreye almak ve ölçeklendirmek için dikey olarak bütünleşmiş bir yığına ihtiyaç duyacağını düşünüyorduk. Bizi sonunda TrueFoundry’yi kurmaya yönelten buydu ve hipotezimiz doğru çıktı. Yapay zekânın benimsenmesi, ChatGPT’nin 2022’nin sonlarında kullanıma sunulmasından sonra hızlandı.

Yapay zekâ sistemleri denemelerden günlük işleyişe geçerken, kuruluşların güvenilirlik ve arızalar hakkında düşünmesi gereken biçimde neler değişti?

Üretken yapay zekâda söz konusu olan riskler ve sonuçlar, geleneksel makine öğrenimi sistemlerine kıyasla çok daha büyüktür. Bu sistemler canlı kullanıma geçtiğinde kuruluşlar çok daha yüksek düzeyde muğlaklık ve belirlenimsizlikle karşılaşır, çünkü LLM’ler doğaları gereği stokastiktir. Bunların üzerine kurulan ajan tabanlı sistemler muğlaklığı daha da artırır.

Ayrıca arızalar artık ikili değildir. Sistemler yalnızca çalışır veya çalışmaz durumda olmak yerine kısmi arızalar ya da fark edilmeden gerçekleşen bozulmalar gösterebilir. Zamanla daha yüksek gecikmeyle yanıt verebilir, yanıt kalitesi düşebilir veya yanlış davranışlar sergileyebilirler. Bu bozulmaları tespit etmek çoğu durumda daha zordur ve bazen etkileri sistemin tamamen devre dışı kalmasından bile daha zararlı olabilir.

Kuruluşlar güvenilirliği yalnızca kesintisiz çalışma süresi açısından değil, zaman içindeki performans bozulması açısından da değerlendirmelidir.

TrueFailover kullanıma sunulduğunda bulut ve yapay zekâ hizmetlerinde büyük yankı uyandıran bir kesinti dalgası yaşanıyordu. Yakın dönemde hangi olaylar, yapay zekâ güvenilirliğinin olsa iyi olur denilen bir özellikten temel bir mimari gereksinime dönüştüğünü açıkça gösterdi?

Sağlık sektöründeki müşterilerimizden biri, hastaların reçetelerle ilgili ve zamanında yanıt verilmesi gereken taleplerini gerçek zamanlı olarak işler. Bu müşteri, bir model arızasının yol açtığı kesintiden etkilendi. İş akışları saniyede binlerce dolar gelir üretiyor ve kesinti bu kritik iş akışlarından bazılarını aksattı. Müşteri, TrueFailover’ı ilk kullananlar arasındaydı; bu sayede işleyişi hızla yeniden sağlamasına yardımcı olabildik ve etkiler sınırlandırıldı.

Böyle olaylar önemli bir soruyu gündeme getiriyor: Üretken yapay zekâ sistemlerinde söz konusu riskler ve sonuçlar büyürken, kurtarma süreçleri neden hâlâ büyük ölçüde manuel? Bu durum, sistemlerin arızaların meydana geleceği varsayımıyla kurulması ve kendilerini otomatik olarak düzeltecek biçimde tasarlanması gerektiği fikrini güçlendirdi. Güvenilirlik, yapay zekâ ağ geçitleri aracılığıyla yığının kendisine de yerleştirilmelidir. Bu ağ geçitleri merkezi yönlendirme, gözlemlenebilirlik, koruyucu mekanizmalar ve farklı sağlayıcıların modelleri arasında akıllı geçiş sunabilir.

Birçok yapay zekâ kesintisi hâlâ küçük teknik aksaklıklar olarak sunuluyor. Yapay zekâ sistemleri devre dışı kaldığında gerçek ekonomik ve insani maliyetlerin nerede ortaya çıkmaya başladığını görüyorsunuz?

Kurumsal yapay zekâ, bu aksaklıkların artık yalnızca iç iş akışlarını etkilemediği bir noktaya geldi. Bugün kesintiler ve bozulmalar, canlı kullanımdaki uygulamalar artık müşterilere doğrudan hizmet verdiği için kamuoyu algısını ve kârları doğrudan ve hemen etkiliyor. İç testlerden çok şeyin söz konusu olduğu, kamuya açık uygulamalara geçiş, üst yönetimin dikkatine ve gözetimine duyulan ihtiyacın artmasının nedenidir.

Yapay zekâ sistemleri operasyonel iş akışlarına daha derinden yerleştikçe kesintiler yalnızca teknik sorunlar olmaktan çıkıyor. İş, müşteriler ve itibar üzerinde giderek daha fazla doğrudan sonuç doğuruyor.

Eczaneler, sağlık hizmetleri veya müşteri desteği gibi kritik ortamlarda yapay zekâ kesintisi ne kadar hızlı operasyonel riske veya itibar riskine dönüşebilir?

Kritik ortamlarda bu dönüşüm neredeyse hemen gerçekleşir, çünkü sistemler gerçek zamanlı ve zamanında işlem yapılması gereken iş akışlarını destekler. Kısa bir kesinti bile kritik süreçleri durdurabilir, hizmet sunumunu geciktirebilir veya bu çıktılara bağlı sonraki sistemleri aksatabilir; böylece kuruluş genelinde zincirleme operasyonel etkiler oluşur.

Sağlık gibi sektörlerde etki, operasyonel aksamanın ötesine geçerek müşteri deneyimini ve hizmet sonuçlarını da kapsar. Hasta, reçetesindeki ilaçları zamanında temin edemezse bunun gerçek sonuçları olabilir. Bu yalnızca hasta için bir sorun değildir; eczanenin veya sağlık hizmeti sağlayıcısının itibarına da zarar verebilir. Güvenin önemli olduğu kritik ortamlarda sistemlerin çalışır durumda kalması hayati önem taşır. Bu nedenle kuruluşlar, yapay zekâ sistemlerinin arızaların meydana geleceği varsayımıyla tasarlanması ve riski en aza indirmek için kurtarma mekanizmalarının otomatik olarak etkinleşmesi gerektiğini giderek daha fazla kabul ediyor.

Birçok ekibin mimariyi süreklilikten çok yetenekler için tasarladığını söylediniz. Sizce dayanıklılık, yapay zekâ sistemi tasarımında geçmişte neden daha düşük öncelik aldı?

Bu büyük ölçüde kuruluş içindeki teşviklerle ilgilidir. Yeni yetenekler görünürdür ve heyecan yaratır. Yönetimin hemen görebileceği demoları, özellikleri ve yeni ürün olanaklarını mümkün kılar.

Süreklilik, tanımı gereği, her şey yolunda giderken görünmezdir. Bu yüzden ödül sistemleri, hiçbir şeyin bozulmamasını sağlamaktan çok yeni özellikler sunmayı teşvik etme eğilimindedir. Sonuç olarak kuruluşlar, dayanıklılık mühendisliğine kıyasla yetenek geliştirmeye çoğu zaman orantısız ölçüde fazla yatırım yapar.

İşletmeler dış modellere ve API’lere giderek daha fazla bağımlı hâle gelirken yapay zekâ yığınında hangi yeni kırılganlıklar ortaya çıkıyor ve yöneticiler bunların önemini henüz tam kavramamış olabilir mi?

LLM’ler temelde paylaşılan kaynaklardır ve işletmeler, geleneksel altyapıda olduğu gibi bunların sahibi değildir. Ayrıca işletmelerin iş açısından kritik sistemleri, zaman içinde henüz yeterince sınanmamış dış sistemler üzerinde çalışıyor. LLM’lerin kendileri de hızla gelişiyor. Bu, model sağlayıcılarının araştırmalarını çok hızlı yinelemeleri nedeniyle gecikme veya model performansındaki hafif düşüş gibi konularda sorumlu tutulamayacağı anlamına geliyor.

LLM’ler paylaşılan kaynaklar olduğu için başka bir kullanıcının belirli bir eylemi gecikmeyi aniden artırabilir. LLM’lerin temel doğası bu tür pek çok arıza noktası doğuruyor ve işletmeler bu yeni dünyada tam kontrole sahip değil. Tam kontrol olmadığında bir işletmenin yapabileceği en iyi şey, dayanıklı bir sistem tasarlamak için yeterli sistem yedekliliği oluşturmaktır.

Belirli ürünlere odaklanmadan, kuruluşlar kesintileri nadir uç durumlar olarak görmek yerine arıza olacağını varsayacak şekilde yapay zekâ mimarisini nasıl yeniden düşünmeli?

Kuruluşlar dağıtık sistem tasarımının temel ilkelerine dönmelidir. Yazılım sistemleri, ağ bileşenlerinin ve makinelerin arızalanacağı, hatta bir bölgenin tamamının devre dışı kalabileceği varsayımıyla inşa edildi.

Yapay zekâ sistemleri de farklı olmamalıdır. Model sağlayıcılarının gecikme sorunları, bozulmalar veya kesintiler yaşayacağını varsaymalı ve uygulamaların farklı arıza senaryolarında dayanıklı kalması için yedeklilik eklemeliyiz.

Kesintisiz çalışma süresi ve yedekliliğin bulut altyapısı kararlarını şekillendirmesi gibi, yapay zekâ dayanıklılığının da platform ve tedarikçi seçiminde belirleyici bir etken olmasını bekliyor musunuz?

Daha fazla yapay zekâ sistemi canlı kullanıma geçtikçe dayanıklılık asgari gereksinim hâline gelecek. Bir tedarikçi, kesintisiz çalışma süresi ve genel dayanıklılık grafiklerini ve ölçümlerini sunamıyorsa değerlendirmeye bile alınmayacak. Dayanıklılık bütün tedarikçilerden temel beklenti hâline geldiğinde belirleyici etkenler kullanıcı deneyimi, performans optimizasyonu, gözlemlenebilirlik ve daha üst düzey ürün yetenekleri olacak. Zamanla yapay zekâ ağ geçidi ve arıza durumunda otomatik geçiş gibi bileşenler, kurumsal yapay zekâ altyapısının temel unsurlarına dönüşecek.

İleriye baktığımızda, yapay zekânın yalnızca ara sıra yararlı olması değil, sürekli erişilebilir olması beklenen bir dünyada “canlı kullanıma hazır” yapay zekâ gerçekte ne demektir?

Canlı kullanıma hazır yapay zekâ sistemleri gözlemlenebilir, kontrol edilebilir ve kurtarılabilir olmalıdır. Üç koşulun da sağlanması gerekir.

Canlı kullanımdaki yapay zekânın gözlemlenebilir olması için ekiplerin model davranışı, gecikme, hata oranları, token kullanımı, sapma ve arıza örüntüleri hakkında derinlemesine bilgiye sahip olması gerekir. Güçlü gözlemlenebilirlik olmadan, kullanıcılar fark etmeye başlamadan önce bozulmaları tespit etmek çok zorlaşır.

Sistemlerin kontrol edilebilirliği; trafik şekillendirme, istek hızını sınırlama, koruyucu mekanizmalar, politikaların uygulanması ve modellerle sağlayıcılar arasında akıllı yönlendirmeyi kapsar. Yapay zekâ ağ geçidi burada temel bir rol üstlenir: Koruyucu mekanizmaları uygulayan, tutarlı yönetişim sağlayan ve performans ya da güvenilirlik düştüğünde dinamik model değişimine olanak tanıyan merkezi bir kontrol düzlemi olarak çalışır.

Son olarak sistemlerin kurtarılabilir olması için bileşenlerin kısmen veya tamamen arızalı olabileceği varsayımıyla kurulmaları gerekir. Bunun nedeni sağlayıcı kesintileri, model kalitesinin düşmesi, istek hızı sınırları veya kötü niyetli aktörlerden gelen beklenmedik girdiler olabilir. Arıza durumunda otomatik geçiş ve kendi kendini onarma mekanizmaları mimarinin yerleşik bir parçası olmalı; sorun çıktıktan sonra devreye giren manuel prosedürlere dayanmamalıdır.

TrueFoundry’de ilerlediğimiz yön budur. Canlı kullanıma hazır olmayı gözlemlenebilirlik, merkezi kontrol ve otomatik kurtarmayı birleştirerek tanımlayan tedarikçiler, müşterilerin uzun vadeli güvenini kazanacak ve yeni sorunlar ortaya çıktıkça bunları çözmeye devam edebilecek.

Harika röportaj için teşekkürler. Daha fazla bilgi edinmek isteyen okuyucular TrueFoundry web sitesini ziyaret edebilir.