Christian Stano, Anyscale Field CTO — Röportaj Serisi

Christian Stano, Anyscale’in Field CTO’su olarak büyük ölçekli yapay zekâ altyapısı, makine öğrenimi platformları ve dağıtık hesaplama alanlarında bir kariyer kurdu. Anyscale’e katılmadan önce Attentive’in AI/ML Platform birimini yönetti. Burada yarım milyardan fazla aboneye kişiselleştirilmiş hizmet sunan altyapıyı ölçeklendirdi ve geliştirmeyi hızlandırıp işletme maliyetlerini düşüren Ray tabanlı birleşik hesaplama sistemlerinin benimsenmesini destekledi. Daha önce Coalfire ve Deloitte gibi kuruluşlarda siber güvenlik, bulut mimarisi ve kamu sektöründe yapay zekâ girişimleri üzerinde çalıştı; ABD Savunma Bakanlığının ilk makine öğrenimi platformlarından birine katkı sağladı. Yapay zekâ platform mühendisliği, MLOps, bulut için tasarlanmış altyapı, geliştiricileri destekleme ve kuruluşları büyütme deneyimi sayesinde işletmelerin yapay zekâyı büyük ölçekte üretim ortamına taşımasına yardımcı oldu.

Anyscale, Ray’in arkasındaki şirkettir. Ray, yapay zekâ ve Python iş yüklerini CPU ve GPU kümelerine dağıtarak ölçeklendirmek için yaygın biçimde kullanılan, açık kaynaklı bir dağıtık hesaplama çerçevesidir. Şirketi UC Berkeley’nin RISELab’ında Ray’i ilk geliştiren ekip kurdu. Anyscale; eğitim, çıkarım, veri işleme ve yapay zekâ ajanlarının iş yükleri için büyük ölçekli altyapının devreye alınmasını, orkestrasyonunu ve yönetimini kolaylaştırmaya odaklanır. Platformu, kuruluşların bulutta ve kendi tesislerinde dağıtık yapay zekâ sistemleri çalıştırmasını sağlar; modern yapay zekâ uygulamalarına yönelik gözlemlenebilirlik, yönetişim ve performans optimizasyonları sunar. Ray, gelişmekte olan yapay zekâ altyapısının temel katmanlarından biri haline geldi. Geliştiriciler mevcut Python kodunda çok az değişiklik yaparak iş yüklerini tek makineden binlerce düğüme genişletebilir.

Siber güvenlik, kamu sektöründe makine öğrenimi platformları ve çok büyük ölçekli kişiselleştirme sistemleri üzerinde çalıştınız. Kuruluşlar yapay zekâ pilotlarından üretim ortamına geçmeye çalışırken hangi durumlarla sürekli karşılaşıyorsunuz?

Sektörler arasında üç durum tekrar ediyor. İlk olarak, ekiplerin geliştirmeden üretime uzanan güvenilir ve yerleşik bir yolu yok. Notebook ortamında model oluşturabiliyorlar, ancak onu üretimde çalıştırmak için standart bir yöntem bulunmuyor. Her devreye alma özel bir çözüme dönüşüyor ve her arıza sürpriz oluyor. İkincisi, altyapı ihtiyaçlarla birlikte ölçeklenemiyor. Pilotta çalışan sistem, gerçek veri hacmi veya trafik karşısında çöküyor. Üçüncüsü, ekipler yeterli görünürlük olmadan çalışıyor. Sistemlerin gerçekte nasıl performans gösterdiğini, nerelerin arızalanmak üzere olduğunu ve ne zaman müdahale edilmesi gerektiğini anlayacak gözlemlenebilirlikten yoksunlar.

Üçünün ortak kök sorunu aynı: Ekipler, işi daha fazla makineye dağıtarak ölçeklendirmeyi doğru biçimde kavramıyor. Adımların sırasını bilinçli planlamak yerine her şeyi birden çözmeye çalışıyorlar. Bunu üç aşamada düşünüyorum: çalıştır, düzgün hale getir, hızlandır. Bunlar bir kez geçilen kilometre taşları değil, tekrarlanan aşamalar. Şu anda bozuk olanla sırada bozulacak olan arasında sürekli öncelik belirliyorsunuz. Başarılı ekipler hangi aşamada olduklarını bilir ve temel sağlamlaşmadan ileri atlamaz.

Anyscale’e her aşamadan ekip geliyor. Bazıları sistemi henüz çalıştırmaya uğraşıyor ve geliştirmeden üretime güvenilir bir yola ihtiyaç duyuyor. Bazıları bu yolu kurmuş, ancak operasyonel karmaşıklık içinde boğuluyor ve sistemi düzene sokmak istiyor. Birçoğu da çalışan bir şey oluşturmuş olmasına rağmen bunu işin gerektirdiği ölçeğe çıkaramıyor. Birleşik hesaplama katmanı her aşamada yardımcı olur; başlangıç noktası en acil sorunun nerede olduğuna bağlıdır.

Attentive’de yüz milyonlarca kullanıcıyı destekleyen yapay zekâ sistemlerini ölçeklendirmeye yardımcı oldunuz. Bu ölçeğe ulaşmak için aşmanız gereken en büyük mimari veya örgütsel darboğazlar nelerdi?

En büyük darboğaz, altyapı karmaşıklığının S-eğrisiydi. Modellerimize daha fazla veri dahil edip daha fazla müşteriye hizmet verirken hesaplama açısından bir dönüm noktasına geldik. Dikey olarak büyütülmüş en büyük düğümler bile bellek yetersizliği hataları veriyordu; basit yatay ölçeklendirme de yeterli olmuyordu. Hesaplama kapasitemiz veri ölçeğine yetişemiyordu.

Doğal tepki, sınırlamaları aşmak için daha fazla araç eklemekti. Önceki deneyimlerimden alıştığım yaklaşım buydu. Her araç dar bir sorunu çözüyor, ama operasyonel karmaşıklıknı artırıyordu. Makine öğrenimi işlem hattımızın entegrasyonlardan oluşan bir yamalı bohçaya dönüşme riski vardı. Her yeni kullanım; daha çok bağlantı işi, daha çok arıza türü, daha yüksek maliyet ve platform ekibine ek yük demekti.

Sonunda ölçeği mümkün kılan şey, veri işleme, eğitim, çıkarım ve modellerin kullanıma sunulmasını Ray ile Anyscale üzerinde birleştirmek oldu. Etki hemen görüldü: altyapı maliyetleri ciddi biçimde düştü, veri hacmi büyürken bile eğitim döngüleri belirgin ölçüde hızlandı ve modellerin hizmet verebildiği müşteri sayısı birkaç büyüklük mertebesi artırılabildi.

Sizi bu aşamada Anyscale’e katılmaya iten neydi? Field CTO rolünün işletmelerde yapay zekâ benimsenmesini nasıl şekillendirdiğini düşünüyorsunuz?

Anyscale’i Attentive’e getirme deneyimim, makine öğrenimi platformları oluşturma yaklaşımımı kökten değiştirdi. Daha önce platform mühendisliğinin maliyetlerinin önemli bir kısmı parçalı sistemleri birleştirmekten kaynaklanıyordu. Anyscale ile bu ek yükün büyük bölümünü kaldırıp geliştirici deneyimine, güvenilirliğe ve performansa odaklanabildik. Değişim hem ekibin üretkenliğini hem sistemin sonuçlarını güçlü biçimde etkiledi. Anyscale’e katılmak, bu soruna tam zamanlı çalışmak ve aynı geçişte diğer kuruluşlara yardım etmek için bir fırsattı. Field CTO olarak rolüm, bu pratik dersleri müşterilerin yapay zekâyı ölçeklendirirken tekrar tekrar uygulayabilecekleri yöntemlere dönüştürmek.

Birçok işletme hâlâ yapay zekânın pilot aşamasında sıkışmış durumda. Sizce bu erken deneyleri üretim sistemlerine ölçeklendirmeye çalıştıklarında tam olarak ne aksıyor?

İşletmeler yapay zekâ deneylerinden üretime geçtiğinde sorun nadiren yalnızca modeldedir; çevresindeki sistem ve işletim süreçleri aksar. Bazen ekipler altyapının sınırlarına erkenden ulaşır ve istedikleri ölçekte model eğitemez veya sunamaz. Bu nedenle modelin hizmet verdiği müşteri ya da kullanım sayısını sınırlamak zorunda kalırlar. Daha sık karşılaşılan sorunlar ise üretimde beklenmedik uç durumlar veya veri değişiklikleridir. En yaygın arıza noktalarından biri bellektir: verinin boyutu, dağılımı veya türü değiştiğinde işler belleği tüketir ve başarısız olur. Bunları öngörmek zordur; sonrasında otomatik toparlanma daha da zordur. Üretimde yapay zekâ arızaları kaçınılmazdır. Amaç hepsini önlemek değil, hızla tespit edip anlamak ve işe etki etmeden çözen, kendi kendini toparlayan sistemler kurmaktır.

Anyscale’in kurucu ekibinin geliştirdiği dağıtık hesaplama çerçevesi Ray, yapay zekâ iş yüklerinin temeli olarak yaygınlaşıyor. Dağıtık yürütme modern yapay zekâ altyapısında neden bu kadar kritik bir katmana dönüşüyor?

Dağıtık yürütme ve iş yükü yönetimi, yapay zekâ işlem hatlarının temel gereksinimleri oldu. Modern yapay zekâ iş yükleri doğası gereği paralel ve kaynak yoğundur. Eğitim, çıkarım ve veri işleme, CPU ve GPU’lar arasında çok sayıda görevin, çoğu zaman dinamik biçimde, koordine edilmesini gerektirir. Günümüz hesaplama ortamında bu işleri sınırlı kaynaklarda yönetmenin karmaşıklığı büyük bir operasyonel yükdür. Geleneksel sistemler bu karmaşıklık veya ölçek için tasarlanmadı. Ray gibi çerçeveler, alttaki koordinasyonu otomatikleştirerek işleri tek makineden binlerce düğüme sorunsuz genişletmeyi sağladıkları için kritiktir. Bu değişim, baştan yapay zekâ için tasarlanmış hesaplamaya daha geniş geçişi gösterir: altyapı eski yaklaşımlardan uyarlanmak yerine özellikle yapay zekâ iş yüklerinin örüntülerine göre tasarlanır.

Anyscale platformuyla Ray’i benimseyen şirketler arttıkça, birleşik bir yaklaşımı standartlaştıran kuruluşlarla parçalı araçları birleştirenler arasında hangi farkları görüyorsunuz?

Fark sonuçta odaklanma ve verimlilikle ilgilidir. Ekipler bağlantısız birden çok sisteme dayandığında bunları birleştirmeye, tutarsızlıkları yönetmeye ve farklı ortamlardaki arızalara yanıt vermeye çok zaman harcar. Bu, operasyonel yük oluşturur ve denemeleri yavaşlatır. Birleşik yaklaşım ise tek sistemi iyileştirmeye odaklanmayı sağlar. Böylece güvenilirlik, performans ve geliştirici deneyimi iyileşir. Örüntüler tutarlı ve anlaşılır olduğundan nöbetçi destek ve hata ayıklama da kolaylaşır. Sonuç yalnızca teknik verimlilik değil, kurumsal netliktir.

Uçtan uca makine öğrenimi platformları oluşturma deneyiminizden hareketle, ekipler arasında yapay zekânın benimsenmesini hızlandırmada geliştirici deneyimi (DevEx) ne kadar önemlidir?

Geliştirici deneyimi, yapay zekânın benimsenmesini hızlandırmada en etkili alanlardan biridir. Platform ekipleri standart iş akışları ve şablonlar sunup altyapıdaki zorlukları azaltarak sistemleri kolay kullanılır hale getirdiğinde kuruluşun her mühendisinin üretkenliğini artırır. Değişimin çok hızlı olduğu, rekabetçi kalabilmek için ekiplerin hızla yineleme yapması gereken yapay zekâda bu özellikle önemlidir. Geliştirici deneyimini iyileştirmek doğrudan daha hızlı denemelere, üretime daha kısa sürede geçmeye ve sonuçta daha büyük iş etkisine dönüşür. Yapay zekâ destekli kodlama araçları bu DevEx temellerinin etkisini artırır. Birçok açıdan kuruluş genelinde hızı yükseltmenin en ölçeklenebilir yoludur.

Yapay zekâ iş yükleri büyüdükçe maliyet verimliliği önemli bir kaygıya dönüşüyor. İşletmelerin performanstan ödün vermeden altyapı maliyetlerini azaltmak için en sık gözden kaçırdığı yollar neler?

Yapay zekâ iş yükleri büyüdükçe maliyet yönetimi hem önemli hem karmaşık hale gelir. Özellikle GPU tabanlı altyapıda verimsizliklerin maliyetleri ne kadar hızlı kontrolden çıkarabileceği sıkça gözden kaçar. Büyük kümeler binlerce düğüm başlatabilir; kaynaklar doğru yönetilmez veya kapatılmazsa maliyet hızla birikir. Hesaplama kullanımının, ekiplerin izleme veya kontrol etme kapasitesinden hızlı arttığı, yapay zekâya özgü kontrolsüz kaynak yayılması oluşur. Çözüm güçlü yönetişim, görünürlük ve otomasyonun birleşimidir: otomatik ölçeklendirme, otomatik sonlandırma ve merkezi kaynak yönetimi gibi. Büyük ölçekte maliyet verimliliği yalnızca işletme meselesi değil, sistem tasarımının temel parçasıdır.

Özellik depolarından gerçek zamanlı çıkarım sistemlerine kadar çalıştınız. Toplu işleme ve gerçek zamanlı yapay zekâ iş yükleri arasındaki denge sizce nasıl değişiyor?

Denge temelde değişmedi; hâlâ iş gereksinimlerine bağlı. Toplu işleme genellikle daha düşük maliyetli ve daha kolay işletilebilir olduğundan birçok kullanıma uygundur. Buna karşılık sohbet uygulamaları veya dolandırıcılık tespiti gibi, gecikmenin kullanıcı deneyimini ya da iş sonucunu doğrudan etkilediği durumlarda gerçek zamanlı sistemler zorunludur. İki yaklaşım da varlığını sürdürecek. Kuruluşların her ikisini etkili destekleyen platformlar kurması gerekir. Karar sonuçta maliyet, gecikme ve güvenilirlik arasındaki ödünleşimlere dayanır.

Önümüzdeki 2–3 yılda olgun bir kurumsal yapay zekâ platformu nasıl görünecek? Ray gibi araçlar ve Anyscale gibi platformlar bu gelecekte nereye oturuyor?

Gelecek birkaç yılda olgun kurumsal yapay zekâ platformlarının belirli temel özellikleri olacak. Parçalı araçlardan oluşan bir koleksiyon yerine, veri işlemeden eğitime ve çıkarıma kadar tüm yapay zekâ yaşam döngüsünü destekleyen birleşik altyapıya dayanacaklar. Devreye alma sonrasındaki sürekli işletimleri güçlü olacak; ajanlarla otomatikleştirilmiş gözlemlenebilirlik, güvenilirlik ve hızlı hata ayıklama sağlayacaklar. Maliyet yönetimi öngörülebilir ve denetim altında olacak, böylece kuruluşlar sürdürülebilir biçimde ölçeklenebilecek. Belki de en önemlisi, yüksek geliştirme hızı sağlayarak ekiplerin fikirden üretime kolayca ve hızla geçmesini mümkün kılacaklar. Ray ve Anyscale, bu ölçeği ve verimliliği sağlayan, baştan yapay zekâ için tasarlanmış temeli sunarak merkezi rol oynuyor.

Bu güzel röportaj için teşekkürler. Daha fazla bilgi edinmek isteyen okurlar Anyscale sitesini ziyaret edebilir.