SF Tensor'un Kurucusu ve CEO'su Ben Koska – Röportaj Dizisi

Ben KoskaSF Tensor'un Kurucusu ve CEO'su, yüksek performanslı bilgi işlem, çekirdek optimizasyonu ve verimli model eğitimi alanındaki çalışmalarıyla tanınan bir yapay zeka araştırmacısı ve sistem mühendisidir. Geçmişi, düşük seviyeli yapay zeka altyapısı geliştirme, eğitim verimliliğini artırma ve ağır mühendislik maliyetleri olmadan gelişmiş model geliştirmeyi erişilebilir kılan araçlar tasarlamayı kapsamaktadır. Heterojen donanımlarda hız, taşınabilirlik ve güvenilirlik sınırlarını zorlayan sistemler oluşturmaya odaklanmaktadır.

SF Tensörü Bu felsefeyi pratik bir platforma dönüştürmek için liderlik ettiği şirkettir. Dağıtılmış yapay zeka iş yüklerinin karmaşıklığını ortadan kaldırmak için tasarlanmış birleşik bir programlama modeli, bir çekirdek optimizasyon aracı ve bulutlar arası bir orkestrasyon katmanı sunar. Platform, mühendislere bir kez yazıp istedikleri yere dağıtabilecekleri ve otomatik olarak yüksek performans elde edebilecekleri temiz, donanımdan bağımsız bir ortam sağlamayı amaçlamaktadır. SF Tensor'un misyonu, yapay zeka hesaplamalarını önemli ölçüde daha hızlı, daha kolay yönetilebilir ve tedarikçi bağımlılığından uzak hale getirmektir.

SF Tensor'u henüz 19 yaşındayken, birçok girişimde mühendislik liderliği yaptıktan sonra kurdunuz. Kariyerinizin bu kadar erken bir döneminde yapay zeka altyapısını yeniden icat etme mücadelesine girişmenize ilham veren neydi?

Çözdüğümüz sorun, benim de karşılaştığım bir sorun olduğu için çok önemsediğim bir sorun. Şu anda SF Tensor'un çekirdek yığınını geliştirdiğimizde, ticari bir proje üzerinde çalışmıyorduk; aslında akademik bir çalışmaydı. Gerçekten ilginç araştırmalar yürütmek için bir hibe almıştık, ancak zamanımızın büyük bir kısmını araştırma yapmak yerine altyapı ve optimizasyonlarla uğraşarak geçirdik. İnsanların genel olarak araştırma projemizden ziyade altyapı teknolojimizle daha çok ilgilendiğini gördük.

SF Tensor, yapay zeka alanındaki en zorlu sorunlardan biriyle mücadele ediyor: NVIDIA'nın CUDA hakimiyetinden kurtulmak. Performanstan ödün vermeden gerçek donanım taşınabilirliğini sağlayabilecek bir sistem tasarlarken nasıl bir yaklaşım izlediniz?

Günün sonunda, tüm yapay zekâ basit matematiğe dayanır. Her model, özünde sonuçlarını hesaplamamız gereken bir dizi matematiksel işlemdir. Bunu bir bilgisayar bilimi problemi olarak değil, öncelikle bir matematik problemi olarak ele alarak, hesaplamalardaki en küçük kısıtlamaları belirleyebilir ve ardından bu hesaplamaları makine koduna dönüştürmek için milyonlarca hatta milyarlarca farklı yol üreterek en hızlısını bulabiliriz. Bunu söylemek yapmaktan daha kolaydır, çünkü en hızlısını bulmak için milyarlarca farklı program çalıştıramayız, bu yüzden arama alanımızı daraltmak için, belirli bir donanım için belirli bir programın hızını tahmin eden doğru bir matematiksel model geliştirmemiz gerekiyordu; bu da bugün yaptığımız şeyi mümkün kılan temel yeniliklerden biridir.

Şirketin blogu, derleyici optimizasyonu ve bulutlar arası orkestrasyon alanındaki yenilikleri vurguluyor. SF Tensor'un yaklaşımının PyTorch veya JAX gibi mevcut çerçevelerden nasıl farklı olduğunu açıklayabilir misiniz?

Bu konuda henüz teknik bir blog yazmadık, ancak PyTorch ve JAX gibi framework'leri destekliyoruz ve bu framework'lerde yazılan kodun yığınımız tarafından optimize edilmesini sağlıyoruz. JAX ve PyTorch'un, onları yığınımızdan ayıran birkaç mimari kararı var, ancak en önemlisi, ayrı ayrı optimize edilmesi gereken modüller yerine, tüm modeli çözülmesi gereken tek bir hesaplama olarak ele almamız. Bu bağlamda, geleneksel derleyici optimizasyon tekniklerini uygulamak ve her bir optimizasyonu ayrı ayrı uygulamaya çalışmak yerine, milyonlarca hatta bazen milyarlarca potansiyel çekirdekten oluşan bir arama alanı oluşturuyor ve hiçbir insanın herhangi bir kodu en hızlı hale getirecek bir dizi kural bulamayacağını, bu nedenle de her kombinasyonu oluşturup en hızlı olanı belirlememiz gerektiğini iddia ediyoruz.

Birçok girişim eğitim verimliliğine odaklanıyor, ancak siz "altyapı vergisi"ni, yani araştırmacıların inovasyon yapmak yerine bilgi işlem yönetimiyle harcadıkları zamanı vurguladınız. SF Tensor bu dengesizliği nasıl gideriyor?

Her iki sorunun da ele alınması gerektiğine inanıyoruz ve çalışmalarımızın büyük bir kısmı eğitim verimliliğini artırmaya yönelik, ancak gelecekteki yeniliklere bağlı kalmadan şu anda çözebileceğimiz en acil sorun altyapı vergisi, çünkü bu sorunu zaten kendimiz çözdük.

Eğitim maliyetlerinde %80'e varan azalmalar sağladığınızdan bahsettiniz. Bunu mümkün kılan spesifik iyileştirmeler veya mimari yenilikler neler?

Tüm yazılım yığınımız, arama tabanlı bir derleyicinin her zaman insan yapımı kuralları yeneceği fikri üzerine kuruludur. Şimdiye kadar, bu derleyiciler üzerindeki en büyük kısıtlama, milyarlarca hatta milyonlarca çekirdeği kıyaslayıp sıralamanın mümkün olmamasıydı. Bu nedenle, belirli bir hesaplamanın veya hesaplama kümesinin belirli bir donanımda ne kadar zaman alacağını doğru bir şekilde tahmin edebilen matematiksel bir hesaplama modeli oluşturmamız gerekiyordu. Bunu yaparak, arama alanımızı genişletip daraltabiliyoruz; bu da sürekli olarak en hızlı çekirdekleri bulmak istiyorsanız bir zorunluluktur.

Emma programlama dilini geliştirme geçmişiniz, SF Tensor'un mimarisini ve performans ve soyutlamaya yönelik felsefesini nasıl etkiliyor?

Yatırımcılarıma söylemeyin ama özümde hâlâ bir derleyici mühendisiyim. İşleri biraz olsun hızlandırmanın farklı yollarını bulmakla her zaman ilgilendim. Emma'yı geliştirirken tüm derleyiciyi 4 veya 5 kez çöpe attık; her seferinde sıfırdan başladık çünkü mevcut kısıtlamalar göz önüne alındığında uygulayamadığımız bir optimizasyonla karşılaştık. Bu da bizi sistemi daha da genel hale getirmek için yeniden mühendislik yapmaya zorladı, ancak gerektiğinde en düşük optimizasyon seviyesine inmemize izin verdi; çoğu zaman derleyici ve dil tasarımının genel prensiplerine aykırı davrandık. Bu öğrenilenler ve ortaya çıkan mimari, birçok kişiye küçük optimizasyonlar ve yanlış bahisler gibi görünen yaklaşık iki yıllık sürecin bir araya gelmesiyle, artık genel prensipleri izleyen sistemlerden daha hızlı yineleme yapmamızı ve daha iyi optimizasyon yapmamızı sağlayan bir sisteme dönüştü; çünkü bu prensipler temelde GPU'lar ve yapay zeka modelleri için değil, CPU'lar için tasarlanmıştır.

4,000'den fazla GPU'da geniş ölçekli eğitim çalışmaları üzerinde çalıştınız. Bu ölçekte hesaplamayı yönetmekten öğrendiğiniz en büyük derslerden bazıları nelerdi? 

Bunlardan en önemlisi, donanım arızasının tahmin edilenden çok daha yaygın ve çok daha sorunlu olmasıdır. Geleneksel programlar ve derleyicilerle çok zaman harcadıktan sonra, genel olarak konuşursak, bir bilgisayar tam olarak kendisine söyleneni yapar ve bir sorun çıkarsa, neredeyse her zaman kodu yazan kişinin hatasıdır. Öte yandan, GPU'larda donanım arızası, özellikle son derece büyük kümelerde dağıtılmış eğitim çalışmalarında yaygın bir durumdur. Bununla birlikte, genellikle oldukça kesin ve öngörülebilir bir şekilde hareket eden CPU'ların aksine, GPU'lar bazen açıklanamayan bir şekilde, görünürde hiçbir sebep yokken saat hızlarını düşürmek, tek bir çip daha yavaş çalıştığı için tüm eğitim sürecini yavaşlatmak gibi şeyler yapabilir.

Y Combinator, teknoloji alanındaki en dönüştürücü altyapı şirketlerinden bazılarını destekledi. Bu deneyim, SF Tensor'un ürününü ve vizyonunu ölçeklendirme yaklaşımınızı nasıl şekillendirdi? 

Y Combinator'a girerken, o zamanlar yapmak istediğimiz bahsin iddialı olduğunu düşünmüştüm. Sadece birkaç hafta sonra, iddialılık tanımımız kökten değişti ve daha da büyük bir bahse girdik. Ayrıca, neredeyse herhangi bir şirket veya kişiye telefon açıp e-posta gönderebildiğimde, saatler hatta günler içinde yanıt ve tavsiye alabildiğim topluluk ve öğrenme duygusu, sorunları ele alma ve çok daha iş birlikçi bir yaklaşımı benimseme şeklimizi değiştirdi.

İleriye baktığımızda, LLM dışı modeller, robotik ve sentetik verilere ilgi duyduğunuzu belirttiniz. Bu alanlar, şirketiniz için uzun vadeli vizyonunuza nasıl uyuyor? 

Hukuk Yüksek Lisansı (LL.M.) kesinlikle ilginç bir teknoloji ve gelecekte dünyanın nasıl görüneceği konusunda ayrılmaz bir rol oynayacak, ancak yapay zekanın diğer alanlarından çok daha gelişmiş olmalarının temel nedeni, geliştirmelerine çok fazla para yatırılması ve sorun üzerinde yeterince insanın iş birliği yaparak oldukça optimize edilmiş olmalarıdır. Giriş engelini düşürerek ülke ve gezegen genelindeki araştırmacıların, hatta sınırlı kaynaklara ve optimizasyon konusunda çok az veya hiç bilgiye sahip olmayanların bile araştırmalarını mümkün olduğunca ucuz ve verimli bir şekilde yapmalarını sağlayabiliriz. Bu durumda, ister fiziksel dünyayla etkileşime girdikleri için ister dilde düzgün bir şekilde ifade edilemedikleri için LLM'lerin uygun olmadığı sorunları ele alacak yepyeni bir model neslinin ortaya çıktığını göreceğimizi düşünüyorum.

Yapay zeka altyapı yığınının beş yıl sonra nasıl görüneceğini düşünüyorsunuz ve SF Tensor'un bu alandaki rolünü nasıl görüyorsunuz?

Beş yıl sonra, daha fazla şirketin kendi özel çiplerini geliştirip piyasaya süreceğini ve araştırmacıların, özellikle onlar için kod yazmalarına gerek kalmadan, hatta var olduklarını bilmelerine bile gerek kalmadan, bunları kullanabileceklerini umuyorum. İşte üzerinde çalıştığımız ve şekillendirmede önemli bir rol oynayacağımıza inandığım gelecek bu.

Harika röportaj için teşekkürler, daha fazla bilgi edinmek isteyen okuyucular ziyaret etmelidir. SF Tensörü.