NextSilicon CEO’sü Elad Raz – Röportaj Serisi

Elad Raz, NextSilicon CEO’su, düşük seviye sistemler, güvenlik, ağ ve dosya sistemi geliştirme konularında derin uzmanlığıyla tanınan deneyimli bir girişimci ve teknoloji lideridir. Askeri mühendislik rolleri, senior yazılım liderliği, şirket kurma ve uzun vadeli yatırımlarla dolu bir kariyer boyunca Raz, işletim sistemi iç mekanizmaları ve donanım-yazılım entegrasyonu gibi alanlarda karmaşık, kritik projeleri yönetti. NextSilicon’u kurmadan önce, birden fazla teknoloji şirketini kurdu ve sattı, bir leading yarı iletken firmasında senior liderlik rollerinde görev yaptı ve çeşitli startup’lara yatırım yaptı, böylece elindeki derin mühendislik deneyimini güçlü execution ve uzun vadeli stratejik vizyonla birleştirdi.

NextSilicon bir İsrail merkezli yüksek performanslı hesaplama ve yarı iletken şirketi olup 2017 yılında kurulmuştur ve AI ve bilimsel hesaplama gibi zorlu iş yükleri için hesaplamaya yönelik mimarileri yeniden tanımlamaktadır. Şirket, geliştiricilerin uygulamaları yeniden yazmalarına gerek kalmadan yüksek performans ve verimlilik sunan bir yazılım tanımlı, akıllı hesap platformu geliştirmiştir. Donanım düzeyinde adaptasyon odaklı olarak NextSilicon, modern veri merkezleri ve süper bilgisayarlar gibi ortamlardaki temel tıkanıklıkları ele almak ve geleneksel hızlandırıcıların yerine geçebilecek bir sonraki nesil alternatif olarak konumlandırmayı hedeflemektedir.

Sizi NextSilicon’un kuruluşuna götüren yolculuğunuz hakkında bize bilgi verebilir misiniz? İlk fikir nasıl oluştu ve erken deneyimlerinizi nasıl şekillendirdi?

Bilgisayarlarla ilk çocukluk yıllarımdan beri büyülenmiş durumdayım. Bu ilgi, eski Commodore 64 ve Atari’lerle (hâlâ koleksiyonumuza eklemeye devam ediyorum) oynamaktan, startup’lar kurmaya ve nihayetinde önceki şirketimi Mellanox’a satmaya kadar uzanan bir yolculuktu. Ancak bu erken başarılara rağmen, endüstrinin her alanında aynı zorluğu tekrar tekrar gördüm. Hesaplamalı iş yükleri daha karmaşık hale geldikçe, geleneksel CPU ve GPU mimarileri performans, güç verimliliği ve ölçeklenebilirlik sınırlarına ulaşıyor. Algoritmaları optimize ederken veya büyük ölçekli simülasyonlar çalıştırırken, mevcut mimarilerin iş yüklerine değil, iş yüklerinin donanıma adapte olmasına zorlandığı açıkça görülüyordu.

NextSilicon fikri, bu tekrarlanan zorluğun ve bir soru ortaya attı: Ya biz donanımsal hesaplamaları değiştirebilsek ve iş yüklerine adapte olan hesaplamalar geliştirebilsek? Erken dönemlerde algoritmalar ve donanım tasarımı deneyimim, gerçek zamanda birleştirmenin gerçek bir atılıma yol açacağını öğretti. Bu, Intelligent Compute Architecture (ICA) ve NextSilicon’un başlangıcından bu yana rehberlik eden vizyonunun temelidir.

Maverick-2, gerçek zamanlı iş yüklerine adapte olan bir Akıllı Hesap Hızlandırıcı olarak tanımlanıyor. Mimarisi geleneksel GPU’lar veya FPGAlardan nasıl farklı ve bu düzeyde adaptasyonu ne sağlıyor?

CPUs ve GPUs dünyamızı değiştirdi ve iyi hizmet etti. Ancak modern AI ve yüksek performanslı hesaplama (HPC) iş yükleri için tasarlanmadılar. Bu iş yükleri, bugünün işlemcilerinin ele alamadığı karmaşık veri bağımlılıkları, bellek erişim desenleri ve hesaplamalı desenlere sahiptir. Sonuç, inovasyonu yavaşlatan tıkanıklıklar ortaya çıkıyor.

Maverick-2’nin ana farkı, yeniden yapılandırılabilir bir veri akışı motoruyla gerçek zamanlı yazılım optimizasyonunun birleşmesidir. Ana mimari fark, donanımın iş yüküne göre yapılandırılması, değil, bunun tersi. Maverick-2 için veri erişilebilirliği hesaplama işlemini yönlendirir, geleneksel işlemcilerdeki gibi bir program sayacının talimat yürütmesini değil. Bu, iş yükü desenlerine gerçek zamanlı olarak uyumlu, yazılım tanımlı sanal işlem birimleri oluşturmamızı sağlar.

Sonuçlar kendilerini kanıtlıyor: Maverick-2, GPU’lardan 4 kat daha fazla performans-per-watt ve yüksek performanslı CPU’lardan 20 kat daha fazla performans-per-watt sunarken, operasyonel maliyetleri yarıdan fazla azaltıyor. Böylece araştırmacılar ve mühendisler, büyük, düzensiz simülasyonları daha hızlı ve verimli bir şekilde çalıştırarak, çok daha kısa bir sürede keşifler ve atılımlar gerçekleştirebiliyorlar.

Gerçek dünya iş yüklerinde 4× performans-per-watt ve 20× performans-per-watt kazançlarının arkasındaki ana yenilikler nelerdir?

Performans kazançları birkaç ana yeniliğin bir araya gelmesinden kaynaklanıyor.

İlk olarak, 80 yıldır computing’i domine eden Von Neumann modelinden ayrıldık. Sıralı talimat yürütmesi yerine, Maverick-2 veri akışı mimarisi kullanıyor; burada hesaplama veri erişilebilirliğine bağlı olarak gerçekleşiyor. Bu, düzensiz, bellek yoğun iş yükleri için temelde daha iyidir.

İkincisi, öz-optimizasyon mimarimiz gerçek zamanlı olarak yazılım tanımlı işlem birimleri üretiyor. Donanım, kod değişikliklerine gerek kalmadan her uygulama için gereksinimlerine göre adapte oluyor.

Üçüncüsü ve kritik olanı, sürdürülen gerçek dünya performansına odaklanıyoruz, teorik zirvelere değil. Birçok mimari kağıt üzerinde harika görünür ancak gerçek iş yüklerinde başarısız olur. Maverick-2, AI, HPC ve vektör veritabanlarında sürekli olarak iş yükünün gereksinimlerine adapte olarak verimliliği korur.

Maverick-2, C/C++, Fortran, OpenMP ve Kokkos’u kod değişikliği gerektirmeden destekler. Geliştiriciler bu uyumluluğa nasıl tepki verdiler ve CUDA, ROCm veya popüler AI çerçevelerini destekleme planlarınız nelerdir?

Geliştiriciler Maverick-2’nin gerçek bir “tak ve çalıştır” çözümü olduğunu seviyorlar. Mevcut uygulamalarını hemen çalıştırabilirler, porting engelleri olmadan. Şu anda C/C++, Fortran, OpenMP ve Kokkos’u desteklıyoruz ve CUDA, ROCm ve TensorFlow, JAX, PyTorch ve ONNX gibi AI çerçevelerini aktif olarak geliştiriyoruz. Bu, satıcı kilidini ortadan kaldırır ve pahalı kod değişikliklerini engeller, müşterilerin yeni mimarileri değerlendirmesine ve benimsemesine izin verirken iş akışlarını bozmaz.

Maverick-2’nin telemetri ile sistem optimizasyonu nasıl çalışır? Çipi gerçek zamanlı olarak profilleme ve yeniden yapılandırma süreci neler içerir?

Sistem optimizasyonumuzu sürekli bir döngü olarak düşünün: çalıştırma sırasında, telemetri sistemimiz yüzlerce performans göstergesini (örneğin, bellek bant genişliği, kullanım, kuyruk derinlikleri) ölçer. Tüm bu veriler, donanım yapılandırmasının iş yükü ve öngörülen gereksinimleri için optimal olup olmadığını belirleyen bir çalışma zamanı optimizatörüne beslenir. Değilse, kaynakları yeniden bölüştürebilir, veri yollarını yeniden sıralayabilir ve hesaplamalı boruları sürekli olarak ayarlayabilir, böylece uygulama durmaz. Bu, milisaniyeler içinde gerçekleşir, böylece uygulama değişen hesaplamalı profiline göre sürekli olarak zirve verimliliklerini korur.

Belirli iş yükleri veya kenar durumları var mıdır ki burada runtime performans ayarı menos etkili veya gecikme veya güç trade-off’ları ortaya çıkarır?

Her mimari trade-off’lara sahiptir. Maverick-2, karmaşık, düzensiz iş yüklerinde ve değişen hesaplamalı ve veri erişim desenlerinde öne çıkar. Çok öngörülebilir, sabit fonksiyonlu iş yükleri için iyi ayarlanmış bir GPU, adaptasyonun getirdiği ek yük olmadan çok verimli olabilir. Bu durumlarda, adaptasyonumuz hala iyi bir performans sağlar ancak göreli avantaj daha küçük olabilir.

NextSilicon’un tasarımı, basit vakalarda rekabetçi ve esnek olmayı hedefler, ancak zorlayıcı durumlarda dönüşümseldir.

Neden HPC pazarına erken odaklandınız, oysa çoğu startup AI’ye yöneliyordu? Bu, ürün ve iş stratejinizi nasıl şekillendirdi?

HPC, büyük veri kümeleri, düzensiz bellek erişimi ve öngörülemez hesaplamalı desenleri için hesaplamalı karmaşıklık ve problem çözme alanının ön cephesini temsil etmektedir. Eğer orada bir mimari geliştirebilirseniz – örneğin, iklim modellemesinde veya parçacık fiziğinde exabyte-ölçekli simülasyonları çalıştırıyorsanız, AI’de de başarılı olacaksınız.

HPC’ye odaklanarak, Maverick-2’yi en zorlu iş yüklerinde, iklim modellemesi, fizik ve yaşam bilimleri gibi alanlarda kanıtladık. Bu, bize gerçek dünya performansı, olgun bir ürün ve AI pazarlarına girmeden önce güvenilirlik kazandırdı. Şimdi, her iki pazarı da hizmet verebilecek konumdayız, ancak mimarimizi kısa vadeli trendlere veya gereksinimlere göre uzlaştırmak zorunda kalmadık.

Şimdi Maverick-2 üretimde ve dozens of müşterilere dağıtıldı, bazı örnekler verebilir misiniz? Bayrak taşıyıcı dağıtımlardan bazı sonuçlar veya benchmark’lar var mı?

Önde gelen bir örnek, Sandia Ulusal Laboratuvarları’ndaki dağıtımdır, burada Maverick-2, Vanguard-II programının bir parçası olarak Spectra süper bilgisayarını güçlendiriyor. Kod değişikliği gerektirmeden etkileyici performans sonuçları görüyoruz. Ayrıca, CERN’in Yüksek Lüminosite Büyük Hadron Çarpıştırıcısı ve Square Kilometre Array Gözlemevi’nden exabyte-ölçekli verileri işleyen ODISSEE (Online Data Intensive Solutions for Science in the Exabytes Era) ile çalışıyoruz. Maverick-2, petabyte’larca ham deneysel veriyi daha önce gerek duyulan zaman ve enerji fraksiyonunda işleyerek, fizik analizlerini ve astronomik keşifleri hızlandırmayı hedefliyor.

300 milyon doların üzerinde fon topladınız, 2021 ve daha yakın zamanda büyük tur duyurdunuz. Bu fon toplamanın ürün geliştirme ve pazar erişimini nasıl hızlandırdığını paylaşabilir misiniz?

Fon toplama, bizi üç şey yapma konusunda yetkilendirdi. İlk olarak, mimariyi ileriye taşıyabildik, sadece küçük iyileştirmeler değil, Maverick-2’yi üretim için hazır hale getiren temel ilerlemeler. İkincisi, artan talebi karşılamak için üretim ve tedarik zincirimizi ölçekledik, bu, yeni silikon için önemli bir zorluktu. Üçüncüsü, müşterilerin entegre etme ve dağıtma işlemlerini hızlandırabilelim diye yazılım ekosistemimizi genişlettik.

Ayrıca, süper bilgisayarlar ve bulut sağlayıcıları ile stratejik ortaklıklar kurmamızı sağladı, bu da kavramdan dağıtıma sürecimizi hızlandırarak geleneksel donanım startup’larından daha hızlı büyümeyi mümkün kıldı.

Cerebras (CBRS ), SambaNova ve Nvidia (NVDA ) gibi bir peyzajda NextSilicon’u nasıl konumlandırıyorsunuz? Bir challenger olarak pazarlama stratejiniz nedir?

NextSilicon’u daha çok bir teknoloji şirketi olarak görüyoruz, sadece bir başka chip şirketi değil. Her iş yükünü optimize ediyoruz, adaptasyon sunuyoruz ve müşterileri belirli bir ekosisteme kilitlemiyoruz. Müşterilerimiz mevcut kodlarını getirebilir ve uzun porting döngüleri veya satıcı kilidi olmadan hemen hızlanma elde edebilir. Özellikle AI iş yükleri evrimleşirken, sadece eğitim değil, akıl yürütme modelleri, genişletilmiş çıkarım ve büyük bağlam pencereleri gerektiğinde bu önemlidir; daha dinamik bellek erişimi, değişken uzunlukta hesaplamalar ve adapte edilebilir kaynak ayırma gibi farklı hesaplamalı desenlere ihtiyaç duyulur. Bunlar, daha fazla aynı sabit mimari ile çözülebilecek sorunlar değildir.

Pazarlama stratejimiz, en zorlu sorunları çözmeye odaklanıyor: araştırma kurumları, ulusal laboratuvarlar ve performansı, enerji verimliliği ve esnekliği kritik olan şirketlerle çalışmak. Oradan, daha geniş AI ve veri yoğun pazarlara ölçekleniyoruz. Endüstri, sabit mimarilerle domine ediliyor. Biz farklı bir şey sunuyoruz, başlangıçtan adapte edilebilirlik.

AI, salt ölçekten zekaya doğru kayıyor. Daha büyük modeller, kısa.prompt’lardan uzun bağlam anlayışına kadar daha akıllı akıl yürütme olanakları sunuyor. Bu geçişte, adapte edilebilir mimariler sadece yeni değil, aynı zamanda gereklidir.

Harika röportaj için teşekkür ederiz, daha fazla bilgi öğrenmek isteyen okuyucular NextSilicon‘u ziyaret edebilir.