Moshe Tanach, NeuReality’nin CEO’su ve Kurucu Ortağı – Röportaj Serisi

Moshe Tanach NeuReality’nin CEO’su ve kurucu ortağıdır. NeuReality’yi kurmadan önce, Moshe, Marvell ve Intel’ (INTC ) de Mühendislik Direktörü olarak görev yaptı ve karmaşık kablosuz ve ağ ürünleri için kitle üretimine liderlik etti. Ayrıca, DesignArt Networks’te (daha sonra Qualcomm (QCOM ) tarafından satın alındı) AVP of R&D olarak görev yaptı ve 4G baz istasyonu ürünleri için katkıda bulundu.

NeuReality‘nin misyonu, AI benimsemesini basitleştirmektir. AI için sistem düzeyinde bir yaklaşım benimseyerek, NeuReality’nin endüstri uzmanlarından oluşan ekibi, AI çıkarımı holistik olarak sunar, ağrı noktalarını belirler ve amaçlarına uygun, silikon’dan yazılıma kadar AI çıkarımı çözümleri sağlar ve AI’yi hem uygun fiyatlı hem de erişilebilir hale getirir.

Sizce, Marvell, Intel ve DesignArt-Networks’deki geniş mühendislik projeleri deneyiminiz, NeuReality’yi kurmanıza nasıl ilham verdi ve önceki rolleriniz şirketin vizyonu ve yönünü nasıl etkiledi?

NeuReality, gelecekteki maliyet, karmaşıklık ve iklim sorunlarını çözmek için inşa edildi – ki bu, AI çıkarımı için kaçınılmazdır ve AI modellerinin ve yazılımlarının üretim düzeyindeki AI veri merkezlerine dağıtılmasıdır. AI eğitimi, AI’nin nasıl yaratıldığını gösterirken, AI çıkarımı, AI’nin nasıl kullanıldığını ve milyarlarca insan ve cihazla nasıl etkileşime girdiğini gösterir.

Biz sistem mühendisleriyiz, bu nedenle AI çıkarımı için tüm açılardan, tüm çoklu yönlerden bakıyoruz, yani GPU’lar ve tüm amaçlarına uygun AI hızlandırıcıları dahil. 2015’e geri döndüğümüzde, CPU bağımlı AI çipleri ve sistemlerin – ki bu, her GPU, TPU, LPU, NRU, ASIC ve FPGA’dir – 2020’de önemli bir duvarla karşılaşacağı açık hale geldi. Sistem sınırlamaları, AI hızlandırıcısının daha iyi ve daha hızlı performans göstermesine rağmen, altta yatan altyapı aynı oranda gelişmedi.

Bunun sonucunda, büyük devler tarafından korunmuş başarılı işleri korumak için bürokrasiye karşı çıkmaya ve endüstrisini daha iyi bir AI mimarisiyle bozguna uğratmaya karar verdik. AI çıkarımı için ideal olanın yeniden hayal edilmesi sonucunda, GPU kullanımını ve sistem düzeyindeki verimliliği artırarak, yeni AI hesaplama ve ağ altyapımızı – NR1 sunucu-çip tarafından sağlanan ve host CPU ve NIC’leri değiştiren – geliştirdik. Bir malzeme markası ve herhangi bir GPU veya AI hızlandırıcıya eşlik eden bir marka olarak, AI’yi benimseme ve采用 etmekten caydırılan pazar engellerini kaldırabiliriz – underutilized GPU’lar, yani gerçekten ihtiyaç duyulanın üzerinde satın alınan ve %50’den fazla zamanında boşta kalan GPU’lar – ve aynı zamanda enerji tüketimini, AI veri merkezi gerçek estate zorluklarını ve operasyonel maliyetleri azaltabiliriz.

Bu, AI sistem mimarisini 30 yıl boyunca öğrendiğim ve uyguladığım her şeyin üzerine inşa edilen, AI sistem mimarisini gerçekten dönüştürmek için bir kez yaşanacak bir fırsat ve AI inovasyonunu çeşitli endüstrilerde açmak için kapıları açıyor – CPU engellerini, karmaşıklığı ve karbon ayak izini ortadan kaldırıyor.

NeuReality’nin misyonu, AI’yi demokratikleştirmektir. “AI için Herkes” size ne anlama geliyor ve NeuReality bu vizyonu nasıl gerçekleştirecek?

Bizim misyonumuz, AI’yi tüm büyük ve küçük organizasyonlar için daha erişilebilir ve uygun fiyatlı hale getirmektir – herhangi bir GPU veya AI hızlandırıcının maksimum kapasitesini serbest bırakarak, yatırımınızdan daha fazla yararlanmanızı sağlar; yani, satın aldığınız GPU’lardan daha fazla yararlanın, değil de daha fazla GPU satın alın. AI hızlandırıcılarını %100’e kadar tam kapasiteye çıkarabilir ve sistem maliyetlerini %90’a kadar azaltabilir ve enerji verimliliğini %15’e kadar artırabiliriz. Bunlar büyük ölçekli iyileştirmelerdir. Bu vizyonu, NR1 AI Çıkarımı Çözümü ile gerçekleştirmeyi planlıyoruz, ki bu, AI çağı için tasarlanmış dünyanın ilk veri merkezi sistemi mimarisidir. Yüksek hacimli, çeşitli AI veri boru hatlarını uygun fiyatlı ve verimli bir şekilde çalıştırır ve azaltılmış bir karbon ayak izi sağlar.

AI için herkesin erişebilmesi aynı zamanda kolay kullanım anlamına gelir. NeuReality’de, AI altyapısı dağıtımı, yönetimini ve ölçeklenebilirliğini basitleştiriyoruz, iş süreçlerini ve karlılığı geliştiriyoruz ve kamu sağlığı, güvenlik, kanun uygulaması ve müşteri hizmetleri gibi sektörleri ilerletiyoruz. Etkimiz, tıbbi görüntüleme, klinik denemeler, dolandırıcılık tespiti, AI içeriği oluşturma ve daha birçok alanda görülür.

Şu anda, ilk ticari olarak उपलब्ध NR1-S AI Çıkarımı Cihazları, Qualcomm Cloud AI 100 Ultra hızlandırıcıları ile birlikte ve Cirrascale aracılığıyla, bir bulut hizmeti sağlayıcısı olarak mevcuttur.

NR1 AI Çıkarımı Çözümü, AI çağı için tasarlanmış ilk veri merkezi sistemi mimarisidir ve AI çıkarımı için amaçlarına uygun olarak tasarlanmıştır. NR1’in geliştirilmesine yol açan ana yenilikler ve atılımlar nelerdi?

NR1™, AI endüstrisine sunduğumuz tüm silikon’dan yazılıma kadar sistem mimarisinin adıdır – herhangi bir AI hızlandırıcıya ve GPU’ya tam uyumlu, açık ve tamamen uyumlu bir AI hesaplama ve ağ altyapısı olarak. NR1 Çözümü ve bizi farklı kılan en üst düzeyde benzersiz ve heyecan verici yenilikleri açıklamak zorunda olsam, şunu söyleyebilirim:

• Optimize Edilmiş AI Hesaplama Grafikleri: Ekibimiz, Compute Grafikleri işlemini optimize etmek için bir Programlanabilir Grafik Çıkarma Hızlandırıcısı tasarladı, ki bu, AI ve diğer iş yükleri gibi medya işleme, veritabanları ve daha fazlası için çok önemlidir. Compute Grafikleri, bağımlılıkları olan bir dizi işlemi temsil eder ve bu daha geniş uygulanabilirlik, NR1’i yalnızca süper GPU’lar ve diğer AI hızlandırıcılarını değil, aynı zamanda daha fazla iş yükü için potansiyel olarak yıkıcı hale getirir. AI modeli dağıtımı basitleştirir, önceden işlenmiş AI verileri ve yazılım API’larına dayalı optimize edilmiş Compute Grafikleri (CG’ler) oluşturur ve önemli performans kazançları sağlar.
• NR1 NAPU™ (Ağ Adreslenebilir İşleme Birimi): AI çıkarımı mimarimiz, NR1 NAPU™ tarafından sağlanan – AI ön ve sonrası işleme için doğrudan ağ erişimine olanak tanıyan 7nm sunucu-çip tarafından çalışır. Tipik bir genel amaçlı host CPU’ya kıyasla NR1 çipinde 6,5 kat daha fazla güç paketliyoruz. Geleneksel olarak, ön işleme görevleri (veri temizleme, biçimlendirme ve özellik çıkarma gibi) ve son işleme görevleri (sonuç yorumlama ve biçimlendirme gibi) CPU tarafından işlenir. Bu görevleri NR1 NAPU™’ya devrederek, hem CPU’yu hem de NIC’i değiştiriyoruz. Bu, tıkanıklıkları azaltır ve daha hızlı genel işlemeye, yıldırım hızında yanıt sürelerine ve daha düşük maliyetlere olanak tanır.
• NR1™ AI-Hypervisor™ Teknolojisi: NR1’in patentli donanım tabanlı AI-Hypervisor™, AI görevi orkestrasyonunu ve kaynak kullanımını optimize eder, verimliliği artırır ve tıkanıklıkları azaltır.
• NR1™ AI-Üzeri-Kumaş™ Ağ Motoru: NR1, AI kaynaklarının birden fazla NR1 çipi arasında verimli bir şekilde ölçeklenmesini sağlayan benzersiz bir AI-Üzeri-Kumaş™ ağ motorunu içerir – ki bu, aynı çıkarım sunucusu veya NR1-S AI çıkarımı cihazında herhangi bir GPU veya AI hızlandırıcı ile eşleştirilir.

NeuReality’nin yakın tarihli performans verileri, önemli maliyet ve enerji tasarrufunu vurguluyor. NR1’in geleneksel sistemlere kıyasla %90’a kadar maliyet tasarrufu ve %15’e kadar daha iyi enerji verimliliği nasıl sağladığını daha fazla açıklar mısınız?

NeuReality’nin NR1’i, AI çıkarımı maliyetini ve enerji tüketimini %90’a kadar ve %15’e kadar azaltır. Bu, aşağıdaki şekilde elde edilir:

• Özel Silikon: Amaca uygun AI çıkarımı altyapımız, NR1 NAPU™ sunucu-çip tarafından sağlanır ve CPU’nun ve NIC’in işlevini birleştirir – ve çıkarım için CPU’ya olan ihtiyacı ortadan kaldırır. Sonunda NR1, herhangi bir AI hızlandırıcısı veya GPU’nun çıkışını en verimli şekilde maksimize eder.
• Optimize Edilmiş Mimarisi: AI veri akışını basitleştirerek ve NR1 NAPU™’ya AI ön ve sonrası işleme doğrudan entegre ederek, CPU’yu devre dışı bırakıyoruz. Bu, azaltılmış gecikme, lineer ölçeklenebilirlik ve daha düşük maliyet/AI sorgusu sağlar.
• Esnek Dağıtım: NR1’i iki ana şekilde satın alabilirsiniz: 1) NR1-M™ Modülü içinde, genellikle 10 NR1 NAPU’su içeren bir PCIe kartı, mevcut AI hızlandırıcı kartlarınızla eşleştirilmeye tasarlanmıştır. 2) NR1-S™ Cihazında, NR1 NAPU’ları AI hızlandırıcıları (GPU, ASIC, FPGA, vb.) ile eşleştirilmiş olarak, hazır bir AI Çıkarımı sistemi olarak.

Supercomputing 2024’te, Kasım ayında, 16 Qualcomm Cloud AI 100 Ultra hızlandırıcı ile 4x NR1 çipi olan bir NR1-S Cihazını göstermeyi planlıyoruz. Aynı testleri Nvidia (NVDA ) AI çıkarımı çipleri ile yaptık. NeuReality, AI çıkarımını açık, amaca uygun bir mimari ile devrimleştiriyor.

NR1-S AI Çıkarımı Cihazı, Qualcomm Cloud AI 100 Ultra hızlandırıcıları ile birlikte, geleneksel CPU-merkezli çıkarım sunucuları ile Nvidia H100 veya L40S GPU’lar ile karşılaştırıldığında nasıl bir performans gösterir?

NR1, Qualcomm Cloud AI 100 veya NVIDIA H100 veya L40S GPU’lar ile birleştirildiğinde, büyük dil modelleri, bilgisayar görüşü, doğal dil işleme ve konuşma tanıma gibi gerçek dünya AI uygulamalarında geleneksel CPU-merkezli çıkarım sunucularına kıyasla önemli bir performans artışı sağlar. Diğer bir deyişle, AI çıkarımı sisteminizi NR1 ile çalıştırarak, görüntüler, ses, dil ve metin – ayrı ayrı (tek mod) veya birlikte (çoklu mod) – üzerinden performans, sistem maliyeti, enerji verimliliği ve yanıt süreleri optimize edilir.

Sonuç? Bir müşteri, NR1 ile birlikte, pahalı GPU yatırımlarından daha fazla yararlanabilir, değil de daha fazla GPU satın alır.

GPU kullanımını maksimize etmenin ötesinde, NR1 olağanüstü verimlilik sağlar, bu da %50-90 daha iyi fiyat/performans ve %13-15’e kadar daha fazla enerji verimliliği sağlar. Bu, önemli maliyet tasarrufu ve AI altyapınız için azaltılmış bir çevresel ayak izi anlamına gelir.

NR1-S, performans düşüşü olmadan lineer ölçeklenebilirlik gösterir. Bu ölçeklenebilirliği sağlayan teknik yönleri açıklar mısınız?

NR1-S Cihazı, NR1 çiplerini herhangi bir AI hızlandırıcı ile birleştiren, AI altyapısını yeniden tanımlar. CPU-merkezli sınırlamaların ötesine geçtik ve yeni bir performans ve verimlilik seviyesine ulaştık.

NR1-S, AI ön ve sonrası işleme ve doğrudan ağ erişimini NAPU’lar içinde entegre eder – genellikle sistem başına 10 NAPU, her biri görüş, ses ve DSP işleme gibi görevleri işler ve AI-Hypervisor™ iş yüklerini orkestrasyon sağlar. Bu, AI veri akışının basitleştirilmesine yol açar ve lineer ölçeklenebilirlik sağlar: daha fazla hızlandırıcı ekleyin, orantılı olarak daha fazla performans alın.

Sonuç? AI hızlandırıcılarının %100 kullanımı tutarlı bir şekilde gözlemlenir. Toplam maliyet ve enerji verimliliği, kullanılan specific AI çiplerine bağlı olarak değişse de, maksimize edilmiş donanım yatırımı ve geliştirilmiş performans tutarlı bir şekilde teslim edilir. AI çıkarımı ihtiyaçları ölçeklendiğinde, NR1-S, geleneksel mimarilere karşı bir alternatif sunar.

NeuReality, AI’nin yaygın olarak benimsenmesine engel olan engelleri ele almaya çalışıyor. İşletmelerin AI’yi benimsemesi sırasında karşılaştığı en önemli zorluklar nelerdir ve teknolojiniz bu zorlukların üstesinden nasıl gelmeye yardımcı olur?

Kötü uygulamalar durumunda, AI yazılımları ve çözümleri sorunlu hale gelebilir. Birçok işletme, AI sistemlerini oluşturma ve ölçekleme maliyeti ve karmaşıklığı nedeniyle AI’yi benimsemekte zorluk çekiyor. Bugün AI çözümleri çıkarım için optimize edilmemiştir, eğitim podları genellikle düşük verimliliktedir ve çıkarım sunucuları yüksek tıkanıklıklara sahiptir. Bu zorluğu ele almak ve AI’yi daha erişilebilir hale getirmek için, ilk tam AI çıkarımı çözümü – NAPU tarafından sağlanan bir hesaplama ve ağ altyapısı – geliştirdik ve bu, AI hızlandırıcılarının ve GPU’ların maksimum kapasitesini kullanmasını sağlar ve pazar engellerini azaltır – underutilized GPU’lar, yani gerçekten ihtiyaç duyulanın üzerinde satın alınan ve %50’den fazla zamanında boşta kalan GPU’lar – ve aynı zamanda enerji tüketimini, AI veri merkezi gerçek estate zorluklarını ve operasyonel maliyetleri azaltır.

Sistem düzeyinde AI çıkarımı yaklaşımımız – yalnızca daha iyi bir GPU veya AI hızlandırıcı geliştirmeye çalışmak yerine, zaten çok fazla inovasyon ve rekabet olan bir alanda – AI çıkarımı sistemini sistemli ve holistik olarak ele alır ve AI iş yükü projeksiyonlarını, ağrı noktalarını ve mimari açıkları belirler ve ilk amaçlarına uygun, silikon’dan yazılıma kadar CPU’suz AI çıkarımı mimarisini teslim eder. Ve Python ve Kubernetes ile birleştirilen açık standartlardan oluşan bir üstten alta AI yazılım yığını, NeuReality Araç Seti, Sağlama ve Çıkarım API’leri ile entegre edilmiş bir dizi yazılım aracı geliştirerek, tüm bileşenleri tek bir yüksek kaliteli UI/UX’ye birleştirir.

Rekabetçi bir AI pazarında, NeuReality’yi diğer AI çıkarımı çözüm sağlayıcılarından ayıran nedir?

Bunu basitçe söyleyeyim, açık ve hızlandırıcı-ajanstanız. NR1 çıkarım altyapımız, herhangi bir AI hızlandırıcısını – GPU, TPU, LPU, ASIC, adınız ne – süper şarj eder, gerçekten optimize edilmiş bir uçtan uca sistem oluşturur. AI hızlandırıcıları, CPU’lara AI’nin taleplerini karşılamalarına yardımcı olmak için getirildi, ancak şimdi AI hızlandırıcıları o kadar güçlü hale geldi ki, CPU’lar tarafından engelleniyorlar.

Çözümümüz? NR1. Bu, yeniden hayal edilmiş bir AI çıkarımı mimarisidir. Gizli silahımız? NR1 NAPU™, AI hızlandırıcı performansını maksimize etmek için tasarlandı, ancak fazla güç tüketmedi ve bankayı boşa harcamadı. Açık bir ekosistem oluşturduk, herhangi bir AI çıkarımı çipi ve popüler yazılım çerçeveleri gibi Kubernetes, Python, TensorFlow ve daha fazlasıyla sorunsuz bir şekilde entegre ettik.

NeuReality’nin açık yaklaşımı, AI manzarasına rekabet etmek yerine tamamlayıcı olmak anlamına gelir – stratejik ortaklıklar ve teknoloji işbirliği aracılığıyla. Eksik parça sağlıyoruz: amaçlarına uygun, CPU’suz bir çıkarım mimarisi, yalnızca AI hızlandırıcılarını benchmark performansına kilitlemekle kalmaz, aynı zamanda işletmelerin ve hükümetlerin AI’yi benimsemesini de kolaylaştırır. NVIDIA H100’lerin, Google (GOOGL ) TPUs’un veya AMD MI300’lerin tam gücünü serbest bırakmayı hayal edin – onlara layık oldukları altyapıyı verin.

NeuReality’nin açık, verimli mimarisi, AI’yi herkes için daha erişilebilir ve uygun fiyatlı hale getirir. Farklı endüstrilerin – fintech, biyotek, sağlık teknolojisi – NR1 avantajını ilk elden deneyimlemesini görmek için heyecan duyuyorum. AI çözümlerinizi geleneksel CPU-merkezli sistemlerle karşılaştırdığınızda, modern NR1 altyapısında farkı görün.

Şu anda, yalnızca %35’lik bir işletme ve hükümet AI’yi benimsemiştir ve bu, son derece düşük niteliklendirme kriterlerine dayanmaktadır. AI’yi benimseyen işletme müşterilerinin %50’sini gelecek yıl bu zaman kadar AI’yi benimsemeye zorlamadan ve dünyayı zarara uğratmadan veya bankayı boşa harcamadan mümkün kılmaya çalışalım.

İleriye bakıldığında, NeuReality’nin AI’nin toplumundaki rolü için uzun vadeli vizyonu nedir ve bu geleceğe nasıl katkıda bulunmayı planlıyorsunuz?

AI’nin herkesin yararına olduğu, inovasyonu teşvik ettiği ve hayatları iyileştirdiği bir gelecek hayal ediyorum. Biz sadece teknoloji inşa etmiyoruz, daha iyi bir geleceğin temelini inşa ediyoruz.

NR1, bu vizyona anahtardır. AI çıkarımı için tam bir çözümdür ve AI’nin geniş çapta benimsenmesine engel olan maliyet ve karmaşıklık engellerini parçalar. Hem altyapıyı hem de mimariyi yeniden hayal ettik ve AI hızlandırıcılarının ve GPU’ların çıkışını maksimize eden, operasyonel maliyetleri artırmayan veya enerji tüketimini artırmayan devrimci bir sistem teslim ettik.

İş modeli gerçekten önemli, çünkü ölçeklenebilirlik ve son müşterilere gerçek seçenekler sunmak için AI otoritesini yoğunlaştırmak önemlidir. Bunun yerine, silikonumuzun diğer silikonlarla birlikte çalıştığı, onlara karşı değil, açık bir ekosistem inşa ediyoruz. NR1’i, tüm AI hızlandırıcıları ve açık modeller ve yazılımlarla sorunsuz bir şekilde entegre etmek için tasarladık, böylece kurulum, yönetim ve ölçeklenebilirlik kolaylaştı.

Ama durmuyoruz. Ortaklarla birlikte teknolojinin çeşitli AI iş yükleri boyunca geçerliğini kanıtlamak ve bulut hizmeti sağlayıcıları, hiper ölçekleyiciler ve eşlik eden çip üreticileri aracılığıyla “çıkarım hizmeti” ve “LLM hizmeti” sunmak için işbirliği yapıyoruz. İleri AI’yi herkesin erişebileceği ve uygun fiyatlı hale getirmeyi istiyoruz.

AI çıkarımı performansını, enerji verimliliğini ve uygun fiyatlılığını ondalık puanlarla artırabileceğimizi hayal edin. Güçlü, AI destekli bir toplumun daha fazla ses ve seçeneğe sahip olabileceği bir gerçeklik hayal edin. Bu nedenle, AI’nin günlük veri merkezi operasyonlarında iş etkisi ve ROI’yi kanıtlamak için zorlu bir iş yapıyoruz. Devrimci AI uygulamasına, yalnızca AI modeli yeteneklerine değil, odaklanıyoruz.

Bu, AI’nin herkesin yararına olduğu bir geleceğe katkıda bulunmamızın yolu – kar marjları, insanlar ve gezegen için bir kazan-kazan.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular NeuReality‘yi ziyaret edebilir.