Ken Claffey, VDURA CEO’sü – Röportaj Serisi: Bir Dönüş Konuşması

Ken Claffey, VDURA’nın CEO’su ve Başkanı, müşteri odaklı bir iş ve ürün lideridir ve bulut ve empresa altyapısında, donanım ve yazılım geliştirmede ve ürün, operasyonlar ve pazara çıkış fonksiyonlarındaki stratejik büyümeyi sürdürebilen bir uzmanlıktır. Kariyeri boyunca, yüksek performanslı küresel takımlar kurmuş ve liderlik etmiş, kurumsal stratejiyi uygulamış, kârlı gelir büyümesi ve ürün yeniliğini sağlamış ve düşük performanslı işleri dönüştürmüştür. VDURA’nın başına geçmeden önce, Claffey, Seagate Technology’ (STX ) de üst düzey liderlik rollerinde bulunmuş, şirketin girişim sistemleri ve P&L’sini denetleyen SVP ve Genel Müdür olarak görev yapmıştır ve daha önce Xyratex, Adaptec ve Eurologic’te liderlik pozisyonlarında bulunmuştur ve empresa depolama ve yüksek performanslı hesaplama alanında on yılların deneyimine sahiptir.

VDURA bir yazılıma dayalı veri altyapısı şirketidir ve “hızın dayanıklılıkla buluştuğu” sloganıyla, yapay zeka ve yüksek performanslı hesaplama iş yükleri için modern depolama çözümleri geliştirmektedir. Şirketin amiral gemisi VDURA Veri Platformu, paralel dosya sistemi performansını birleştiren birleşik bir mimariye sahiptir ve binlerce istemci ve düğümler boyunca lineer olarak ölçeklenebilir ve operasyonları basitleştirir ve toplam sahip olma maliyetini düşürür. Aslen Panasas olarak kurulmuş ve 2024’te yeniden markalaşmış olan VDURA, platformunu, gelişmiş otomasyon, meta veri hızlandırması ve ölçeklenebilir performansla, şirket içi, bulut ve hibrit ortamlarda desteklemektedir ve GPU kümelerini beslemeye ve verileri korumaya yönelik olarak tasarlanmıştır.

Yüksek performanslı hesaplama ve empresa depolama alanındaki yolculuğunuz, depolamanın yapay zeka altyapısında belirleyici bir kısıtlama haline geldiği görüşünüzü nasıl şekillendirdi?

En talepkar hesaplama ortamları için depolama sistemleri geliştirdikten sonra, gerçek kısıtlamaların nerede yaşandığını ve insanların nerede olduğunu anlamak için bir sezgi geliştirirsiniz. Xyratex ve Seagate’deki ClusterStor çalışmasında, süper bilgisayarlar için depolama sorunlarını çözdük ve fiziksel olarak affedilmezdi. Ya hesaplama için beslersiniz ya da beslemezsiniz.

Şimdi yapay zeka altyapısında aynı temel kısıtlamayı görüyorum, ancak farklı ekonomi ile giydirilmiş. Neocloud pazarındaki GPU takıntısı anlaşılabilir. NVIDIA (NVDA ), bir kıtlık ve dönüştürücü bir kaynak yarattı. Ancak depolamanın onunla birlikte kolayca ve ucuz bir şekilde ölçekleneceği varsayımı her zaman kırılacaktı. Kırıldı. Depolama, tüm flash dağıtımlarda yapay zeka altyapısı bütçelerinin %20 ila %30’u haline geliyor ve diğer bileşenlerden daha hızlı büyüyor. Büyük ölçekli hesaplama ortamlarında depolamanın bağlayıcı kısıtlama haline geldiğini gören biri olarak, pazarın bu gerçekle yüzleşmesi sürpriz olmaz.

Neocloud altyapısı sırasında depolama planlaması neden düşük öncelikliydi?

Birkaç yapısal varsayım aynı anda birleşti. İlk olarak, flash fiyatları geçici olarak müsaitti. NVMe SSD’ler, all-flash’in makul bir varsayıma dönüşmesi için yeterli derecede ucuz ve boldu. Bu, mimari bir bilgelik değildi, geçici bir ekonomik pencereydi ve operatörler bunu kalıcı bir koşul olarak yanlış değerlendirdiler.

İkincisi, rekabet dinamiği, her şeyin üzerinde GPU sayılarını ödüllendirdi. Neocloud pazarı, ne kadar NVIDIA çipi راk edebileceğinize göre değerlendiriliyordu. Depolama, yaklaşık %10’luk bir gider maddesiydi ve procurement sırasında derin bir inceleme olmadan geçilebiliyordu. Üçüncüsü, all-flash kararı, karmaşıklığı ortadan kaldırdığı için güvenli görünüyordu: bir tier, bir medya türü, kolayca satın alınabilir ve işletilebilir. Sorun, “basit” ve “ekonomik olarak sürdürülebilir”nin aynı şey olmaktan çıkmasıydı, NAND tedariki daraldığında ve fiyatlar fırladığında.

Depolamanın GPU kullanımını nasıl etkilediğini gören operatörler en çok neye şaşırır?

İlişki, çoğu operatörün gerçekleştireceği kadar doğrudan değildir. Eğitim çalışmaları sıklıkla checkpoint oluşturur ve bu, hesaplama durdurabilir nếu depolama katmanı bu talepleri yeterince hızlı absorbe edemez. Ön işleme ve alımın veri boruları, sürekli okuma ve yazma talepleri oluşturur ve bunlar karşılanmazsa, GPU’ları işten mahrum bırakabilir.

NVIDIA’nın kendi DGX rehberliği, bu ilişkiyi nicelendirir: metin tabanlı LLM eğitimi, her GPU için yaklaşık 0,5 GB/s okuma hızı gerektirir, fiziksel AI ve görselleştirme iş yükleri ise her GPU için yaklaşık 4 GB/s okuma ve 2 GB/s yazma gerektirir. Depolama mimariniz bunu sağlayamıyorsa, GPU’larınızı tam kapasite çalıştırmıyorsunuz. Depolamanızın izin verdiği oranda çalıştırıyorsunuz.

Mimari, küme ölçeğinde enorm önemlidir. Bir depolama sistemi, sürücü ve istemci arasında bir aracı olabilir ve tek bir sürücüde benzer başlıklı bir performans gösterebilir, ancak ölçeklenirken, aynı GPU filosunu doyurmak için üç katı kadar sürücüye ihtiyaç duyabilirsiniz. Üç katı SSD, üç katı güç, üç katı raft alanı. Kullanım matematiği hızla birikebilir.

SSD seçimi ve mimari tasarımı, benzer başlıklı performans metriklerine sahip olduğunda, ortaya çıkan maliyet farklılıkları nelerdir?

Burada operatörler ciddi sorunlarla karşılaşırlar, çünkü başlıklar gerçekten aldatıcı olabilir. Bir örnek alın. 122.88 TB’lik bir QLC NVMe SSD yaklaşık 27.000 dolar maliyetinde olabilir. Aynı nesilden 7.68 TB’lik bir sürücü, yaklaşık 1.800 dolarlık benzer sıralı performans sunar. 4.096 GPU’lu bir küme için, tek bir kapasite seçimi kararı, 600.000 ila 9,6 milyon dolar arasında değişen bir flash faturası üretir. Performans esasen aynıdır. Tek değişken, soğuk verilerinizi hangi premium medyaya park ettiğinizdir ve bu, hiçbir performans avantajı sağlamaz.

Bunun üzerine, mimari tasarım, küme ölçeğinde sürücü sayısını belirler. Yaklaşık 5,8 GB/s ölçülen okuma hızı sunan bir mimari, 4.096 GPU’lu bir küme için yaklaşık 353 sürücüye ihtiyaç duyar. Ara aracı yükü nedeniyle yaklaşık 1,9 GB/s sunan bir mimari, 1.000’den fazla sürücüye ihtiyaç duyar. 30 TB’lik bir sürücü için 12.000 dolarlık bir maliyetle, bu fark bir yuvarlama hatası değildir – bir iş modeli sorusudur.

Operatörler, flash fiyatları yükselirken ve NAND tedariki kısıtlı kalırken, tüm flash ile katmanlı depolama arasında nasıl yeniden düşünmelidir?

Başlangıç noktası, tüm flash AI altyapısının arkasındaki ekonomik ön varsayımın her zaman koşullu olduğunu, temelsiz olmadığını kabul etmektir. Phison’un CEO’su, NAND üretim kapasitesinin etkili bir şekilde 2026’ya kadar tahsis edildiğini belirtti. Goldman Sachs (GS ), aynı dönemde DRAM fiyatlarının çift haneli oranlarda artacağını öngörüyor. Tüm flash varsayılan seçeneği, flash ucuz ve bol olduğunda anlam ifade ediyordu. Artık öyle değil.

Doğru çerçeve, flashın gerçekten ne için olduğunu sormaktır. Flash, bir performans ortamıdır. GPU hızlandırma gereksinimlerini doyurmak için boyutlandırılmalıdır, daha fazlası değil. Her şey, soğuk veri, aktif olarak okunmayan checkpoint’ler ve arşivlenen eğitim setleri dahil, yüksek yoğunluklu HDD’ye ait olmalıdır ve bu, terabayt başına orders of magnitude daha ucuzdur.

Operatörlerin düştüğü tuzak, tiering’i bir eklenti olarak tedavi etmektir: birincil all-flash katman satın alın, soğuk verilerinizi depolamak için ayrı bir nesne deposu ekleyin ve bunları dış veri taşıyıcılarla bağlayın. Bu, ikinci bir yazılım yığını, ikinci bir veri düzlemi, ağ karmaşıklığı ve operasyonel yük getirir. Hyperscaler yaklaşımı, aynı yazılım yığını içinde SSD ve HDD çalıştırır, yerel yüksek performanslı tiering sunar ve dış veri taşıyıcıları yoktur, depolamayı GPU bütçesinin %10’u civarında tutarken her GPU’yu doyurur.

Neocloud katmanı, hyperscaler depolama tasarım seçimlerinden neler öğrenebilir?

En önemli ders, Google (GOOGL ), Meta ve Microsoft’ (MSFT ) un tüm flash kullanmadıkları ve daha fazla AI iş yükü deneyimine sahip olduklarıdır. Karmaşık mimarilerde, yeterli NVMe flash ile GPU hızlandırma gereksinimlerini doyurmak için yeterli flash ve sonra yüksek yoğunluklu HDD’lere hızlı bir şekilde boşaltma yaparlar. Bu, felsefi bir tercih değildir. AI iş yükü fiziğinin net bir şekilde anlaşılmasının getirdiği ekonomik bir zorunluluktur.

İkinci ders, mimari entegrasyondur. Hyperscaler’lar, tiering’i ayrı sistemleri birleştirerek çözmezler. Aynı yazılım yığınında, aynı veri düzleminde, tiering’i bir depolama sistemi içinde birincil bir işlem olarak, ayrı bir araçla yönetilen bir batch işi olarak değil, çalıştırırlar. Bu entegrasyon, onlara, GPU filoları için gereken performans garantilerini korurken, büyük ölçekte depolamayı ekonomik tutmalarını sağlar.

Üçüncü ders, dayanıklılık garantisi vermektir. AWS S3, 11 adet dayanıklılık sunar. Azure Blob, 12 veya daha fazlasını sunar. Büyük ölçekte yerel RAID üzerine inşa edilen eski HPC depolama mimarileri, diskin arızalanma oranlarına ve yeniden inşa pencerelerine bağlı olarak 5’ten daha az dayanıklılığa düşebilir ve bu, bir milyarlık bir dosya koleksiyonu boyunca yılda binlerce dosya kaybına neden olabilir. Modern ağ silme kodlaması, çok seviyeli koruma ile 11’den daha fazla dayanıklılığa ulaşabilir. Bu iki gerçeklik arasındaki fark, bir depolama sistemi için SLA garantisini verebileceğiniz ve veremeyeceğiniz farktır.

Altyapı ekipleri, depolama erişilebilirliğinin GPU filoları üzerindeki ekonomik etkisini nasıl ölçebilir?

Matematik, gerçekçi bir şekilde çalıştırıldığında ürkütücüdür. Paylaşılan depolama arızası, orantılı bir SLA açığını üretmez. Aynı anda tüm GPU rafına bağlı depolamaya bağlı tüm GPU’larda SLA ihlali üretir. 98% depolama erişilebilirliğine sahip 5.000 GPU’lu bir küme, yılda 876.000 GPU saati kayıp hesaplama üretir. Temsilcisi GPU saat maliyetleriyle, bu, yılda milyonlarca dolarlık boşta kalan hesaplama ve aynı anda etkilenen her raf için SLA kredileri anlamına gelir.

Large bir kümede depolama arızasının patlama yarıçapı, tüm kümedir. Altyapı ekipleri bunu açıkça modellemelidir: mevcut depolama erişilebilirlik oranınıza göre boşta kalan hesaplamanın yıllık maliyeti nedir, her erişilebilirlik seviyesine bağlı SLA kredi yükümlülükleri nelerdir ve SLA ihlallerinden kaynaklanan müşteri kaybı riski nedir? CoreWeave (CRWV ) ve Oracle (ORCL ) zaten %99’luk raf düzeyi çalışma süresini sunuyor. Bu taahhütleri karşılayamayan sağlayıcılar, özellikle Neocloud pazarının uzun vadeli ekonomisini kanıtlamak için gerekli olan yüksek değerli empresa sözleşmelerini kaybediyor.

Farklı depolama mimarileri, güç kısıtlı ortamlarda watt başına performans açısından nasıl karşılaştırılır?

Bu,几乎 her ciddi altyapı konuşmasında ortaya çıkıyor ve farkı değil, çarpımını gösteriyor. Yayımlanmış özellikler ve benzer yapılandırmalara dayalı olarak, yaklaşık 1.340 GB/s okuma hızı sunarken, bir mimari 55 kW yakarken, diğeri benzer çıktı için yaklaşık 16 kW kullanıyor. Bu, watt başına performans açısından 3,4 kata varan bir farka işaret ediyor. AI iş yüklerinin 40 ila 250 kilowatt arasında bir rafta tüketildiği ve sabit bir ağ bağlantısına karşı bir data merkezinde, boşa harcanan depolama watt’ları, dağıtılamayan GPU’lardır. NVIDIA’nın kendi BlueField-4 belgeleri, güç kullanılabilirliğinin AI fabrikalarını ölçeklendirme için birincil kısıtlama olduğunu açıkça belirtiyor.

İkincil bir etki de vardır ve operatörler bunu genellikle hesaba katmazlar. Bazı depolama mimarileri, zirve depolama performansını elde etmek için her GPU düğümü için 5 GB DRAM ve bir ila dört adede kadar ayrılmış CPU çekirdeğine ihtiyaç duyar. 500 düğümlü bir kümede, bu, 2,5 TB DRAM ve AI iş yüklerine kullanılamayan 2.000 CPU çekirdeğine karşılık gelir. Her bir GPU için 30.000 dolar veya daha fazla ödediğinizde, her bir çakışan çekirdek ve her bir kilitli gigabayt, compute yatırımına doğrudan bir vergidir.

Depolama mimarisi, %99’a yaklaşan uptime garantileri açısından SLA rekabetini nasıl doğrudan etkiler?

Depolama, bir GPU kümesindeki en büyük patlama yarıçapıdır, bu nedenle herhangi bir SLA taahhüdünde en önemli değişken haline gelir. SemiAnalysis ClusterMAX 2.0 puanlama sistemi, Neocloud alımlarında fiyatlandırma müzakerelerinde SLA’ları açık bir faktör haline getirmektedir. Rekabetçi SLA’lara sahip olmayan sağlayıcılar, şu anda anlaşmaları kaybediyor.

Dayanıklılık boyutu da eşit derecede önemlidir ve daha az tartışılır. Şirket içi müşteriler, AWS S3 ve Azure Blob’dan 11 ila 12 dayanıklılık beklemeye alışıktır. Büyük ölçekte yerel RAID üzerine inşa edilen eski HPC depolama mimarileri, diskin arızalanma oranlarına ve yeniden inşa pencerelerine bağlı olarak 5’ten daha az dayanıklılığa düşebilir ve bu, bir milyarlık bir dosya koleksiyonu boyunca yılda binlerce dosya kaybına neden olabilir. Modern ağ silme kodlaması, çok seviyeli koruma ile 11’den daha fazla dayanıklılığa ulaşabilir. Bu iki gerçeklik arasındaki fark, bir depolama sistemi için SLA garantisini verebileceğiniz ve veremeyeceğiniz farktır.

Hangi depolama yetenekleri, Neocloud’un uzun vadeli hayatta kalmasını belirlemek için en muhtemel faktörlerdir?

Hayatta kalan operatörler, yalnızca GPU alımı denklemini değil, tüm altyapı yığınındaki toplam sahip olma maliyeti denklemini çözenler olacaktır. Bu, birkaç özel yetenek anlamına gelir.

İlk olarak, flash ve diskleri tek bir veri düzleminde, yerel yüksek performanslı tiering ile birleşik bir yazılım tanımlı mimariye ihtiyaç vardır, dışarıdan veri taşıyıcıları, ikinci bir yazılım yığını, operasyonel karmaşıklık yoktur. İkincisi, flash ve disk için bağımsız maliyet eğrilerine binen depolama yeteneği, bu piyasaların birbirlerinden bağımsız olarak hareket edeceği anlamına gelir. Üçüncüsü, self-healing sistemlere ihtiyaç vardır, bu sistemler yüksek erişilebilirlik düzeyini, uzman yöneticilerin 3 AM’de manuel kurtarma yapmasını gerektirmeden korur. Operasyonel olarak karmaşık depolama, ölçekte biriken bir maliyettir. Dördüncüsü, hyperscaler benchmark’lerine karşı SLA’larda güvenle garanti edilebilecek bir dayanıklılığa ihtiyaç vardır.

Genel olarak, konsolidasyon dalgası, günübirlik benchmark’lerden, üç yıllık ekonomiye dayalı altyapıdan ayırmaktadır. H100 kiralama oranları zirveden %60’dan fazla düşmüştür. Pazar artık GPU biriktirmeyle değil, sermaye yatırımı getirisini kanıtlamayla ilgilenmektedir. Depolama mimarisi, bu kanıtı nerede yaşadığını göstermektedir, çünkü burada GPU kullanım oranları, SLA taahhütleri, güç verimliliği ve uzun vadeli maliyet yapısı birleşmektedir.

Neocloud operatörlerine depolama stratejilerini değerlendirdikleri sırada mesajınız nedir?

Depolama kararını varsayılan olarak yapılan seçim olarak bırakmayın. Altyapı yığınının diğer tüm parçaları, mühendislik ve finansal incelemeye tabi tutulur. Depolama farklı olmamalıdır. Üç yıl içinde burada olacak olan operatörler, gerçek maliyet per GPU saati faydalı hesaplama, gerçek erişilebilirlik duruşlarını anladılar ve iş yükleri için boyutlandırıldıklarından emin oldular, değil, bir alım kısaltması için.

Pencere doğru şeyi yapmak için daralıyor. Konsolidasyon zaten devam ediyor ve ekonomi affetmez. Ancak depolama katmanını, GPU seçimiyle aynı titizlikle yeniden düşünmeye hazır olan operatörler için fırsat önemlidir. Depolama, doğru yapıldığında, yalnızca maliyeti azaltmakla kalmaz, her bir GPU’daki değerin kilidini açar.

Harika röportaj için teşekkür ederiz, bu teknoloji yığını hakkında daha fazla bilgi edinmek isteyen okuyucular VDURA sitesini ziyaret edebilirler. Ayrıca Ken Claffey ile önceki röportajımızı da okuyabilirler.