Darrick Horton, TensorWave’un COO’su – Röportaj Serisi

Darrick Horton, TensorWave’un COO’su, yapay zeka altyapısında, bulut bilişimde ve gelişmiş donanım sistemlerinde derin deneyime sahip bir teknoloji yöneticisi ve girişimcidir. Veri merkezi mimarisi, yarı iletken teknolojileri ve yüksek performanslı hesaplama dahil olmak üzere geniş bir arka plana sahip olan Horton, nächsten nesil yapay zeka hesaplama platformlarının ölçeklendirilmesinde merkezi bir rol oynamıştır. TensorWave’deki liderliğinden önce Horton, Lockheed Martin’in Skunk Works’teki nükleer füzyon araştırması da dahil olmak üzere gelişmiş mühendislik girişimlerinde çalışmış ve NASA tarafından finanse edilen plazma fizik ve astrofizik projelerine katkıda bulunmuştur. Kariyeri, karmaşık, büyük ölçekli teknik zorlukları çözmeye ve bunları ortaya çıkan teknolojiler için pratik altyapı çözümlerine çevirmeye odaklanmayı sürekli olarak yansıtmaktadır.

TensorWave bir yapay zeka altyapısı şirketidir ve AMD GPU’ları tarafından güçlendirilen yüksek performanslı bulut bilişim sunmaya odaklanmıştır ve daha kapalı yapay zeka ekosistemlerine bir alternatif olarak konumlandırılmıştır. 2023 yılında kurulan ve Las Vegas’ta bulunan şirket, gelişmiş yapay zeka modellerini eğitmek ve dağıtmak için optimize edilmiş büyük ölçekli GPU kümeleri oluşturmaktadır ve performansa, esnekliğe ve maliyet etkinliğine odaklanmaktadır. Açık donanım ve yazılım ekosistemlerini kullanarak TensorWave, şirketlere, araştırmacılara ve geliştiricilere güçlü yapay zeka hesaplama kaynaklarına erişimi genişletmeyi, geleneksel satıcı kilidinin kısıtlamaları olmadan ölçeklenebilir yapay zeka iş yüklerini ermögilmeyi hedeflemektedir.

Nvidia, çoğu GPU pazarını domine ediyor – neden AMD’ye tümüyle odaklandınız ve bu seçim TensorWave ve müşterilerine neler kazandırıyor?

ChatGPT’nin piyasaya sürülmesinden sonra yapay zeka talebi skyrocketed. GPU’lar nhanh bir şekilde satın alındı ve NVIDIA基本 olarak tek seçenekti, eğer alınabiliyorsa ve maliyeti karşılanabiliyorsa. Bu kıtlık, alternatiflere karşı büyük bir ilgi uyandırdı. Şimdi ilk hype geçtikten sonra, Nvidia’nın hakimiyetini挑戰 etmek için erişilebilir, maliyet etkin ve kullanımı kolay çözümler sunma fırsatı vardır.

Bir startup olarak, toujours iş kararlarını güçlü bir odak ve amaç ile aldık. Bu nedenle, Nvidia ile denemeler yapmadık ve AMD üzerinde yeteneklerimizi geliştirmeye devam ettik. Şirketimizin sonraki aşaması, bu odaklanmış yeteneklere dayanarak herkesin yapay zeka ile anlamlı şeyler yapabilmesi hakkında olacak. AMD, gerçek üretim ölçeğine sahip, açık bir yazılım tutumuna sahip ve modern yapay zeka için bir bellek-öncelikli yol haritasına sahip bir alternatiftir.

TensorWave’un yapay zeka altyapısına yaklaşımı geleneksel GPU bulut sağlayıcılarından nasıl farklı?

Farkımız açık: AMD’ye özel, ölçekteki tek bulutuz, yapay zeka hesabında seçim sunmaya, Nvidia’nın hakimiyetini kırmaya ve erişimi demokratikleştirmeye çalışıyoruz. Ancak bu, aynı zamanda bizim etik ve pazarın gerçek bir alternatifine taahhütümüzle ilgilidir. İlk ve en wichtig, mükemmel AMD tabanlı altyapıyı sunmak istiyoruz. Oradan, en üst düzey hizmetleri sunmaya genişleteceğiz – Model-as-a-Service, AI-as-a-Service, her şeyi daha basit hale getireceğiz.

Tüm AMD bulutu olarak, AMD için özel olarak tasarlanmış bir yazılım deneyimine sahibiz. Bu odak, silikonu, ağları ve yazılımları uçtan uca optimize etmemize olanak tanır, böylece ekiplerin ihtiyaç duyduklarında ölçeklenmelerini sağlar.

AMD ile stratejik ortaklığınız TensorWave’un büyümesinde ve farklılaşmasında nasıl bir rol oynuyor?

Temeldir. AMD, TensorWave’a yatırım yaptı, bizi MI300X Instinct lansmanına davet etti ve donanım, yazılım etkinleştirme ve ekosistem büyümesi konularında yakın bir şekilde işbirliği yapmaya devam ediyoruz. Tüm AMD bulutu olmamız, her Instinct nesli ile hızlı bir şekilde hareket etmemize ve pazarımızdaki alternatifler olarak ölçekte bir laboratuvar görevi görmemize olanak tanır. AMD’ye özel farklılaşmamız, AI altyapısı pazarında daha hızlı bir şekilde çalışmamızı ve yeni GPU’lar için ilk olarak gemi yapmamızı sağlar. Their ortaklığı, boşlukları nhanh bir şekilde kapatmamıza, ölçekte gerçek performansı yayınlamamıza olanak tanır.

GPU erişimi hala AI ekipleri için büyük bir engel – TensorWave bu zorluğu nasıl ele alıyor?

Bu engelleri ilk olarak tedarik bağımsızlığı ile ele alıyoruz: AMD üzerine inşa ederek, diğer yonga üreticilerinin tedarik kısıtlamalarının en kötüsünden kaçınır ve müşterilerimize erişimi sağlarız. AMD aracılığıyla tedarik bağımsızlığı, müşterilerimizin herkesin aynı kuyruğunda beklemesine gerek kalmamasını sağlar.

Yapay zeka altyapısı ekosisteminde boşluklar, birçok oyuncunun benzer çözümler oluşturması ve bu nedenle birçok örtüşme yaratması nedeniyle oluşur. Bu genellikle pazarın neler olduğu konusunda bir farkındalık eksikliğinden kaynaklanmaktadır. Boşlukları kapatmanın ilk adımı, neler olduğunu, işbirliği fırsatlarının nerede olduğunu, rekabetin nerede inovasyonu sürdürebileceğini ve sonunda ekosistemin nasıl geliştirilebileceğini anlamaktır. Yapay zeka altyapısı pazarındaki benzersiz bir boşluk, güçtür; GPU’lar mevcut olsa bile, genellikle yapay zeka uygulamalarının artan sayısını desteklemek için yeterli enerji yoktur. Bu kaynak zorluklarını çözerek, önümüzdeki yıllarda sürdürülebilir büyüme ve inovasyonu ermögilmekteyiz.

Doğrudan sıvı soğutma ve UEC-ready ağ (Evrensel Ethernet Konsorsiyumu) gibi özellikler performansı ve maliyet etkinliğini nasıl geliştirir?

Doğrudan sıvı soğutma ve UEC-ready ağ, modern bir yapay zeka bulutunun ekonomik olarak uygulanabilir olmasını sağlayan temel özelliklerdir ve her ikisi de TensorWave’u nasıl tasarladığımızın merkezinde yer alır.

Doğrudan sıvı soğutma hakkında: en yeni hızlandırıcı nesilleri, AMD’nin MI355X ve MI455X, hava soğutmasının verimli bir şekilde ele alamayacağı termal zarflara sahiptir. 1400W+ TDP’ler başına GPU’dan bahsediyoruz. Doğrudan sıvı soğutma, soğuk plaka veya dalma tasarımları aracılığıyla kaynağından ısıyı entferir, bu da müşterilerimiz için üç şey yapar. İlk olarak, önemli ölçüde daha yüksek rafta yoğunluğuna olanak tanır, 120-300kW+ rafta yerine 30 ila 40kW, bu da ayak izini sıkıştırır ve megawatt başına gerçekçi ve güç dağıtım maliyetlerini azaltır. İkincisi, PUE’yu 1.1’e yaklaştırır, miras hava soğutmalı tesislerde 1.4 ila 1.5’e kıyasla; bizim ölçekte, bu, yılda on milyonlarca dolarlık fayda sağlar. Üçüncüsü, genellikle göz ardı edilen, silikonu daha düşük, daha稳 định birleşim sıcaklığında tutar, bu da uzun eğitim sürümleri sırasında sürekli saat hızlarını korur ve donanımın useful ömrünü uzatır. Bu son nokta, altı yıllık bir varlık için güvence altına aldığımızda enorm önem taşır.

UEC hakkında: Ultra Ethernet Konsorsiyumu standardı, AMD’nin kurucularından biri olduğu ve 2025 yılında 1.0’a ulaştığı, gerçekten önemli olan dağıtılmış eğitim için InfiniBand ile eşdeğer veya daha iyi olan bir açık, tüccar-silikon kumaşı sağlar. Maliyet hikayesi yapısal. Ethernet, fiyat konusunda yarışan altı tane güvenilir tüccar-silikon satıcısına sahiptir, tek kaynaklı bir alternatife kıyaslapremium. 100MW’lik bir site için, UEC-ready ağ ile özel bir kumaş arasında seçim yapmak genellikle bir九figure CAPEX kararıdır ve operasyonel avantajlar birikebilir, çünkü ağ mühendislerimiz zaten Ethernet’i biliyor.

Bu seçimler birlikte, müşterilerimize daha iyi eğitim ekonomisi sunmamızı sağlar. Müşteriler, daha yüksek etkili FLOPs/dolar, büyük işlerde daha öngörülebilir adım süreleri ve modellerin ölçeklenmesi için net bir yol görür. Bizim için, bunlar daha savunulabilir bir maliyet yapısı ve gerçekten rekabetçi oran kartlarını sunma esnekliği anlamına gelir.

Müşteriler TensorWave’u büyük ölçekli yapay zeka modellerini eğitmek için nasıl kullanıyor?

TensorWave müşterileri, GPU kıtlığı, satıcı kilidi veya kontrolsüz maliyetler olmadan yüksek performanslı yapay zeka hesaplama ihtiyacına sahiptir. TensorWave, özel AMD bulutu – açık, bellek optimize edilmiş ve üretim hazır – sunar, bu da ekiplerin erişilebilir, esnek ve maliyet etkin ölçeklenebilir yapay zeka altyapısına sahip olmasını sağlar.

Örneğin, Modular, TensorWave’un AMD GPU altyapısı üzerinde MAX çıkarım yığınını çalıştırmayı tercih etti, çünkü TensorWave, büyük ölçekli yapay zeka çıkarımı için önemli ölçüde daha iyi maliyet-etkinlik ekonomisi sunuyor. Modular’ın MAX’ı TensorWave’un AMD hesabında çalıştırması, diğer GPU yığınlarına kıyasla milyon token başına %70 daha düşük maliyet, %57 daha hızlı aktarım hızı ve daha düşük genel maliyet sağlar.

Nvidia’nın devam eden hakimiyeti ile, TensorWave gibi rakipler için en büyük fırsatlar nerede?

Yapay zeka hesabının hakim olduğu bir alanda, en büyük zorluklar, pazara girme hızı, en son teknolojinin sunulması ve olağanüstü destek sağlanmasıdır. Hyperscalers genellikle birçok seçenek sunar, ancak müşterilerin ihtiyaç duyduğu odak veya kişiselleştirilmiş rehberliği sunmakta zorlanırlar. Nvidia’nın hakimiyetini kırarak, TensorWave gücümüzü odaklıyoruz ve müşterilerimize en iyi teknolojiyi sunmak için işbirliği yapıyoruz.

Nvidia’nın yapay zeka altyapısı hakimiyetini挑戰 etmek için iki büyük fırsat, açık ekosistemler ve bellektir. Açık ekosistemler, her katmanda (donanım, ara bağlantı ve yazılım) kilidi ortadan kaldırır. Ayrıca, ağ optimize edilmiş eğitim/çıkarım ile bellek, maliyet eğrisini çevirir.

Beş yıl sonrasına bakıldığında, yapay zeka altyapısının geleceğini ve TensorWave’un bu gelecekteki rolünü nasıl görüyorsunuz?

Yıllarca, yapay zeka altyapısında iyi,稳定 ve kullanımı kolay olmasını sağlamak hedeflenmiştir. Sonraki aşama, bunun üzerine ne sunabileceğimiz hakkında olacak – yönetilen hizmetler, AI-as-a-Service, müşterilerin daha kolay bir şekilde dağıtabilmesi ve ölçeklenebilmesi için her şey.

Bir büyük dönüşümün başlangıcındayız. Yapay zeka teknolojisi sürekli olarak ilerlemekte ve AMD gibi alternatifler giderek daha viable hale gelmektedir. Bunun xảyacağı zaman, müşteriler bunları ölçekte dağıtmakta daha rahat hissedecekler ve tüm ekosistem açılacak ve büyüyecektir.

Harika bir röportaj için teşekkür ederiz, bu yenilikçi yapay zeka altyapısı şirketini öğrenmek isteyen herkes TensorWave ziyaret edebilir.