Corey Sanders, CoreWeave Ürün Başkan Yardımcısı – Röportaj Serisi

Corey Sanders, CoreWeave (CRWV ) Ürün Başkan Yardımcısı, AI odaklı bulut platformlarının en hızlı büyüyenlerinden birinin ürün stratejisi ve yürütmesini yönetiyor. Müşterilerle birlikte amaçlarına uygun çözümler tasarlamak, CoreWeave’in AI altyapısı pazarındaki konumunu güçlendirmek ve inovasyonu ölçeklendirme sorumluluklarını yürütüyor. CoreWeave’e katılmadan önce Sanders, Microsoft’ (MSFT ) ta iki thập kỷ boyunca bulut mühendisliği, endüstriye özgü platformlar, ticari çözüm stratejisi ve büyük ölçekli kurumsal ortaklıklar gibi çeşitli üst düzey liderlik rollerinde bulundu ve teknik yürütme ile pazara çıkış stratejisi arasında köprü kurma konusunda derin deneyime sahip.

CoreWeave yüksek performanslı hesaplama ve büyük ölçekli yapay zeka iş yükleri için özel olarak tasarlanmış bir AI-yerli bulut sağlayıcısıdır. Şirket, ABD ve Avrupa’da hızla genişleyen bir veri merkezi ağı işletmektedir ve AI eğitimi, çıkarımı ve gelişmiş hesaplama kullanım örnekleri için tasarlanmış GPU hızlandırılmış altyapı ve yazılımlar sunmaktadır. Genel amaçlı bulut yerine amaçlarına uygun mimariye odaklanarak CoreWeave, AI laboratuvarları ve performans, ölçeklenebilirlik ve verimlilik arayışındaki şirketler için kritik altyapı ortağı haline gelmiştir.

Microsoft’ta 20 yılı aşkın bir süre Windows mühendisliği, bulut satış stratejisi ve Microsoft Bulut için Endüstri gibi çeşitli rollerde çalıştınız. Bu geçiş size kurumsal benimsemeyi gerçekten nelerın sürüklediğini öğretti ve bu dersleri bugün CoreWeave’de nasıl uyguluyorsunuz?

Kurumsal benimseme, belirli bir müşteri sorununu çözmeyle başlar. İnovasyonun kendisi değil, müşterinin sorununa çözüm getirme önemlidir. Müşterilerin destek maliyeti, operasyonel karmaşıklık, müşteri bağlantısı, global takımlar ve yeni ürün hatları gibi sorunlarını anlamak ve onlara yardımcı olmak önemlidir. Müşteriler genellikle yenilikçi yaklaşımlara açık olmakla birlikte, en önemli consideration yardımcı olduklarından emin olmaktır. Ürün tasarımında en sık gördüğüm hata, ürünün “cool” olmasıyla fazla ocup olmak. Tüketici alanında bu önemli olabilir, ancak kurumsal müşteriler için fayda, “cool” olmasından daha önemlidir.

CoreWeave, amaçlarına uygun AI altyapısı sunan bir şirket olarak tanımlanıyor. Bu, ürün açısından pratikte ne anlama geliyor ve genel amaçlı bulut platformları AI iş yüklerinde neden zorlanıyor?

Amaçlarına uygun olmanın en büyük avantajı, her genel kullanım durumunu çözmeye çalışmak zorunda olmamak. İki örnek vereceğim: biri yazılımda, diğeri donanım.

Yazılım tarafında, LOTA önbelleğiyle Nesne Depolama sunuyoruz. Bu, AI iş yükleri için özel olarak tasarlanmış bir önbellek. GPU düğümlerine doğrudan dağıtılır, Uygulama için bir S3 uç noktası sağlar ve GPU isteklerine birden fazla düğüm boyunca önbelleğini genişleterek yanıt verir. Bu, GPU’ya 7 GB/s’ye kadar veri akışı sağlar ve genel amaçlı bulutların sunduğundan daha fazladır. Bunu, AI-specific iş yükleri, okuma/yazma bölünmeleri ve küme düzenleri hakkında tasarım varsayımları yaparak başarabiliyoruz. Müşteri bunu bir veritabanı veya e-ticaret sitesi için kullansaydı, aynı etkiye sahip olmayacaktı. Bu, amaçlarına uygun yazılımların tanımı.

Donanım örneği benzer. En yeni NVIDIA (NVDA ) SKU’larının geniş dağıtımı ile birlikte -bunların çoğu sıvı soğutma gerektirir- CoreWeave, bu gereksinimleri desteklemek için özel uzmanlık ve veri merkezi tasarımları geliştirdi. Daha büyük bulutlar, her şeyi desteklemek için inşa edilir ve sonra sıvı soğutma eklerken, CoreWeave AI için özel olarak tasarlanmış veri merkezleri inşa ediyor. Bu, en yeni SKU’lar için daha düşük maliyetler ve daha yüksek kullanılabilirlik anlamına geliyor.

Aşağıda, bahsettiğim LOTA önbelleğinin bir resmi var.

Müşteriler AI’yi ölçeklendirirken, genellikle yalnızca GPU’lara erişime ihtiyaç duyduklarını düşünürler. Ancak modelleri büyük ölçekte eğittiklerinde veya sunduklarında genellikle neyi kaçırdıklarını fark ederler?

Büyük GPU kümeleri üzerinde iş yükleri çalıştırmadaki karmaşıklık nedeniyle, çevresel hizmetler başarıyı sürükleyen gerçek faktörler haline gelir. Bunlar, depolama ve ağ gibi açık olanlar kadar, gözlemlenebilirlik, orkestrasyon ve güvenlik gibi kritik operasyonel hizmetleri de içerir. CoreWeave’in Mission Control sunumu burada gerçekten parlıyor. Müşterilere, düğüm sağlığı ve çalışma zamanı hakkında derin bir farkındalık sağlıyor ve bu bilgiyi doğrudan orkestrasyon motoruna entegre ediyor. Bu, müşterilerin altyapıyı 1.000 ayrı GPU olarak değil, tek bir, tutarlı iş birimi olarak görmelerine olanak tanıyor.

Şu anda müşteri sonuçlarını iyileştirmeye odaklanan en önemli ürün öncelikleriniz nelerdir? Bu, performans, güvenilirlik, maliyet öngörülebilirliği veya geliştirici deneyimi olabilir.

Temel platformda, performans, güvenilirlik ve gözlemlenebilirlik üzerinde sürekli olarak çalışıyoruz. Müşterilerin işleri tekrar tekrar ve öngörülebilir bir şekilde çalıştırabilmesini ve her GPU’dan her TFLOP’u tam olarak kullanmasını sağlamak zorundayız. Bunun ötesinde, müşterilerin SLURM gibi araçların her ayrıntısına aşina olmadıklarında başlangıç sürecini basitleştirmeye çalışıyoruz. Son olarak, müşterilerin kolayca yenilik yapmalarını ve küçük ölçeklerde başlamalarını sağlayan ek hizmetler ve faturalama modelleri geliştiriyoruz. Şu anda, deney yapmak şaşırılacak kadar zor, kapasite kısıtlamaları, üç yıllık taahhütler ve başlamak için uzmanlara ihtiyaç duyuluyor. AI platformunda yenilik yapma kolaylığını geri getirmek istiyoruz.

Daha fazla AI iş yükü eğitim odaklıdan çıkarıma odaklanmaya başladığında, bu geçiş altyapı tasarımını ve ürün yol haritası kararlarını nasıl etkiler?

Bu, CoreWeave’in mevcut farklılıklarını çıkarım gereksinimlerine uygulamak için önemli fırsatlar yaratır. Örneğin, daha önce bahsettiğim LOTA önbelleği, eğitim için GPU’lara veri beslemeye odaklanır, ancak bu teknolojiyi KVCache gibi şeylere entegre edebiliriz ve çıkarım için güçlü bir farklılaştırıcı haline getirebiliriz. Benzer şekilde, Mission Control gibi araçlar çıkarım için daha da kritik hale gelir, çünkü GPU sağlığını gözlemlemek, yüksek kullanılabilirlikte ajantik uygulamaları çalıştırmak için çok önemlidir.

Bir ila iki yıl içinde, AI bulut pazarındaki liderliği tanımlayacak olan ve müşteriler için en önemli olacak yetenek hangisi olacaktır?

Liderliğin iki şey tarafından tanımlanacağını düşünüyorum. Birincisi, eğitimi ölçeklendirme gereksinimlerini karşılamak. Bu, gözlemlenebilirlik, sağlık izleme ve otomatik kurtarma alanlarında ilerlemeler gerektirecek. Yüzlerce GPU’dan on binlerce GPU’ya global olarak dağıldığınızda, manuel hata yanıtları artık geçerli değil.

İkincisi, çıkarım ve ajantik iş yükleri için doğru hizmetleri sunmak. Bu, global dağıtım yetenekleri ve deneysel çalışmalara teşvik eden iş modelleri gerektirir. Bu kullanım modeli, bulutun ilk büyümesinde yardımcı oldu, ancak AI çağındaki bazı şeyleri kaybetti. Platform desteği, çok bulut yetenekleri ve çok bölge kolaylığı yoluyla bunu geri getirmemiz gerekiyor.

Önceki rollerinizde sağlık, perakende, finansal hizmetler, imalat ve egemen bulut gibi sektörel bulut girişimlerini yönettiniz. Bu dikeylerden AI altyapısına doğrudan hangi dersler geçer, hangileri geçmez?

GPU’ların nesil değişiklikleri, yeni karmaşıklıklar getiriyor. Her yeni sürüm, artan etkileşim, daha yüksek bellek ve daha fazla güç ihtiyacı getiriyor ve bu, düğüm bağlantıları ve yazılım teslimatı hakkında varsayımlarımızı yeniden değerlendirmemizi gerektiriyor. Liderliğimizi korumak için burada kararlı olmamız gerekiyor. Diğer yandan, müşterilerin büyük ölçekli hesaplamayla başarmaya çalıştıkları şeylerin ölçeği hızla gelişiyor.

AI veri merkezleri ve kümeleri ölçeklenirken, bugün en zorlu operasyonel zorluklar hangileri ve hangileri en hızlı şekilde gelişiyor?

GPU’ların nesil değişiklikleri, tasarım ve yazılımda yeni karmaşıklıklar yaratmaya devam ediyor. Her yeni GPU sürümü, artan etkileşim yetenekleri, daha yüksek bellek ve daha fazla güç ihtiyacı getiriyor ve bu, düğüm bağlantıları, raf yönetimi ve yazılım teslimatı hakkında varsayımlarımızı yeniden değerlendirmemizi gerektiriyor. Liderliğimizi korumak için bu konularda odaklanmaya devam etmeliyiz. Müşterilerin başarmaya çalıştıkları şeylerin ölçeği en hızlı şekilde gelişen alan.

AI altyapısında güvenilirlik, yalnızca çalışma süresini aşar. CoreWeave güvenilirliği nasıl tanımlar ve müşteri açısından başarıyı en iyi şekilde yansıtan göstergeler hangileridir?

Büyük ölçekli operasyonlarda, müşterinin en büyük endişesi basitçe işi tamamlamaktır. Bireysel arızalar veya yavaşlamalar beklenenden daha fazladır. Anahtar, bu sorunlara nasıl otomatik olarak tespit edip yanıt verdiğimizdir, böylece iş, zorluklara rağmen tamamlanır. Bu nedenle, Mission Control’u daha üst düzey hizmetlere entegre ediyoruz, örneğin SUNK (Slurm on Kubernetes). Müşterilerin, saatlerce veya haftalarca çalışmadan otomatik olarak hatalara yanıt vermesini sağlar. Başarı, yalnızca düğüm çalışma süresiyle ilgili değil, iş başarısı ile ilgilidir.

İleriye bakıldığında, AI altyapısında hala az bilinen büyük bir değişim hangisidir, donanım evrimi, yığın spécializasyonu, egemenlik gereksinimleri veya yeni dağıtım modelleri ile ilgili olabilir?

AI yığınının bir parçası olarak Pekiştirme Öğrenimi (RL)’nin geri dönüşünü hala az bilinen bir gelişme olarak görüyorum. İlk LLM geliştirme dalgası sırasında büyük ölçüde gölgede kaldı. RL, AI hizmetlerini kullanıcılarının değişen ortamlarına daha duyarlı hale getirmede önemli bir rol oynayacak. Bu nedenle, bugün sunduğumuz sunucusuz RL teklifine çok heyecanlıyız.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular CoreWeave‘i ziyaret edebilir.