Ken Claffey, CEO VDURA – Seri Wawancara: Percakapan Lanjutan

Ken Claffey, CEO dan Presiden di VDURA, adalah seorang pemimpin bisnis dan produk yang berpengalaman dengan fokus pada pelanggan, dengan keahlian yang mendalam di bidang infrastruktur awan dan perusahaan, pengembangan perangkat keras dan perangkat lunak, serta mengarahkan pertumbuhan strategis di seluruh produk, operasi, dan fungsi pemasaran. Sepanjang karirnya, ia telah membangun dan memimpin tim global yang berkinerja tinggi, melaksanakan strategi perusahaan, mengarahkan pertumbuhan pendapatan yang menguntungkan dan inovasi produk, serta membalikkan bisnis yang tidak berperforma. Sebelum memimpin VDURA, Claffey menjabat sebagai pemimpin senior di Seagate Technology (STX ), di mana ia menjabat sebagai Wakil Presiden dan General Manager yang mengawasi sistem perusahaan dan P&L, serta posisi kepemimpinan sebelumnya di Xyratex, Adaptec, dan Eurologic, membawa puluhan tahun pengalaman di bidang penyimpanan perusahaan dan komputasi kinerja tinggi.

VDURA adalah sebuah perusahaan infrastruktur data yang ditentukan oleh perangkat lunak yang membangun solusi penyimpanan modern yang dioptimalkan untuk beban kerja kecerdasan buatan dan komputasi kinerja tinggi di bawah moto “kecepatan bertemu ketahanan.” Platform Data VDURA yang menjadi andalan menggabungkan kinerja sistem file paralel flash-first dengan ketahanan penyimpanan objek dalam arsitektur yang terintegrasi yang berkembang secara linier di seluruh ribuan klien dan node sambil menyederhanakan operasi dan mengurangi biaya total kepemilikan. Awalnya didirikan sebagai Panasas dan berganti merek pada 2024, platform VDURA mendukung lingkungan on-premises, awan, dan hibrida dengan otomatisasi lanjutan, percepatan metadata, dan kinerja yang dapat diskalakan yang dirancang untuk menjaga klaster GPU tetap terisi dan data dilindungi untuk kasus penggunaan kecerdasan buatan dan komputasi kinerja tinggi perusahaan, penelitian, dan misi-kritis.

Bagaimana perjalanan Anda di HPC dan penyimpanan perusahaan membentuk pandangan Anda bahwa penyimpanan menjadi kendala yang menentukan dalam infrastruktur kecerdasan buatan?

Dengan membangun sistem penyimpanan untuk beberapa lingkungan komputasi paling menuntut di dunia, Anda mengembangkan intuisi tentang di mana bottleneck sebenarnya hidup versus di mana orang menganggap mereka hidup. Di Xyratex dan melalui pekerjaan ClusterStor di Seagate, kami menyelesaikan masalah penyimpanan untuk superkomputer di mana fisika tidak memaafkan. Anda baik memberi makan komputasi atau tidak.

Apa yang saya lihat sekarang di infrastruktur kecerdasan buatan adalah kendala fundamental yang sama, hanya berpakaian dengan ekonomi yang berbeda. Obsesi GPU di pasar Neocloud dapat dipahami. NVIDIA (NVDA ) menciptakan sumber daya yang langka dan transformatif. Namun, asumsi bahwa penyimpanan akan berkembang seiring dengan itu, dengan murah dan mudah, selalu akan rusak. Ini telah rusak. Penyimpanan sekarang cenderung menuju 20 hingga 30 persen dari anggaran infrastruktur kecerdasan buatan dalam semua penerapan all-flash, tumbuh lebih cepat daripada komponen lainnya. Ketika Anda telah menghabiskan karir menonton penyimpanan menjadi kendala pengikat di setiap lingkungan komputasi skala besar, Anda berhenti terkejut ketika sisa pasar menyadari kenyataan itu.

Mengapa perencanaan penyimpanan diprioritaskan rendah selama perebutan infrastruktur Neocloud?

Beberapa asumsi struktural bertemu pada saat yang tepat. Pertama, harga flash sementara menguntungkan. NVMe SSD terjangkau dan melimpah sehingga pergi all-flash terasa seperti default yang masuk akal. Ini bukanlah kebijaksanaan arsitektur. Ini adalah produk dari jendela ekonomi singkat yang operator salah anggap sebagai kondisi permanen.

Kedua, dinamika kompetitif menghargai jumlah GPU di atas segalanya. Pasar Neocloud sedang dievaluasi berdasarkan berapa banyak chip NVIDIA yang bisa dipasang. Penyimpanan kira-kira 10 persen item baris, mudah untuk diabaikan dalam proses pengadaan tanpa pemeriksaan yang mendalam. Ketiga, keputusan all-flash terasa aman karena menghilangkan kompleksitas. Satu tingkat, satu jenis media, sederhana untuk diproduksi dan dioperasikan. Masalahnya adalah “sederhana” dan “berkelanjutan secara ekonomi” berhenti menjadi hal yang sama ketika pasokan NAND mengencang dan harga melonjak. Pada saat itu, keputusan infrastruktur sudah dikunci.

Apa yang paling mengejutkan operator ketika mereka melihat bagaimana penyimpanan mempengaruhi utilisasi GPU mereka?

Hubungan ini lebih langsung daripada yang banyak operator sadari sampai mereka menatap GPU yang menganggur. Pelatihan dengan pemeriksaan yang sering menciptakan permintaan menulis yang dapat menghambat komputasi jika lapisan penyimpanan tidak dapat menyerapnya dengan cukup cepat. Pipa data untuk praproses dan ingestion menciptakan permintaan throughput baca yang berkelanjutan yang, jika tidak terpenuhi, dapat mengurangi GPU dari pekerjaan.

Panduan DGX NVIDIA sendiri mengkuantifikasi hal ini: pelatihan LLM berbasis teks memerlukan sekitar 0,5 GB/s throughput baca per GPU, sedangkan beban kerja kecerdasan buatan fisik dan visualisasi memerlukan sekitar 4 GB/s baca dan 2 GB/s tulis per GPU. Jika arsitektur penyimpanan Anda tidak dapat menyampaikan itu, Anda tidak menjalankan GPU pada kapasitas. Anda menjalankannya pada fraksi yang diizinkan oleh penyimpanan.

Arsitektur ini sangat penting pada skala klaster. Sistem penyimpanan yang menginterposisikan perantara antara drive dan klien mungkin menunjukkan throughput yang setara pada satu drive, tetapi pada skala Anda bisa berakhir membutuhkan tiga kali lebih banyak drive untuk mengenyangkan armada GPU yang sama. Tiga kali lebih banyak SSD, tiga kali lebih banyak daya, tiga kali lebih banyak ruang rak. Matematika utilisasi berkembang dengan cepat.

Apa perbedaan biaya yang bisa muncul murni dari pemilihan SSD dan desain arsitektur bahkan ketika metrik throughput headline tampak serupa?

Ini adalah tempat operator masuk ke dalam masalah serius, karena angka-angka headline bisa benar-benar menyesatkan. Ambil contoh representatif. Sebuah SSD QLC NVMe 122,88 TB berharga sekitar $27.000. Sebuah drive 7,68 TB dari generasi yang sama menawarkan throughput urut yang setara sekitar $1.800. Untuk klaster 4.096-GPU pada spesifikasi NVIDIA yang Ditingkatkan, keputusan pemilihan kapasitas drive tunggal ini menghasilkan tagihan flash yang berkisar dari $600.000 hingga $9,6 juta. Throughputnya secara efektif identik. Satu-satunya variabel adalah berapa banyak data dingin yang Anda pilih untuk diparkir di media premium yang tidak memberikan manfaat kinerja tambahan.

Di atas itu, desain arsitektur menentukan jumlah drive pada skala klaster. Arsitektur yang menyampaikan sekitar 5,8 GB/s throughput baca yang diukur per SSD membutuhkan sekitar 353 drive untuk mengenyangkan klaster 4.096-GPU. Arsitektur yang menyampaikan sekitar 1,9 GB/s per SSD, karena overhead perantara, membutuhkan lebih dari 1.000. Pada $12.000 per drive 30 TB, perbedaan itu bukanlah kesalahan pembulatan – itu adalah pertanyaan model bisnis.

Bagaimana operator seharusnya memikirkan kembali penyimpanan all-flash versus tiered sebagai harga flash naik dan pasokan NAND tetap terbatas?

Titik awal adalah menerima bahwa premis ekonomi di balik infrastruktur kecerdasan buatan all-flash selalu bersyarat, bukan fondasional. CEO Phison telah menggambarkan kapasitas produksi NAND sebagai efektif dialokasikan hingga 2026. Goldman Sachs (GS ) memproyeksikan harga DRAM naik dua digit per kuartal hingga periode yang sama. Default all-flash masuk akal ketika flash murah dan melimpah. Ini tidak lagi demikian.

Kerangka yang tepat adalah untuk bertanya apa yang sebenarnya flash untuk. Flash adalah medium kinerja. Ini harus diukur untuk mengenyangkan kebutuhan throughput GPU, tidak lebih. Semuanya, termasuk data dingin, pemeriksaan yang tidak aktif dibaca, dan set pelatihan yang diarsipkan, miliknya di high-density HDD, yang tetap beberapa pesanan besarnya lebih murah per TB.

Perangkap yang operator jatuhkan adalah mengobati tiering sebagai tambahan: membeli lapisan primer all-flash, menambahkan toko objek terpisah untuk data dingin, dan menghubungkannya dengan penggerak data eksternal. Ini memperkenalkan tumpukan perangkat lunak kedua, pesawat data kedua, kompleksitas jaringan, dan overhead operasional. Pendekatan hyperscaler, menjalankan SSD dan HDD dalam tumpukan perangkat lunak yang sama dengan tiering kinerja tinggi asli dan tidak ada penggerak data eksternal, menjaga penyimpanan lebih dekat ke 10 persen dari anggaran infrastruktur sambil masih mengenyangkan setiap GPU.

Apa pelajaran yang dapat dipelajari oleh operator Neocloud dari pilihan desain penyimpanan hyperscaler?

Pelajaran paling penting adalah bahwa Google (GOOGL ), Meta, dan Microsoft (MSFT ) tidak menjalankan all-flash, dan mereka memiliki lebih banyak pengalaman beban kerja kecerdasan buatan daripada siapa pun. Mereka mengirimkan arsitektur tier-mixed dengan tiering cerdas: cukup flash NVMe untuk mengenyangkan throughput GPU, lalu mengalir ke high-density HDD secepat fisika memungkinkan. Ini bukanlah preferensi filosofis. Ini adalah keharusan ekonomi yang didorong oleh pemahaman yang jelas tentang fisika beban kerja kecerdasan buatan.

Kedua, integrasi arsitektur. Hyperscalers tidak menyelesaikan tiering dengan menggabungkan sistem terpisah. Mereka menjalankan SSD dan HDD pada tumpukan perangkat lunak yang sama, pesawat data yang sama, dengan tiering sebagai operasi kelas pertama di dalam sistem penyimpanan, bukan pekerjaan batch yang dikelola oleh alat terpisah. Integrasi itu adalah yang memungkinkan mereka untuk menjaga penyimpanan ekonomis pada skala besar sambil mempertahankan jaminan kinerja yang GPU mereka butuhkan.

Ketiga, jaminan ketahanan. AWS S3 menyampaikan 11 nines ketahanan. Azure Blob menyampaikan 12 atau lebih. Arsitektur HPC warisan yang dibangun di atas RAID lokal dapat jatuh jauh di bawah itu pada skala tergantung pada tingkat kegagalan drive dan jendela pembangunan kembali, potensial ribuan file hilang per tahun di seluruh korpus miliaran file. Kode penghapusan jaringan modern dengan perlindungan multi-level dapat mendorong melampaui 11 nines. Jarak antara dua kenyataan itu adalah perbedaan antara sistem penyimpanan yang Anda bisa menjamin SLA dan yang tidak bisa.

Bagaimana tim infrastruktur seharusnya mengkuantifikasi dampak ekonomi ketersediaan penyimpanan pada armada GPU?

Matematika itu menakutkan ketika Anda menjalankannya dengan jujur. Kegagalan penyimpanan bersama tidak menghasilkan kekurangan SLA yang proporsional. Ini menghasilkan pelanggaran simultan di seluruh rak GPU yang terhubung ke penyimpanan itu. Klaster 5.000-GPU dengan ketersediaan penyimpanan 98 persen tidak menyampaikan kekurangan kinerja 2 persen. Ini menghasilkan 876.000 jam komputasi GPU yang hilang per tahun. Pada biaya per jam GPU yang representatif, itu diterjemahkan menjadi jutaan dolar dalam komputasi menganggur setiap tahun, plus kredit SLA yang berlaku untuk setiap rak yang terkena secara bersamaan.

Radius ledakan kegagalan penyimpanan di klaster besar adalah seluruh klaster. Tim infrastruktur perlu memodelkan ini secara eksplisit: apa biaya komputasi menganggur tahunan pada tingkat ketersediaan penyimpanan saat ini, apa kewajiban kredit SLA yang melekat pada setiap tingkat ketersediaan, dan apa risiko churn pelanggan dari kegagalan SLA? CoreWeave (CRWV ) dan Oracle (ORCL ) sudah menawarkan waktu aktif rak 99 persen. Penyedia yang tidak bisa menandingi itu kehilangan kesepakatan hari ini, dan kesepakatan yang mereka hilangkan adalah kontrak perusahaan bernilai tinggi yang pasar Neocloud butuhkan untuk membuktikan ekonomi jangka panjangnya.

Bagaimana arsitektur penyimpanan yang berbeda membandingkan kinerja per watt dalam lingkungan yang terbatas daya?

Ini muncul hampir di setiap percakapan infrastruktur serius sekarang, dan perbedaan itu tidak marginal. Ini adalah multiplicative. Berdasarkan spesifikasi yang dipublikasikan dan konfigurasi yang setara, menyampaikan sekitar 1.340 GB/s throughput baca, satu arsitektur membakar 55 kW sementara yang lain mencapai output yang sama sekitar 16 kW. Itu adalah perbedaan 3,4 kali lipat dalam kinerja per watt. Di pusat data di mana beban kerja kecerdasan buatan mengonsumsi 40 hingga 250 kilowatt per rak terhadap koneksi grid yang tetap, watt penyimpanan yang terbuang adalah GPU yang tidak dapat dikerahkan. Dokumentasi BlueField-4 NVIDIA sendiri menyatakan secara eksplisit bahwa ketersediaan daya adalah kendala utama untuk mengukur pabrik kecerdasan buatan.

Ada juga efek kedua yang operator jarang pertimbangkan. Beberapa arsitektur penyimpanan memerlukan 5 GB DRAM dan satu hingga empat inti CPU khusus yang dikunci secara permanen per node GPU hanya untuk mencapai kinerja penyimpanan puncak. Di seluruh klaster 500-node, itu adalah 2,5 TB DRAM dan hingga 2.000 inti CPU yang tidak tersedia untuk beban kerja kecerdasan buatan. Ketika Anda membayar $30.000 atau lebih per GPU, setiap inti yang dicuri dan setiap gigabyte yang dikunci adalah pajak langsung pada investasi komputasi yang seharusnya menjadi titik infrastruktur.

Bagaimana arsitektur penyimpanan secara langsung mempengaruhi daya saing SLA ketika jaminan waktu aktif mendekati 99 persen?

Penyimpanan adalah radius ledakan terbesar di setiap klaster GPU, yang membuatnya menjadi variabel paling penting dalam setiap komitmen SLA yang jujur. Sistem peringkat ClusterMAX 2.0 SemiAnalysis, yang menjadi benchmark yang berpengaruh dalam pengadaan Neocloud, membuat SLA menjadi faktor eksplisit dalam negosiasi harga. Penyedia tanpa SLA yang kompetitif kehilangan kesepakatan sekarang.

Dimensi ketahanan sama pentingnya dan kurang dibahas. Pelanggan perusahaan telah dikondisikan oleh AWS S3 dan Azure Blob untuk mengharapkan 11 hingga 12 nines ketahanan. Arsitektur HPC warisan yang dibangun di atas RAID lokal dapat jatuh di bawah 5 nines pada skala tergantung pada tingkat kegagalan drive dan jendela pembangunan kembali, potensial ribuan file hilang per tahun di seluruh korpus miliaran file. Kode penghapusan jaringan modern dengan perlindungan multi-level dapat mendorong melampaui 11 nines. Jarak antara dua kenyataan itu adalah perbedaan antara sistem penyimpanan yang Anda bisa menjamin SLA dan yang tidak bisa.

Kapasitas penyimpanan mana yang paling mungkin menentukan kelangsungan jangka panjang Neocloud melalui konsolidasi?

Operator yang akan bertahan adalah mereka yang telah menyelesaikan persamaan biaya total kepemilikan di seluruh tumpukan infrastruktur, bukan hanya persamaan pengadaan GPU. Ini berarti beberapa kemampuan spesifik.

Pertama, arsitektur yang ditentukan oleh perangkat lunak yang terintegrasi yang menjalankan flash dan disk pada pesawat data yang sama dengan tiering kinerja tinggi asli, tanpa penggerak data eksternal, tanpa tumpukan perangkat lunak kedua, tanpa kompleksitas operasional yang diperkenalkan oleh penggabungan sistem terpisah. Kedua, penyimpanan yang dapat menunggangi kurva biaya yang independen untuk flash dan disk karena pasar mereka bergerak secara independen dari satu sama lain, yang mereka lakukan. Ketiga, sistem yang dapat memulihkan diri yang mempertahankan ketersediaan tinggi tanpa administrator khusus yang melakukan pemulihan manual pada pukul 3 pagi. Kompleksitas operasional penyimpanan adalah biaya yang tidak terlihat yang berkembang pada skala. Keempat, ketahanan yang dapat dijamin dalam SLA terhadap benchmark hyperscaler.

Poin yang lebih luas adalah bahwa gelombang konsolidasi memisahkan infrastruktur yang dibangun untuk benchmark hari pertama dari infrastruktur yang dibangun untuk ekonomi tahun ketiga. Tarif sewa H100 telah turun lebih dari 60 persen dari puncak. Pasar tidak lagi menghargai akumulasi GPU. Ini menuntut bukti pengembalian investasi. Arsitektur penyimpanan adalah di mana bukti itu hidup, karena itu di mana tingkat utilisasi GPU, komitmen SLA, efisiensi daya, dan struktur biaya jangka panjang semua bersatu.

Apa pesan Anda kepada operator Neocloud yang mengevaluasi strategi penyimpanan mereka hari ini?

Jangan biarkan keputusan penyimpanan menjadi keputusan yang Anda buat secara default. Setiap bagian lain dari tumpukan infrastruktur mendapatkan pemeriksaan teknis dan keuangan yang ketat. Penyimpanan seharusnya tidak berbeda. Operator yang akan ada di sini dalam tiga tahun adalah mereka yang melihat keras pada biaya sebenarnya per jam GPU yang berguna, memahami postur ketersediaan sebenarnya, dan memastikan mereka diukur untuk beban kerja bukan untuk jalan pintas pengadaan.

Jendela untuk melakukan ini dengan benar menyempit. Konsolidasi sudah berlangsung, dan ekonominya tidak memaafkan. Tapi bagi operator yang mau memikirkan kembali lapisan penyimpanan dengan ketat seperti yang mereka terapkan pada pemilihan GPU, kesempatan itu signifikan. Penyimpanan yang dilakukan dengan benar tidak hanya mengurangi biaya. Ini membuka nilai penuh dari setiap GPU di rak.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut tentang tumpukan teknologi ini harus mengunjungi VDURA. Mereka juga dapat membaca wawancara sebelumnya kami dengan Ken Claffey.