Кен Клаффей, генеральный директор VDURA – Интервью: Возвращение в разговор

Кен Клаффей, генеральный директор и президент VDURA, является опытным лидером бизнеса и продукта, ориентированным на клиентов, с глубокими знаниями в области облачных и корпоративных инфраструктур, разработки аппаратного и программного обеспечения, а также стратегического роста в области продукта, операций и маркетинга. На протяжении своей карьеры он построил и возглавлял высокопроизводительные глобальные команды, реализовывал корпоративную стратегию, стимулировал прибыльный рост доходов и инновации в области продукта, и исправлял недоперформинг бизнеса. До того, как возглавить VDURA, Клаффей занимал руководящие должности в Seagate Technology (STX ), где он служил старшим вице-президентом и генеральным менеджером, курируя корпоративные системы и P&L, и ранее занимал руководящие позиции в Xyratex, Adaptec и Eurologic, имея десятилетний опыт в области корпоративного хранения и высокопроизводительных вычислений.

VDURA – это компания, специализирующаяся на программно-определенной инфраструктуре данных, которая разрабатывает современные решения для хранения, оптимизированные для искусственного интеллекта и высокопроизводительных вычислений, под девизом “скорость встречается с долговечностью”. Флагманская платформа VDURA Data Platform сочетает в себе производительность параллельной файловой системы на основе флэш-памяти с устойчивостью объектного хранения в единой архитектуре, которая масштабируется линейно на тысячи клиентов и узлов, упрощая операции и снижая общую стоимость владения. Основанная изначально как Panasas и ребрендированная в 2024 году, платформа VDURA поддерживает локальные, облачные и гибридные среды с помощью передовой автоматизации, ускорения метаданных и масштабируемой производительности, предназначенной для обеспечения бесперебойной работы кластеров GPU и защиты данных для корпоративных, исследовательских и критически важных случаев использования ИИ и ВП.

Как ваш опыт в области ВП и корпоративного хранения повлиял на ваше мнение о том, что хранение становится определяющим ограничением в инфраструктуре ИИ?

Построив системы хранения для некоторых из самых требовательных вычислительных сред в мире, вы развиваете интуицию о том, где на самом деле находятся узкие места, а не где люди предполагают, что они находятся. В Xyratex и через работу над ClusterStor в Seagate мы решали проблемы хранения для суперкомпьютеров, где физика была беспощадной. Вы либо обеспечивали вычисления, либо не обеспечивали.

То, что я вижу сейчас в инфраструктуре ИИ, – это то же фундаментальное ограничение, только в другой экономической оболочке. Фокус на GPU на рынке Neocloud был понятен. NVIDIA (NVDA ) создала дефицитный и трансформирующий ресурс. Но предположение, что хранение просто масштабируется вместе с ним, дешево и легко, всегда было обречено на провал. Оно провалилось. Хранение теперь занимает около 20-30% бюджета инфраструктуры ИИ в случае использования только флэш-памяти, растущей быстрее, чем любой другой компонент. Когда вы провели карьеру, наблюдая, как хранение становится ограничивающим фактором в каждой крупномасштабной вычислительной среде, вы перестаете удивляться, когда остальной рынок осознает эту реальность.

Почему планирование хранения было отложено во время захвата инфраструктуры Neocloud?

Несколько структурных предположений совпали в самый неподходящий момент. Во-первых, цены на флэш-память были временно благоприятными. NVMe SSD были доступны и достаточно дешевы, чтобы всефлэш-решение казалось разумным по умолчанию. Это было не архитектурная мудрость, а продукт краткосрочного экономического окна, которое операторы приняли за постоянное состояние.

Во-вторых, конкурентная динамика вознаграждала количество GPU выше всего остального. Рынок Neocloud оценивался по количеству чипов NVIDIA, которые можно было установить. Хранение было примерно 10-процентной статьей расходов, которую легко можно было пропустить без глубокого анализа. В-третьих, решение в пользу всефлэш-инфраструктуры казалось безопасным, поскольку оно исключало сложность. Один уровень, один тип носителя, простой в закупке и эксплуатации. Проблема заключалась в том, что “простой” и “экономически устойчивый” перестали быть одним и тем же, как только предложение NAND сузилось, а цены взлетели. К тому времени инфраструктурные решения уже были закреплены.

Что удивляет операторов больше всего, когда они видят, как хранение влияет на использование GPU?

Отношение более прямое, чем большинство операторов осознают, пока они не столкнутся с простаивающими GPU. Тренировочные запуски с частой проверкой создают всплески записи, которые могут остановить вычисления, если слой хранения не может их поглотить достаточно быстро. Пайплайны данных для предварительной обработки и инжеста создают устойчивые требования к пропускной способности чтения, которые, если не удовлетворены, лишают GPU работы.

Собственные рекомендации NVIDIA по DGX количественно определяют это: тренировка текстовых моделей LLM требует примерно 0,5 ГБ/с пропускной способности чтения на GPU, в то время как физические задачи ИИ и визуализации требуют примерно 4 ГБ/с чтения и 2 ГБ/с записи на GPU. Если ваша архитектура хранения не может обеспечить это, вы не работаете на полную мощность GPU. Вы работаете на той доле, которую позволяет хранение.

Архитектура имеет огромное значение в масштабе кластера. Система хранения, которая вставляет посредника между диском и клиентом, может показать сравнимую пропускную способность на одном диске, но в масштабе вы можете оказаться нуждающимися в три раза больше дисков, чтобы насытить тот же флот GPU. Три раза больше SSD, три раза больше энергии, три раза больше места в стойке. Математика использования компенсируется быстро.

Какие различия в стоимости могут возникнуть исключительно из-за выбора SSD и архитектурного дизайна, даже когда метрики пропускной способности кажутся похожими?

Это то место, где операторы попадают в серьезные неприятности, потому что заголовочные цифры могут быть действительно вводящими в заблуждение. Возьмем типичный пример. 122,88 ТБ QLC NVMe SSD стоит примерно 27 000 долларов. Диск на 7,68 ТБ из того же поколения обеспечивает сравнимую последовательную пропускную способность за примерно 1 800 долларов. Для кластера из 4 096 GPU на спецификации NVIDIA Enhanced это решение о выборе емкости производит счет за флэш в диапазоне от 600 000 до 9,6 миллионов долларов. Пропускная способность практически идентична. Единственная переменная – сколько холодных данных вы выбираете для размещения на премиальном носителе, который не обеспечивает дополнительной производительности.

Помимо этого, архитектурный дизайн определяет количество дисков в масштабе кластера. Архитектура, обеспечивающая примерно 5,8 ГБ/с измеренной пропускной способности чтения на SSD, требует около 353 дисков, чтобы насытить кластер из 4 096 GPU. Архитектура, обеспечивающая примерно 1,9 ГБ/с на SSD из-за накладных расходов посредника, требует более 1 000. При цене 12 000 долларов за 30 ТБ диск эта разница не является погрешностью – это вопрос бизнес-модели.

Как операторам следует пересмотреть всефлэш- и многоуровневое хранение, когда цены на флэш растут и предложение NAND остается ограниченным?

Начальная точка – принятие того, что экономическое обоснование всефлэш-инфраструктуры ИИ всегда было условным, а не фундаментальным. По словам генерального директора Phison, производственная мощность NAND фактически распределена до 2026 года. Goldman Sachs (GS ) прогнозирует рост цен на DRAM на двузначные проценты квартал за кварталом в течение того же периода. Всефлэш-решение по умолчанию имело смысл, когда флэш был дешевым и доступным. Теперь он не является таковым.

Правильная основа – задать вопрос, для чего на самом деле предназначен флэш. Флэш – это носитель производительности. Он должен быть размером, чтобы насытить требования пропускной способности GPU, не более. Все остальное, включая холодные данные, контрольные точки, которые не активно читаются, и архивные обучающие наборы, принадлежит на высокоплотные жесткие диски, которые остаются на порядки дешевле на терабайт.

Ловушка, в которую попадают операторы, заключается в том, что они рассматривают многоуровневое хранение как дополнительную функцию: покупают всефлэш-первичный уровень, добавляют отдельный объектный магазин для холодных данных и подключают их с помощью внешних инструментов перемещения данных. Это вводит второй программный стек, второй план данных, сложность сетей и операционную нагрузку. Подход гипермасштаберов, работающий с SSD и HDD в рамках одного и того же программного стека с родным высокопроизводительным многоуровневым хранением и без внешних инструментов перемещения данных, сохраняет хранение ближе к 10% бюджета инфраструктуры, одновременно насыщая каждый GPU.

Какие уроки может извлечь Neocloud из выборов дизайна хранения гипермасштаберов?

Самый важный урок заключается в том, что Google (GOOGL ), Meta и Microsoft (MSFT ) не используют всефлэш, и у них больше опыта в области рабочих нагрузок ИИ, чем у кого-либо. Они развертывают многоуровневые архитектуры с интеллектуальным многоуровневым хранением: достаточно флэш-памяти NVMe, чтобы насытить пропускную способность GPU, затем слив на высокоплотные жесткие диски так быстро, как позволяет физика. Это не философская предпочтение. Это экономическая необходимость, обусловленная ясным пониманием физики рабочих нагрузок ИИ.

Второй урок – архитектурная интеграция. Гипермасштаберы не решают многоуровневое хранение, прикрепляя отдельные системы. Они работают с SSD и HDD на одном и том же программном стеке, одном плане данных, с многоуровневым хранением как первоклассной операцией внутри системы хранения, а не как пакетной задачей, управляемой отдельным инструментом. Эта интеграция позволяет им сохранять экономичность хранения на огромном масштабе, одновременно сохраняя гарантии производительности, необходимые для их флотов GPU.

Как операторам следует количественно оценить экономическое влияние доступности хранения на флоты GPU?

Математика трезва, когда вы ее честно проводите. Сбой общего хранения не производит пропорциональный дефект SLA. Он производит одновременный нарушение на каждом стойке GPU, подключенном к этому хранению. Кластер из 5 000 GPU с доступностью хранения 98% не обеспечивает пропускную способность, на 2% ниже. Он производит 876 000 часов простаивающих вычислений в год. При представительных затратах на час GPU это переводится в миллионы долларов простаивающих вычислений ежегодно, плюс кредиты SLA, начисляемые на каждый пострадавший стойку одновременно.

Как разные архитектуры хранения сравниваются по производительности на ватт в средах с ограниченной мощностью?

Это возникает почти в каждом серьезном разговоре об инфраструктуре сейчас, и дифференциал не является незначительным. Он является умножительным. Основываясь на опубликованных спецификациях и сравнимых конфигурациях, обеспечивающих примерно 1 340 ГБ/с пропускной способности чтения, одна архитектура потребляет 55 кВт, в то время как другая достигает подобного выхода при примерно 16 кВт. Это разница в 3,4 раза в производительности на ватт. В центре данных, где рабочие нагрузки ИИ потребляют 40-250 кВт на стойку против фиксированного сетевого подключения, расточительные ватты хранения – это GPU, которые вы не можете развернуть. Собственная документация NVIDIA BlueField-4 явно заявляет, что доступность мощности является основным ограничением для масштабирования фабрик ИИ.

(CRWV ) (ORCL )

Как архитектура хранения напрямую влияет на конкурентоспособность SLA, когда гарантии доступности подходят к 99%?

Хранение – это самый большой радиус взрыва в любом кластере GPU, что делает его самой важной переменной в любой честной приверженности SLA. Система рейтинга SemiAnalysis ClusterMAX 2.0, которая становится влиятельной базой для закупок Neocloud, делает SLA явным фактором в переговорах о ценах. Поставщики без конкурентоспособных SLA уже теряют сделки.

Какие возможности хранения наиболее вероятно определят долгосрочную выживаемость Neocloud через консолидацию?

Операторы, которые выживут, – это те, кто решил уравнение общей стоимости владения в рамках всего стека инфраструктуры, а не только уравнение закупки GPU. Это означает несколько конкретных возможностей.

Во-первых, унифицированная программно-определенная архитектура, которая работает с флэш-памятью и диском на одном и том же плане данных с родным высокопроизводительным многоуровневым хранением, без внешних инструментов перемещения данных, без второго программного стека, без операционной сложности, введенной путем прикрепления отдельных систем. Во-вторых, хранение, которое может ездить на независимых кривых затрат для флэш-памяти и диска, поскольку эти рынки движутся независимо друг от друга, что они будут. В-третьих, самоисцеляющиеся системы, которые поддерживают высокую доступность без специализированных администраторов, выполняющих ручное восстановление в 3 часа ночи. Операционно сложное хранение – это невидимая стоимость, которая компенсируется в масштабе. В-четвертых, долговечность, которая может быть достоверно подтверждена в SLA против гипермасштабных эталонов.

Какое сообщение вы хотели бы передать операторам Neocloud, оценивающим свою стратегию хранения сегодня?

Не позволяйте решению о хранении быть тем, которое вы приняли по умолчанию. Каждая другая часть стека инфраструктуры получает тщательную инженерную и финансовую проверку. Хранение не должно быть исключением. Операторы, которые будут здесь через три года, – это те, кто внимательно посмотрел на свою реальную стоимость каждого часа GPU полезных вычислений, понял свою реальную позицию по доступности и убедился, что они были размером для рабочей нагрузки, а не для лазейки в закупке.

Окно, чтобы все сделать правильно, сужается. Консолидация уже началась, и экономика беспощадна. Но для операторов, которые готовы пересмотреть слой хранения с той же строгостью, которую они применили к выбору GPU, возможность значительна. Хранение, сделанное правильно, не только снижает стоимость. Оно открывает полную стоимость каждого GPU в стойке.

Спасибо за отличное интервью. Читателям, которые хотят узнать больше об этом стеке технологий, следует посетить VDURA. Они также могут прочитать наше предыдущее интервью с Кеном Клаффеем.