Кен Клаффей, генеральний директор VDURA – Інтерв’ю: Повернення до розмови

Кен Клаффей, генеральний директор і президент VDURA, – досвідчений лідер бізнесу та продукту, орієнтований на клієнта, з глибокими знаннями у сфері хмарних та корпоративних інфраструктур, розробки апаратного та програмного забезпечення, а також стратегічного зростання продукції, операцій та маркетингу. На протяженні своєї кар’єри він будував та очолював високопродуктивні глобальні команди, виконував корпоративну стратегію, забезпечував прибуткове зростання доходів та інновацій продукції, а також повертав компанії, які працювали зі збитками. До того, як очолити VDURA, Клаффей обіймав керівні посади в Seagate Technology (STX ), де він працював старшим віце-президентом та генеральним менеджером, відповідальним за корпоративні системи та P&L, а також займав керівні посади в Xyratex, Adaptec та Eurologic, маючи десятирічний досвід у сфері корпоративного зберігання даних та високопродуктивного обчислювання.

VDURA – це компанія, що спеціалізується на розробці програмно-інженерних рішень для зберігання даних, створюючи сучасні рішення для зберігання даних, оптимізовані для штучного інтелекту та високопродуктивного обчислювання під гаслом “швидкість зустрічає надійність”. Флагманська платформа VDURA Data Platform поєднує в собі швидкість паралельної файлової системи з надійністю об’єктного зберігання у єдиній архітектурі, яка лінійно масштабується на тисячах клієнтів та вузлів, спрощуючи операції та знижуючи загальні витрати на володіння. Заснована спочатку як Panasas та ребрендирована у 2024 році, платформа VDURA підтримує локальні, хмарні та гібридні середовища з передовою автоматизацією, прискоренням метаданих та масштабованими можливостями, призначеними для підтримки кластерів GPU та захисту даних для корпоративного, дослідницького та критично важливого застосування штучного інтелекту та високопродуктивного обчислювання.

Як ваша кар’єра у сфері високопродуктивного обчислювання та корпоративного зберігання даних сформувала вашу думку про те, що зберігання даних стає визначальною перешкодою в інфраструктурі штучного інтелекту?

Відбудувавши системи зберігання даних для деяких з найбільш вимогливих обчислювальних середовищ світу, ви розвиваєте інтуїцію щодо того, де насправді розташовані вузькі місця, а не там, де люди думають, що вони розташовані. У Xyratex та під час роботи над ClusterStor у Seagate ми вирішували проблеми зберігання даних для суперкомп’ютерів, де фізика була безжалісною. Ви або годували обчислення, або ні.

Тепер у сфері інфраструктури штучного інтелекту я бачу ту саму фундаментальну перешкоду, тільки в іншій економічній оболонці. Захоплення GPU на ринку Neocloud було зрозумілим. NVIDIA (NVDA ) створила дефіцитну та трансформаційну ресурс. Але припущення, що зберігання даних просто масштабуватиметься поряд з цим, дешево та легко, завжди було помилковим. Воно вже зруйнувалося. Зберігання даних тепер складає 20-30% бюджету інфраструктури штучного інтелекту у всіх флеш-розгорнутях, зростаючи швидше, ніж будь-який інший компонент. Коли ви провели кар’єру, спостерігаючи, як зберігання даних стає визначальною перешкодою в кожному великомасштабному обчислювальному середовищі, ви перестаєте дивуватися, коли решта ринку наздоганяє цю реальність.

Чому планування зберігання даних було відкладено під час захоплення інфраструктури Neocloud?

Кілька структурних припущень збіглися в самий невідповідний момент. По-перше, ціни на флеш-накопичувачі були тимчасово сприятливими. NVMe SSD були достатньо дешевими та доступними, щоб відчувати себе комфортно з усіма флеш-накопичувачами. Це не була архітектурна мудрість. Це було продуктом короткочасного економічного вікна, яке оператори прийняли за постійну умову.

По-друге, конкурентна динаміка винагороджувала кількість GPU вище всього іншого. Ринок Neocloud оцінювався за кількістю чипів NVIDIA, які можна було розмістити на стійці. Зберігання даних було приблизно 10% позицією, легко проходило через процедуру закупівель без глибокого аналізу. По-третє, рішення про всі флеш-накопичувачі відчувалося безпечним, оскільки воно усувало складність. Одне рівняння, один тип носія, просте у закупівлі та експлуатації. Проблема полягає в тому, що “простота” та “економічна стійкість” перестали бути однією й тією ж речією, коли пропозиція NAND звузилася та ціни зросли. До того часу інфраструктурні рішення вже були закріплені.

Яке найбільше здивування операторів, коли вони бачать, як зберігання даних впливає на використання GPU?

Відношення більш пряме, ніж більшість операторів розуміють, поки вони не дивляться на=idle GPU. Тренувальні запуски з частим чекпойнтингом створюють сплескові вимоги запису, які можуть зупинити обчислення, якщо шар зберігання даних не може поглинути їх досить швидко. Дані трубопроводи для попередньої обробки та інгестії створюють вимоги про тривалу пропускну здатність читання, які, якщо не виконуються, позбавляють GPU роботи.

Власна документація NVIDIA щодо DGX кваліфікує це: текстові тренування LLM вимагають приблизно 0,5 ГБ/с пропускної здатності читання на GPU, тоді як фізичні завдання штучного інтелекту та візуалізації вимагають приблизно 4 ГБ/с читання та 2 ГБ/с запису на GPU. Якщо ваша архітектура зберігання даних не може забезпечити це, ви не працюєте на повну потужність GPU. Ви працюєте на тієї частці, яку дозволяє ваше зберігання даних.

Архітектура має величезне значення у масштабі кластера. Система зберігання даних, яка впроваджує посередника між приводом та клієнтом, може показувати порівнянну пропускну здатність на одному приводі, але в масштабі ви можете отримати необхідність у три рази більше приводів, щоб насичувати той самий флот GPU. Три рази більше SSD, три рази більше потужності, три рази більше місця у стійці. Математика використання швидко зростає.

Які вартісні відмінності можуть виникнути лише через вибір SSD та архітектурний дизайн, навіть якщо загальні показники пропускної здатності здаються подібними?

Це місце, де оператори потрапляють у серйозні проблеми, оскільки загальні показники можуть бути справді оманливими. Візьміть представницький приклад. 122,88 ТБ QLC NVMe SSD коштує приблизно 27 000 доларів. 7,68 ТБ привід того ж покоління забезпечує порівнянну послідовну пропускну здатність за приблизно 1 800 доларів. Для кластера з 4 096 GPU на спрощеному стандарті NVIDIA це одне рішення щодо вибору ємності виробляє рахунок за флеш-накопичувачі від 600 000 до 9,6 мільйонів доларів. Пропускна здатність є ефективно ідентичною. Єдина змінна – це те, скільки холодних даних ви обираєте для паркування на преміум-носії, який не забезпечує жодної додаткової переваги з точки зору продуктивності.

Як оператори повинні переосмислити все-флеш-накопичувач проти розшарованого зберігання даних, коли ціни на флеш-накопичувачі зростають та пропозиція NAND залишається обмеженою?

Початковою точкою є те, що економічна передумова за інфраструктурою штучного інтелекту, повністю заснованою на флеш-накопичувачах, завжди була умовною, а не фундаментальною. Ціни на флеш-накопичувачі тимчасово були сприятливими. NVMe SSD були достатньо дешевими та доступними, щоб відчувати себе комфортно з усіма флеш-накопичувачами. Це не була архітектурна мудрість. Це було продуктом короткочасного економічного вікна, яке оператори прийняли за постійну умову.

Правильна основа – запитати, для чого насправді потрібен флеш-накопичувач. Флеш-накопичувач – це середовище виконання. Воно повинно бути розмічено для забезпечення пропускної здатності GPU, нічого більше. Все інше, включаючи холодні дані, чекпойнти, які не активно читаються, та архівовані навчальні набори, належить на високошвидкісний диск, який залишається на порядок дешевшим за терабайт.

Які уроки оператори Neocloud можуть вивчити з вибору зберігання даних у гіпerscalers?

Найважливішим уроком є те, що Google (GOOGL ), Meta та Microsoft (MSFT ) не використовують усе-флеш-накопичувач, і вони мають більше досвіду у сфері завантаження штучного інтелекту, ніж будь-хто інший. Вони розгортають архітектури з розшаровуванням з достатнім NVMe-флеш-накопичувачем для забезпечення пропускної здатності GPU, а потім швидко скидають на високошвидкісні диски, як тільки це фізично можливо. Це не філософська перевага. Це економічна необхідність, яка викликана чітким розумінням фізики завантаження штучного інтелекту.

Як оператори інфраструктури повинні кількісно оцінити економічний вплив доступності зберігання даних на флоти GPU?

Математика є стримуючою, коли ви проводите її чесно. Перебої у спільному зберіганні даних не призводять до пропорційного порушення SLA. Вони призводять до одночасного порушення у всіх GPU-стійках, підключених до цього зберігання даних. Кластер з 5 000 GPU з доступністю зберігання даних на рівні 98% не забезпечує пропускну здатність на 2% нижче. Він забезпечує 876 000 годин втраченої обчислювальної потужності на рік. За представницькими витратами на годину GPU це перекладується на мільйони доларів втраченої обчислювальної потужності щорічно, плюс кредити SLA, що надаються на кожну постраждалу стійку одночасно.

Які можливості зберігання даних найбільш імовірно визначать довгострокове виживання Neocloud через консолідацію?

Оператори, які виживуть, будуть тими, хто вирішить рівняння загальної вартості володіння усьому стеку інфраструктури, а не тільки рівняння закупівлі GPU. Це означає кілька конкретних можливостей.

По-перше, єдина програмно-інженерна архітектура, яка працює з флеш-накопичувачем та диском на одному рівні даних з вбудованим високопродуктивним розшаровуванням, без зовнішніх засобів переміщення даних, без другого програмного стеку, без операційної складності, введеної шляхом болтового з’єднання окремих систем. По-друге, зберігання даних, яке може рухатися незалежними кривими витрат для флеш-накопичувача та диска, оскільки ці ринки рухаються незалежно один від одного, що вони будуть. По-третє, самозахисні системи, які підтримують високу доступність без спеціалізованих адміністраторів, які виконують ручне відновлення о 3 годині ночі. Операційна складність зберігання даних – це невидима вартість, яка зростає у масштабі. По-четверте, надійність, яку можна чесно підтримати в SLA проти бенчмарків гіпerscalers.

Яке ваше повідомлення операторам Neocloud, які оцінюють свою стратегію зберігання даних сьогодні?

Не дозволяйте рішенню щодо зберігання даних бути тим, яке ви прийняли за замовчуванням. Кожна інша частина стека інфраструктури отримує суворе інженерне та фінансове дослідження. Зберігання даних повинно бути не інакше. Оператори, які будуть тут через три роки, будуть тими, хто зробив глибокий огляд своєї справжньої вартості за годину корисної обчислювальної потужності, зрозуміли свій справжній пост у сфері доступності та забезпечили, щоб вони були розмічені для робочого навантаження, а не для закупівельної короткозорості.

(CRWV ) (ORCL )

Вікно для цього скорочується. Консолідація вже відбувається, а економіка є безжалісною. Але для операторів, які готові переосмислити шар зберігання даних з тією ж суворістю, яку вони застосували до вибору GPU, можливість є суттєвою. Зберігання даних, зроблене правильно, не тільки знижує вартість. Воно розблокує повну вартість кожного GPU у стійці.

Дякую за велике інтерв’ю. Читачам, які бажають дізнатися більше про цей стек технологій, рекомендуємо відвідати VDURA. Вони також можуть прочитати наше попереднє інтерв’ю з Кеном Клаффеєм.