Ken Claffey, CEO VDURA – Wywiad z serii: Powrót do rozmowy

Ken Claffey, CEO i prezes VDURA, to doświadczony lider biznesowy i produktowy z głęboką wiedzą na temat chmury i infrastruktury przedsiębiorstw, rozwoju oprogramowania i sprzętu, oraz strategicznego wzrostu w zakresie produktu, operacji i funkcji marketingowych. W trakcie swojej kariery zbudował i prowadził wysokowydajne zespoły globalne, realizował strategię korporacyjną, napędzał zyskowny wzrost przychodu i innowacje produktowe, oraz odwracał sytuację w podlegających mu firmach. Przed objęciem stanowiska w VDURA, Claffey pełnił stanowiska kierownicze w Seagate Technology (STX ), gdzie był wiceprezesem i dyrektorem generalnym odpowiedzialnym za systemy przedsiębiorstw i P&L, a wcześniej zajmował stanowiska kierownicze w Xyratex, Adaptec i Eurologic, co dało mu dziesiątki lat doświadczenia w zakresie magazynowania danych i obliczeń o wysokiej wydajności.

VDURA to firma zajmująca się oprogramowaniem zdefiniowanym przez dane, która buduje nowoczesne rozwiązania magazynowania optymalizowane dla sztucznej inteligencji i obliczeń o wysokiej wydajności pod hasłem „szybkość spotyka się z trwałością”. Flagowy produkt VDURA, platforma VDURA Data Platform, łączy wydajność systemu plików równoległych z wytrzymałością magazynowania obiektów w zjednoczonej architekturze, która skaluje się liniowo na tysiące klientów i węzłów, jednocześnie upraszczając operacje i obniżając całkowity koszt posiadania. Założona pierwotnie jako Panasas i przemianowana w 2024 roku, platforma VDURA obsługuje środowiska lokalne, chmurowe i hybrydowe z zaawansowaną automatyzacją, przyspieszeniem metadanych i skalowalną wydajnością, zaprojektowaną w celu utrzymania klastrów GPU i ochrony danych dla przypadków użycia przedsiębiorstw, badań i misji krytycznych AI i HPC.

Jak Twoja podróż przez HPC i magazynowanie przedsiębiorstw ukształtowała Twoje przekonanie, że magazynowanie staje się ograniczeniem definiującym w infrastrukturze AI?

Budując systemy magazynowania dla niektórych z najbardziej wymagających środowisk obliczeniowych, rozwijasz intuicję dotyczącą tego, gdzie tak naprawdę znajdują się wąskie gardła, a nie tam, gdzie ludzie zakładają, że się znajdują. W Xyratex i za pomocą ClusterStor w Seagate rozwiązywaliśmy problemy z magazynowaniem dla superkomputerów, gdzie fizyka była bezwzględna. Albo karmiliśmy obliczenia, albo nie.

To, co widzę teraz w infrastrukturze AI, to takie same podstawowe ograniczenie, tylko ubrane w różne ekonomiczne realia. Obsesja na punkcie GPU na rynku Neocloud była zrozumiała. NVIDIA (NVDA ) stworzył rzadki i przełomowy zasób. Ale założenie, że magazynowanie będzie rosło wraz z nim, tanio i łatwo, zawsze miało się nie powieść. Nie powiodło się. Magazynowanie jest teraz ukierunkowane na 20 do 30 procent budżetów infrastruktury AI we wszystkich wdrożeniach all-flash, rośnie szybciej niż jakikolwiek inny komponent. Kiedy spędziłeś karierę, obserwując, jak magazynowanie staje się wiążącym ograniczeniem w każdym dużym środowisku obliczeniowym, przestajesz być zaskoczony, gdy reszta rynku dochodzi do tego samego wniosku.

Dlaczego planowanie magazynowania zostało zdeprioretyzowane podczas Neocloud infrastruktury?

Kilka strukturalnych założeń zbiegło się w dokładnie złym momencie. Po pierwsze, ceny pamięci flash były tymczasowo korzystne. Dyski SSD NVMe były tanie i wystarczająco dostępne, aby all-flash wydawał się rozsądnym domyślnym ustawieniem. Nie było to mądrość architektoniczna. Był to produkt krótkiego okna ekonomicznego, które operatorzy mylili z trwałym stanem.

Druga, dynamiczna konkurencja nagradzała liczbę GPU ponad wszystko inne. Rynek Neocloud był oceniany pod kątem ilości układów NVIDIA, które można było umieścić w szafie. Magazynowanie stanowiło około 10-procentowy punkt w linii, łatwy do przepuszczenia przez zakup bez głębokiej kontroli. Trzecia, decyzja o all-flash wydawała się bezpieczna, ponieważ eliminowała złożoność. Jeden poziom, jeden typ nośnika, prosty w zakupie i obsłudze. Problem polega na tym, że „prosty” i „ekonomicznie uzasadniony” przestały być tym samym, gdy NAND zaopatrzenie zostało ograniczone, a ceny wzrosły. W tym momencie decyzje infrastrukturalne były już zablokowane.

Co najbardziej zaskakuje operatorów, gdy widzą, jak magazynowanie wpływa na wykorzystanie ich GPU?

Stosunek jest bardziej bezpośredni, niż większość operatorów sobie uświadamia, aż do momentu, gdy patrzą na bezczynne GPU. Treningi z częstym punktem kontrolnym tworzą piki wymagań zapisu, które mogą zablokować obliczenia, jeśli warstwa magazynowania nie może ich wchłonąć wystarczająco szybko. Potoki danych do przetwarzania i pobierania tworzą wymagania dotyczące przepływności odczytu, które, jeśli nie są spełnione, pozbawiają GPU pracy.

Wskazówki NVIDIA dotyczące DGX ilustrują to: trening oparty na tekście LLM wymaga około 0,5 GB/s przepływności odczytu na GPU, podczas gdy fizyczne obciążenia AI i wizualizacja wymagają około 4 GB/s odczytu i 2 GB/s zapisu na GPU. Jeśli twoja architektura magazynowania nie może dostarczyć tego, nie uruchamiasz swoich GPU z pełną wydajnością. Uruchamiasz je z takim współczynnikiem, jaki pozwala na twoje magazynowanie.

Architektura ma ogromne znaczenie w skali klastra. System magazynowania, który umieszcza pośrednika między dyskiem a klientem, może wykazywać porównywalną przepływność nagłówka na pojedynczym dysku, ale w skali możesz potrzebować trzykrotnie więcej dysków, aby nasycić tę samą flotę GPU. Trzykrotnie więcej SSD, trzykrotnie więcej mocy, trzykrotnie więcej miejsca w szafie. Matematyka wykorzystania skompensowana jest szybko.

Jakie różnice kosztowe mogą wyniknąć wyłącznie z wyboru SSD i projektu architektonicznego, nawet gdy metryki przepływności nagłówka wydają się podobne?

To jest miejsce, w którym operatorzy wpadają w poważne kłopoty, ponieważ nagłówkowe liczby mogą być naprawdę mylące. Weźmy reprezentatywny przykład. Dysk QLC NVMe o pojemności 122,88 TB kosztuje około 27 000 dolarów. Dysk o pojemności 7,68 TB z tej samej generacji dostarcza porównywalną sekwencyjną przepływność za około 1800 dolarów. Dla klastra 4096-GPU na specyfikacji NVIDIA Enhanced ta sama decyzja dotycząca pojemności dysku produkuje rachunek za flash w zakresie od 600 000 do 9,6 miliona dolarów. Przepływność jest skutecznie identyczna. Jedyną zmienną jest to, ile danych chłodnych postanawiasz parkować na premium nośniku, który nie zapewnia żadnych dodatkowych korzyści wydajności.

Na dodatek projekt architektoniczny decyduje o liczbie dysków w skali klastra. Architektura dostarczająca około 5,8 GB/s zmierzonej przepływności odczytu na dysk SSD potrzebuje około 353 dysków, aby nasycić klaster 4096-GPU. Architektura dostarczająca około 1,9 GB/s na dysk SSD, ze względu na nakład pośrednika, potrzebuje ponad 1000. Przy cenie 12 000 dolarów za dysk 30 TB ta różnica nie jest błędem zaokrąglania – to pytanie biznesowe.

Jak operatorzy powinni przemyśleć all-flash wobec magazynowania warstwowego, gdy ceny flash rosną, a zaopatrzenie w NAND pozostaje ograniczone?

Punkt wyjścia to zaakceptowanie faktu, że ekonomiczne założenie za infrastrukturą AI all-flash było zawsze warunkowe, a nie podstawowe. Prezes Phison opisał zdolność produkcyjną NAND jako efektywnie zaalokowaną do 2026 roku. Goldman Sachs (GS ) prognozuje, że ceny DRAM wzrosną o dwie cyfry od kwartału do kwartału w tym samym okresie. Domyślne ustawienie all-flash miało sens, gdy flash był tani i obfity. Nie jest już.

Prawidłowa ramka to pytanie, do czego tak naprawdę służy flash. Flash jest nośnikiem wydajności. Powinien być rozmiarem, który nasyci wymagania przepływności GPU, nie więcej. Wszystko inne, w tym dane chłodne, punkty kontrolne, które nie są aktywnie odczytywane, oraz zestawy szkoleniowe archiwum, należą na wysokogęstościowych dyskach twardych, które pozostają znacznie tańsze za terabajt.

Pułapka, w którą wpadają operatorzy, polega na traktowaniu warstwowania jako nakładki: kup nośnik all-flash jako warstwę podstawową, dodaj oddzielne repozytorium obiektów dla danych chłodnych i połącz je zewnętrznymi przenośnikami danych. To wprowadza dodatkowy stos oprogramowania, dodatkową płaszczyznę danych, złożoność sieciową i nakład operacyjny. Podchodzenie do hiperskali, uruchamiające SSD i HDD w tym samym stosie oprogramowania z natywnym warstwowaniem o wysokiej wydajności i bez zewnętrznych przenośników danych, utrzymuje magazynowanie bliżej 10 procent budżetu infrastruktury, jednocześnie nasycając każdy GPU.

Jakie lekcje może Neocloud wyciągnąć z wyborów projektowych magazynowania hiperskali?

Najważniejsza lekcja polega na tym, że Google (GOOGL ), Meta i Microsoft (MSFT ) nie używają all-flash, a mają więcej doświadczenia z obciążeniami AI niż ktokolwiek inny. Wdrożenie architektur warstwowych z inteligentnym warstwowaniem: wystarczająco NVMe flash, aby nasycić przepływność GPU, a następnie odprowadzenie do wysokogęstościowych dysków twardych tak szybko, jak na to pozwala fizyka. To nie jest filozoficzna preferencja. To jest ekonomiczny imperatyw napędzany przez wyraźne zrozumienie fizyki obciążeń AI.

Druga lekcja to integracja architektoniczna. Hiperskali nie rozwiązują warstwowania, łącząc oddzielne systemy. Uruchamiają SSD i HDD na tym samym stosie oprogramowania, tej samej płaszczyzny danych, z warstwowaniem jako operacją pierwszego rzędu w systemie magazynowania, a nie jako zadaniem wsadowym zarządzanym przez oddzielne narzędzie. To integracja pozwala im utrzymać magazynowanie ekonomicznie w ogromnej skali, jednocześnie zapewniając gwarancje wydajności, których wymagają ich floty GPU.

Jak zespoły infrastruktury powinny określić wpływ ekonomiczny dostępności magazynowania na floty GPU?

Matematyka jest przytłaczająca, gdy ją uczciwie wykonasz. Współdzielone awarie magazynowania nie powodują proporcjonalnego naruszenia SLA. Powodują jednoczesne naruszenie w każdym szafie GPU połączonym z tym magazynowaniem. Klaster 5000-GPU z dostępnością magazynowania na poziomie 98 procent nie dostarcza 2-procentowego niedoboru wydajności. Produkuje 876 000 godzin GPU bezczynności rocznie. Przy reprezentatywnych kosztach godziny GPU przekłada się to na miliony dolarów bezczynności rocznie, plus kredyty SLA należne za każdy szaf dotknięty awarią.

Jak różne architektury magazynowania porównują się pod względem wydajności na wat w środowiskach ograniczonych pod względem mocy?

Występuje to w niemal każdej poważnej rozmowie infrastrukturalnej i różnica nie jest marginalna. Jest to mnożona. Na podstawie opublikowanych specyfikacji i porównywalnych konfiguracji, dostarczających około 1340 GB/s przepływności odczytu, jedna architektura spala 55 kW, podczas gdy inna osiąga podobny wynik przy około 16 kW. To jest 3,4-krotna różnica w wydajności na wat. W centrum danych, w którym obciążenia AI zużywają 40 do 250 kilowatów na szafę wobec stałego połączenia z siecią, zmarnowane waty magazynowania to GPU, których nie można wdrożyć. Własna dokumentacja BlueField-4 NVIDIA stanowi wyraźnie, że dostępność mocy jest głównym ograniczeniem dla skalowania fabryk AI.

(CRWV ) (ORCL )

Jak architektura magazynowania wpływa bezpośrednio na konkurencyjność SLA, gdy gwarancje dostępności zbliżają się do 99 procent?

Magazynowanie jest największym promieniem wybuchu w każdym klastrze GPU, co czyni je najważniejszą zmienną w każdym uczciwym zobowiązaniu SLA. System oceniania SemiAnalysis ClusterMAX 2.0, który staje się wpływową benchmarkiem w zakupach Neocloud, czyni SLA jawnym czynnikiem w negocjacjach dotyczących cen. Dostawcy bez konkurencyjnych SLA tracą kontrakty.

Które możliwości magazynowania są najbardziej prawdopodobne, aby określić długoterminowe przetrwanie Neocloud poprzez konsolidację?

Operatorzy, którzy przetrwają, będą tymi, którzy rozwiązali równanie całkowitego kosztu posiadania w całym stosie infrastrukturalnym, a nie tylko w równaniu zakupu GPU. Oznacza to kilka konkretnych możliwości.

Po pierwsze, zjednoczona architektura oprogramowania zdefiniowanego, która uruchamia flash i dysk na jednej płaszczyźnie danych z natywnym warstwowaniem o wysokiej wydajności, bez zewnętrznych przenośników danych, bez drugiego stosu oprogramowania, bez złożoności operacyjnej wprowadzanej przez łączenie oddzielnych systemów. Po drugie, magazynowanie, które może jeździć na niezależnych krzywych kosztów dla flash i dysku, gdy te rynki poruszają się niezależnie od siebie. Po trzecie, samonaprawiające się systemy, które utrzymują wysoką dostępność bez specjalistycznych administratorów wykonujących ręczne odzyskiwanie o 3 nad ranem. Złożona operacyjnie magazynowanie jest niewidocznym kosztem, który skompensowany jest w skali. Po czwarte, trwałość, która może być wiarygodnie zagwarantowana w SLA wobec benchmarków hiperskali.

Jaka jest Twoja wiadomość do operatorów Neocloud oceniających swoją strategię magazynowania dzisiaj?

Nie pozwalaj, aby decyzja o magazynowaniu była tą, którą podjąłeś domyślnie. Każda inna część stosu infrastrukturalnego podlega rygorystycznemu inżynierii i kontroli finansowej. Magazynowanie powinno być inne. Operatorzy, którzy będą tu za trzy lata, są tymi, którzy przyjrzeli się uważnie swojemu prawdziwemu kosztowi za godzinę GPU przydatnych obliczeń, zrozumieli swoją rzeczywistą postawę dostępności i upewnili się, że są rozmiarem dostosowanym do obciążenia, a nie do skrótu zakupowego.

Okno na to, aby to zrobić, zamyka się. Konsolidacja już się rozpoczęła, a ekonomia jest bezwzględna. Ale dla operatorów, którzy są gotowi przemyśleć warstwę magazynowania z takim samym rygorem, jakiego użyli do wyboru GPU, okazja jest znacząca. Magazynowanie zrobione dobrze nie tylko redukuje koszty. Odblokowuje pełną wartość każdego GPU w szafie.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej o tym stosie technologicznym, powinni odwiedzić VDURA. Mogą również przeczytać nasz poprzedni wywiad z Kenem Claffeyem.