Ken Claffey, CEO al VDURA – Seria de interviuri: O conversație de revenire

Ken Claffey, CEO și președinte la VDURA, este un lider de afaceri și produse cu experiență în cloud și infrastructură de întreprindere, dezvoltare de hardware și software, precum și în conducerea creșterii strategice pe produse, operațiuni și funcții de marketing. De-a lungul carierei sale, el a construit și condus echipe globale de înaltă performanță, a executat strategia corporativă, a condus creșterea profitabilă a veniturilor și a inovației de produse și a transformat afaceri subperformante. Înainte de a prelua conducerea VDURA, Claffey a deținut roluri de conducere senior la Seagate Technology (STX ), unde a servit ca SVP și director general, supervizând sistemele de întreprindere și P&L, și a avut poziții de conducere anterioare la Xyratex, Adaptec și Eurologic, aducând decenii de experiență în stocarea de întreprindere și calculul de înaltă performanță.

VDURA este o companie de infrastructură de date definite prin software, care construiește soluții de stocare moderne, optimizate pentru încărcături de lucru de inteligență artificială și calcul de înaltă performanță, sub deviza “viteză întâlnesc durabilitate”. Platforma de date VDURA a companiei combină performanța sistemului de fișiere paralele cu rezistența stocării de obiecte într-o arhitectură unificată care se extinde liniar pe mii de clienți și noduri, simplificând operațiunile și reducând costul total de proprietate. Fondată inițial sub numele de Panasas și rebrenduită în 2024, platforma VDURA susține medii on-premise, cloud și hibride, cu automatizare avansată, accelerare de metadate și performanță scalabilă, proiectată pentru a menține clusterelor de GPU alimentate și protejate datele pentru cazuri de utilizare ale întreprinderilor, cercetării și misiunii critice AI și HPC.

Cum v-a modelat călătoria prin HPC și stocarea de întreprindere perspectiva asupra faptului că stocarea devine constrângerea definitorie în infrastructura AI?

Având construit sisteme de stocare pentru unele dintre cele mai solicitante medii de calcul din lume, dezvoltați o intuiție pentru locurile în care se află în realitate blocajele, și nu acolo unde oamenii presupun că se află. La Xyratex și prin munca la ClusterStor de la Seagate, am rezolvat probleme de stocare pentru supercalculatoare unde fizica era nemiloasă. Trebuia să alimentați calculul sau nu.

Ceea ce văd acum în infrastructura AI este aceeași constrângere fundamentală, doar îmbrăcată în economii diferite. Obsesia pentru GPU în piața Neocloud a fost înțeleasă. NVIDIA (NVDA ) a creat o resursă rară și transformatoare. Dar presupunerea că stocarea se va extinde alături de aceasta, ieftin și ușor, a fost întotdeauna condamnată să se spargă. S-a spart. Stocarea tinde acum spre 20 până la 30 la sută din bugetele infrastructurii AI în implementările all-flash, crescând mai rapid decât orice alt component. Când ați petrecut o carieră urmărind cum stocarea devine constrângerea legătoare în fiecare mediu de calcul la scară largă, încetați să vă mai mirați când restul pieței ajunge la acea realitate.

De ce a fost subevaluată planificarea stocării în timpul cuceririi infrastructurii Neocloud?

Câteva ipoteze structurale s-au intersectat exact în momentul cel mai nepotrivit. În primul rând, prețurile de flash au fost favorabile pentru o perioadă. NVMe SSD-urile erau accesibile și suficient de abundente pentru a face ca implementarea all-flash să pară un standard rezonabil. Nu a fost o înțelepciune arhitecturală. A fost un produs al unei ferestre economice scurte pe care operatorii au confundat-o cu o condiție permanentă.

Al doilea, dinamica competitivă a răsplătit numărul de GPU-uri deasupra tuturor celorlalte. Piața Neocloud era evaluată în funcție de câte chipuri NVIDIA putea să stocheze. Stocarea era aproximativ un articol de 10 procente, ușor de trecut prin procedurile de achiziție fără o examinare profundă. Al treilea, decizia all-flash a părut sigură pentru că a eliminat complexitatea. Un singur nivel, un singur tip de mediu, simplu de procurat și de operat. Problema este că “simplu” și “sustenabil din punct de vedere economic” au încetat să mai fie același lucru în momentul în care oferta de NAND s-a strâns și prețurile au explodat. Până atunci, deciziile de infrastructură erau deja blocate.

Ce surprinde cel mai mult operatorii atunci când văd cum stocarea afectează utilizarea GPU-urilor lor?

Relația este mai directă decât majoritatea operatorilor realizează până când se confruntă cu GPU-uri inactive. Rularea antrenamentului cu puncte de control frecvente creează cereri de scriere în valuri care pot opri calculul dacă stratul de stocare nu poate absorbi suficient de repede. Pipeline-urile de date pentru preprocesare și ingestie creează cereri de citire susținută care, dacă nu sunt îndeplinite, pot înfometa GPU-urile de lucru.

Îndrumarea proprie a NVIDIA pentru DGX cuantifică acest lucru: antrenamentul LLM pe bază de text necesită aproximativ 0,5 GB/s de citire pe GPU, în timp ce încărcăturile de lucru fizice AI și de visualizare necesită aproximativ 4 GB/s de citiri și 2 GB/s de scrieri pe GPU. Dacă arhitectura dvs. de stocare nu poate furniza acest lucru, nu rulați GPU-urile la capacitate. Le rulați la fracțiunea pe care v-o permite stocarea.

Arhitectura contează enorm la scară de cluster. Un sistem de stocare care interpus un intermediar între disc și client poate arăta o performanță similară de citire pe un singur disc, dar la scară, puteți ajunge să aveți nevoie de trei ori mai multe discuri pentru a satura aceeași flotă de GPU. Trei ori mai multe SSD-uri, trei ori mai multă putere, trei ori mai mult spațiu de rack. Matematica utilizării se compune rapid.

Care sunt diferențele de cost care pot apărea pur și simplu din selecția SSD și proiectarea arhitecturală, chiar și atunci când metricile de debit aparent similare?

Acesta este locul în care operatorii ajung într-adevăr în dificultăți, deoarece numerele de top pot fi într-adevăr înșelătoare. Luați un exemplu reprezentativ. Un SSD NVMe QLC de 122,88 TB costă aproximativ 27.000 de dolari. Un disc de 7,68 TB din aceeași generație oferă un debit secvențial comparabil pentru aproximativ 1.800 de dolari. Pentru un cluster de 4.096 GPU-uri pe specificația îmbunătățită a NVIDIA, acea singură decizie de selecție a capacității produce o factură de flash care variază de la 600.000 la 9,6 milioane de dolari. Debitul este efectiv identic. Singura variabilă este cât de multe date reci alegeți să parcați pe medii premium care nu oferă niciun beneficiu suplimentar de performanță.

Pe lângă aceasta, proiectarea arhitecturală determină numărul de discuri la scară de cluster. O arhitectură care oferă aproximativ 5,8 GB/s de debit de citire măsurat pe SSD are nevoie de aproximativ 353 de discuri pentru a satura un cluster de 4.096 GPU-uri. O arhitectură care oferă aproximativ 1,9 GB/s pe SSD, din cauza suprasarcinii intermediarului, are nevoie de peste 1.000. La 12.000 de dolari pe disc de 30 TB, acea diferență nu este o eroare de rotunjire – este o întrebare de model de afaceri.

Cum ar trebui operatorii să reevalueze stocarea all-flash versus stocarea în niveluri pe măsură ce prețurile la flash cresc și oferta de NAND rămâne constrânsă?

Punctul de plecare este acceptarea faptului că premisele economice din spatele infrastructurii AI all-flash au fost întotdeauna condiționate, nu fundamentale. CEO-ul Phison a descris capacitatea de producție NAND ca fiind alocată efectiv până în 2026. Goldman Sachs (GS ) prognozează prețuri DRAM crescând cu două cifre de la trimestru la trimestru pe parcursul aceleiași perioade. Opțiunea all-flash a avut sens atunci când flash-ul era ieftin și abundent. Nu mai este.

Cadrul corect este să întrebați ce este de fapt flash-ul. Flash-ul este un mediu de performanță. Ar trebui să fie dimensionat pentru a satura cerințele de debit ale GPU-urilor, nu mai mult. Tot restul, inclusiv datele reci, punctele de control care nu sunt active citite și seturile de antrenament arhivate, aparțin pe discuri HDD de înaltă densitate, care rămân la ordine de mărime mai ieftine pe TB.

Capcana în care cad operatorii este tratarea tiering-ului ca pe o extensie: cumpărați un strat principal all-flash, adăugați un magazin de obiecte pentru datele reci și conectați-le cu mutări de date externe. Acest lucru introduce un al doilea stivuit de software, un al doilea plan de date, complexitatea rețelei și suprasarcina operațională. Abordarea hyperscaler-ului, care rulează SSD și HDD în același stivuit de software, cu tiering de înaltă performanță nativ și fără mutări de date externe, ține stocarea mai aproape de 10 procente din bugetul infrastructurii, în timp ce saturează fiecare GPU.

Care sunt lecțiile pe care operatorii Neocloud pot să le învețe din alegerile de stocare ale hyperscaler-ilor?

Leția cea mai importantă este că Google (GOOGL ), Meta și Microsoft (MSFT ) nu rulează all-flash, și au mai multă experiență cu încărcături de lucru AI decât oricine. Ei implementează arhitecturi mixte cu tiering inteligent: suficient flash NVMe pentru a satura debitul GPU-urilor, apoi scurgerea către discuri HDD de înaltă densitate, atât de repede cât permit fizica. Acest lucru nu este o preferință filosofică. Este o necesitate economică, condusă de o înțelegere clară a fizicii încărcăturilor de lucru AI.

A doua lecție este integrarea arhitecturală. Hyperscaler-ii nu rezolvă tiering-ul prin conectarea sistemelor separate. Ei rulează SSD și HDD pe același stivuit de software, același plan de date, cu tiering ca operațiune de primă clasă în sistemul de stocare, nu ca un loc de muncă în lot gestionat de un instrument separat. Acea integrare este ceea ce le permite să țină stocarea economică la scară enormă, în timp ce mențin garanțiile de performanță pe care le necesită flotele lor de GPU.

A treia lecție este subvenționarea durabilității. AWS S3 oferă 11 “nines” de durabilitate. Azure Blob oferă 12 sau mai mult. Arhitecturile HPC legacy construite pe RAID local pot cădea sub 5 “nines” la scară, în funcție de ratele de eșec ale discurilor și de ferestrele de reconstruire, potențial mii de fișiere pierdute pe an pe un corpus de un miliard de fișiere. Codarea ștergerii de rețea modernă cu protecție multi-level poate trece de 11 “nines”. Diferența dintre aceste două realități este diferența dintre un sistem de stocare pe care îl puteți subvenționa cu adevărat împotriva unei SLA și unul pe care nu îl puteți face.

Cum ar trebui echipele de infrastructură să cuantifice impactul economic al disponibilității stocării asupra flotelor de GPU?

Matematica este sobră atunci când o rulează cu onestitate. Eșecul stocării partajate nu produce o scădere proporțională a SLA. Produce încălcarea simultană a SLA pe fiecare rack de GPU conectat la acea stocare. Un cluster de 5.000 de GPU-uri cu o disponibilitate a stocării de 98 la sută nu livrează o scădere a performanței cu 2 la sută. Produce 876.000 de ore de calcul inactiv pe an. La costurile reprezentative pe oră de GPU, aceasta se traduce în milioane de dolari în calcul inactiv anual, plus creditele SLA datorate pentru fiecare rack afectat, simultan.

Radiusul de acțiune al eșecului stocării într-un cluster mare este întregul cluster. Echipele de infrastructură trebuie să modeleze acest lucru în mod explicit: ce este costul anualizat al calculului inactiv la nivelul actual de disponibilitate a stocării, ce sunt obligațiile creditelor SLA care se atașează fiecărui nivel de disponibilitate și ce este riscul de părăsire a clienților din cauza eșecurilor SLA? CoreWeave (CRWV ) și Oracle (ORCL ) oferă deja o disponibilitate a rack-ului de 99 la sută. Furnizorii care nu pot să se potrivească cu aceasta pierd tranzacții în prezent, iar tranzacțiile pe care le pierd sunt tot mai mult contractele de întreprindere de valoare ridicată pe care piața Neocloud are nevoie pentru a-și dovedi economia pe termen lung.

Cum se compară diferite arhitecturi de stocare în ceea ce privește performanța pe watt în medii cu constrângeri de putere?

Acest lucru apare în aproape fiecare conversație serioasă despre infrastructură acum, iar diferența nu este marginală. Este multiplicațională. Pe baza specificațiilor publicate și a configurațiilor comparabile, oferind aproximativ 1.340 GB/s de debit de citire, o arhitectură arde 55 kW, în timp ce alta atinge o ieșire similară la aproximativ 16 kW. Acesta este un raport de 3,4 ori mai mare în ceea ce privește performanța pe watt. Într-un centru de date în care încărcăturile de lucru AI consumă între 40 și 250 de kilowați pe rack împotriva unei conexiuni de rețea fixe, watt-urile de stocare irosite sunt GPU-urile pe care nu le puteți implementa. Documentația proprie a NVIDIA pentru BlueField-4 afirmă în mod explicit că disponibilitatea puterii este principala constrângere pentru scalarea fabricilor de inteligență artificială.

Există și un efect de ordinul doi pe care operatorii rareori îl iau în considerare. Unele arhitecturi de stocare necesită 5 GB de DRAM și unu până la patru nuclei de CPU dedicați, permanent blocați pe nodul de GPU, doar pentru a atinge performanța de vârf a stocării. Pe un cluster de 500 de noduri, aceasta înseamnă 2,5 TB de DRAM și până la 2.000 de nuclei de CPU, permanent indisponibili pentru încărcături de lucru AI. Când plătiți 30.000 de dolari sau mai mult pe GPU, fiecare nucleu furat și fiecare gigabyte blocat este un impozit direct pe investiția în calcul care presupune a fi întregul scop al infrastructurii.

Cum afectează direct arhitectura de stocare competitivitatea SLA pe măsură ce garanțiile de disponibilitate se apropie de 99 la sută?

Stocarea este cel mai mare radius de acțiune în orice cluster de GPU, ceea ce o face cea mai importantă variabilă în orice angajament onest de SLA. Sistemul de rating ClusterMAX 2.0 al SemiAnalysis, care devine o referință influentă în achizițiile Neocloud, face SLA-uri un factor explicit în negocierile de preț. Furnizorii fără SLA competitive pierd tranzacții în prezent.

Dimensiunea durabilității este la fel de importantă și mai puțin discutată. Clienții întreprinderilor au fost condiționați de AWS S3 și Azure Blob să se aștepte la 11 până la 12 “nines” de durabilitate. Arhitecturile HPC legacy construite pe RAID local pot cădea sub 5 “nines” la scară, în funcție de ratele de eșec ale discurilor și de ferestrele de reconstruire, potențial mii de fișiere pierdute pe an pe un corpus de un miliard de fișiere. Codarea ștergerii de rețea modernă cu protecție multi-level poate trece de 11 “nines”. Diferența dintre aceste două realități este diferența dintre un sistem de stocare pe care îl puteți subvenționa cu adevărat împotriva unei SLA și unul pe care nu îl puteți face.

Care sunt capacitățile de stocare care sunt cel mai probabil să determine supraviețuirea pe termen lung a Neocloud prin consolidare?

Operatorii care vor supraviețui vor fi cei care au rezolvat ecuația costului total de proprietate pe întreaga stivă de infrastructură, nu doar ecuația de achiziție a GPU-urilor. Acest lucru înseamnă câteva capacități specifice.

În primul rând, o arhitectură software definită unificată care rulează flash și disc pe același plan de date, cu tiering de înaltă performanță nativ, fără mutări de date externe, fără al doilea stivuit de software, fără complexitate operațională introdusă prin conectarea sistemelor separate. În al doilea rând, stocarea care poate urca curbele de cost independente pentru flash și disc, pe măsură ce aceste piețe se mișcă independent una de cealaltă, ceea ce vor face. În al treilea rând, sisteme autovindecătoare care mențin disponibilitatea ridicată fără administratori specializați care efectuează recuperarea manuală la 3 dimineața. Complexitatea operațională a stocării este un cost invizibil care se compune la scară. În al patrulea rând, durabilitatea care poate fi subvenționată cu credibilitate într-o SLA împotriva benchmark-urilor hyperscaler.

Întregul punct este că valul de consolidare separă infrastructura construită pentru benchmark-urile de ziua întâi de infrastructura construită pentru economia anului trei. Ratele de închiriere H100 au scăzut cu peste 60 la sută de la vârf. Piața nu mai recompensează acumularea de GPU-uri. Ea cere dovada rentabilității capitalului investit. Arhitectura de stocare este locul în care se află acea dovadă, deoarece este locul în care se întâlnesc ratele de utilizare a GPU-urilor, angajamentele SLA, eficiența energetică și structura de cost pe termen lung.

Care este mesajul dvs. pentru operatorii Neocloud care evaluează strategia de stocare în prezent?

Nu lăsați decizia de stocare să fie cea pe care ați luat-o dintr-o dată. Fiecare altă parte a stivei de infrastructură primește o examinare inginerică și financiară riguroasă. Stocarea ar trebui să nu fie diferită. Operatorii care vor fi aici peste trei ani sunt cei care au luat o privire atentă asupra costului lor real pe oră de GPU de calcul util, au înțeles adevărata lor postură de disponibilitate și s-au asigurat că sunt dimensionați pentru încărcătura de lucru, și nu pentru o scurtătură de achiziție.

Fereastra de oportunitate de a face acest lucru corect se îngustează. Consolidarea este deja în desfășurare, iar economia este nemiloasă. Dar pentru operatorii care sunt dispuși să reevalueze stratul de stocare cu aceeași rigurozitate pe care au aplicat-o selecției GPU, oportunitatea este semnificativă. Stocarea făcută corect nu reduce doar costul. Deblochează valoarea deplină a fiecărui GPU din rack.

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre acest stivuit tehnologic ar trebui să viziteze VDURA. Ei pot citi, de asemenea, interviul nostru anterior cu Ken Claffey.