Ken Claffey, VDURA:s VD – Intervjuerien: Ett återbesök

Ken Claffey, vd och koncernchef för VDURA, är en erfaren kundorienterad affärs- och produktledare med djup kunskap om moln- och företagsinfrastruktur, utveckling av hårdvara och programvara samt strategisk tillväxt inom produkt, drift och marknad. Han har byggt globala högpresterande team, genomfört företagsstrategier, skapat lönsam tillväxt och produktinnovation samt vänt verksamheter med svaga resultat. Före VDURA hade han ledande roller på Seagate Technology (STX ), bland annat som senior vice president och general manager med ansvar för företagssystem och resultat, samt tidigare på Xyratex, Adaptec och Eurologic.

VDURA utvecklar programvarudefinierad datainfrastruktur för AI och högpresterande databehandling under mottot ”velocity meets durability”. VDURA Data Platform förenar ett flashbaserat parallellt filsystems prestanda med objektlagringens tålighet i en enhetlig arkitektur som skalar linjärt över tusentals klienter och noder. Företaget grundades som Panasas och bytte namn 2024. Plattformen stöder lokala, molnbaserade och hybrida miljöer med automation, metadataacceleration och skalbar prestanda för att hålla GPU-kluster matade och data skyddade.

Hur har din resa inom HPC och företagslagring format synen att lagring blir den avgörande begränsningen i AI-infrastruktur?

När man har byggt lagringssystem för några av världens mest krävande beräkningsmiljöer utvecklar man en känsla för var flaskhalsarna faktiskt finns, inte var människor antar att de finns. På Xyratex och i ClusterStor-arbetet på Seagate löste vi lagringsproblem för superdatorer där fysiken var oförlåtlig. Antingen matade man beräkningen eller så gjorde man det inte.

I dagens AI-infrastruktur ser jag samma grundläggande begränsning, men med en annan ekonomi. GPU-fokuset på Neocloud-marknaden var begripligt. NVIDIA (NVDA ) skapade en knapp och omvälvande resurs. Men antagandet att lagring billigt och enkelt skulle skala i samma takt var dömt att spricka. Det har nu hänt.

I all-flash-installationer går lagring mot 20–30 procent av AI-infrastrukturbudgeten och växer snabbare än alla andra komponenter. Efter en karriär där lagring gång på gång blivit den bindande begränsningen i storskalig databehandling blir man inte förvånad när resten av marknaden upptäcker samma verklighet.

Varför prioriterades lagringsplaneringen ned under Neocloud-marknadens snabba utbyggnad?

Flera strukturella antaganden sammanföll vid fel tidpunkt. För det första var flashpriserna tillfälligt gynnsamma. NVMe-SSD:er var billiga och tillgängliga nog för att all-flash skulle kännas som ett rimligt standardval. Det var inte arkitektonisk visdom, utan ett kort ekonomiskt fönster som operatörer misstog för ett permanent tillstånd.

För det andra belönade konkurrensen framför allt antalet GPU:er. Neocloud-företag bedömdes efter hur många NVIDIA-chip de kunde installera. Lagring var en rad på ungefär 10 procent som lätt passerade inköp utan djup granskning.

För det tredje kändes all-flash säkert eftersom det tog bort komplexitet: en nivå, en medietyp, enkelt att köpa och driva. Men ”enkelt” slutade vara samma sak som ”ekonomiskt hållbart” när NAND-utbudet stramades åt och priserna steg. Då var infrastrukturvalen redan låsta.

Vad överraskar operatörer mest när de ser hur lagring påverkar GPU-utnyttjandet?

Sambandet är mer direkt än många inser innan de ser GPU:er stå sysslolösa. Träningskörningar med täta kontrollpunkter skapar skrivtoppar som stoppar beräkningen om lagringslagret inte absorberar dem tillräckligt snabbt. Förbehandling och inläsning kräver ihållande läskapacitet; om den saknas svälter GPU:erna.

NVIDIAs egen DGX-vägledning anger omkring 0,5 GB/s läsning per GPU för textbaserad LLM-träning. Fysisk AI och visualisering behöver ungefär 4 GB/s läsning och 2 GB/s skrivning per GPU. Om lagringen inte levererar detta körs GPU:erna bara med den andel som lagringen tillåter.

Arkitekturen får enorm betydelse i klusterskala. Ett system som placerar ett mellanlager mellan disk och klient kan visa samma rubrikprestanda för en enskild disk, men ändå behöva tre gånger fler diskar för att mätta samma GPU-flotta: tre gånger fler SSD:er, tre gånger mer effekt och tre gånger mer rackutrymme.

Hur stora kostnadsskillnader kan enbart SSD-val och arkitektur skapa trots liknande genomströmning?

Rubrikvärden kan vara genuint missvisande. En QLC NVMe-SSD på 122,88 TB kostar omkring 27 000 dollar. En disk på 7,68 TB från samma generation ger jämförbar sekventiell genomströmning för cirka 1 800 dollar.

I ett kluster med 4 096 GPU:er enligt NVIDIAs Enhanced-specifikation kan det valet ge en flashnota från 600 000 till 9,6 miljoner dollar. Genomströmningen är i praktiken densamma. Skillnaden är hur mycket kall data som placeras på premiummedia utan extra prestandanytta.

Arkitekturen bestämmer dessutom antalet diskar i klusterskala. Ett system som levererar cirka 5,8 GB/s uppmätt läsning per SSD behöver omkring 353 diskar för att mätta 4 096 GPU:er. Ett system som på grund av mellanlager bara når cirka 1,9 GB/s behöver över 1 000. Med 12 000 dollar per 30 TB-disk är det inte en avrundningsfråga utan en fråga om affärsmodell.

Hur bör operatörer omvärdera all-flash och nivåindelad lagring när flashpriserna stiger och NAND är begränsat?

Man måste acceptera att den ekonomiska grunden för all-flash i AI-infrastruktur alltid var tillfällig. Phisons vd har sagt att NAND-produktionskapaciteten i praktiken är allokerad till 2026. Goldman Sachs (GS ) räknar med tvåsiffriga kvartalsvisa prisökningar för DRAM under samma period. All-flash var logiskt när flash var billigt och gott om; det är det inte längre.

Frågan bör vara vad flash faktiskt ska göra. Flash är ett prestandamedium och bör dimensioneras för att mätta GPU:ernas genomströmningskrav, inte mer. Kall data, kontrollpunkter som inte läses aktivt och arkiverade träningsmängder hör hemma på högdensitets-HDD, som är många gånger billigare per TB.

Fällan är att behandla nivåindelning som ett tillägg: köpa ett primärt all-flash-lager, lägga till separat objektlagring och koppla dem med externa dataflyttare. Då får man en andra programvarustack, ett andra dataplan, nätverkskomplexitet och driftkostnad.

Hyperskalarnas modell kör SSD och HDD i samma programvarustack med inbyggd högpresterande nivåindelning och utan externa dataflyttare. Den håller lagring närmare 10 procent av infrastrukturen och kan ändå mätta varje GPU.

Vilka lärdomar kan Neocloud-företag dra av hyperskalarnas lagringsdesign?

Den viktigaste lärdomen är att Google (GOOGL ), Meta och Microsoft (MSFT ) inte kör all-flash, trots större erfarenhet av AI-arbetslaster än någon annan. De använder blandade nivåer: tillräckligt med NVMe-flash för att mätta GPU:erna och flyttar sedan data till högdensitets-HDD så snabbt fysiken tillåter. Det är en ekonomisk nödvändighet, inte en filosofisk preferens.

Den andra lärdomen är integration. Hyperskalare skruvar inte ihop separata system, utan kör SSD och HDD på samma programvarustack och dataplan. Nivåindelning är en förstklassig operation i lagringssystemet, inte ett batchjobb i ett separat verktyg.

Den tredje är garanterad tålighet. AWS S3 erbjuder elva nior och Azure Blob tolv eller fler. Äldre HPC-arkitektur med lokal RAID kan ligga långt under det i stor skala. Om en leverantör inte kan garantera en SLA mot lagringens tålighet kan den inte konkurrera om företagskunder, där den långsiktigt hållbara Neocloud-intäkten finns.

Hur bör team beräkna den ekonomiska effekten av lagringens tillgänglighet på GPU-flottan?

Matematiken är brutal. Ett fel i delad lagring ger inte ett proportionellt SLA-avdrag, utan ett samtidigt avbrott för varje anslutet GPU-rack. Ett kluster med 5 000 GPU:er och 98 procents lagringstillgänglighet innebär inte bara två procents prestandamiss. Det ger 876 000 förlorade GPU-timmar per år.

Med typiska timkostnader motsvarar det miljoner dollar i sysslolös beräkning, plus SLA-krediter för varje drabbat rack. Hela klustret är lagringsfelets spridningsradie.

Team måste uttryckligen modellera den årliga kostnaden för inaktiv beräkning, SLA-krediternas nivå och risken för kundbortfall. CoreWeave (CRWV ) och Oracle (ORCL ) erbjuder redan 99 procents racktillgänglighet. Leverantörer som inte matchar det förlorar i dag de värdefulla företagsavtal som Neocloud-marknaden behöver.

Hur skiljer sig lagringsarkitekturer i prestanda per watt när effekt är begränsad?

Skillnaden är inte marginell utan multiplikativ. Enligt publicerade specifikationer och jämförbara konfigurationer drar en arkitektur 55 kW för cirka 1 340 GB/s läsning, medan en annan når liknande resultat med omkring 16 kW. Det är 3,4 gånger bättre prestanda per watt.

I ett datacenter där AI-rack drar 40–250 kW mot en fast nätanslutning innebär bortkastade lagringswatt GPU:er som inte kan installeras. NVIDIAs dokumentation för BlueField-4 säger uttryckligen att tillgänglig effekt är den främsta begränsningen när AI-fabriker ska skalas.

En indirekt kostnad förbises ofta. Vissa arkitekturer låser permanent 5 GB DRAM och en till fyra CPU-kärnor per GPU-nod för att nå maximal lagringsprestanda. I ett 500-noders kluster är det 2,5 TB DRAM och upp till 2 000 CPU-kärnor som AI-arbetslaster inte kan använda. Med GPU:er som kostar minst 30 000 dollar blir varje låst kärna och gigabyte en direkt skatt på beräkningsinvesteringen.

Hur påverkar arkitekturen SLA-konkurrensen när tillgänglighetslöften närmar sig 99 procent?

Lagring har störst spridningsradie i ett GPU-kluster och är därför den viktigaste variabeln i en ärlig SLA. SemiAnalysis ClusterMAX 2.0, som får inflytande i Neocloud-inköp, gör SLA till en uttrycklig faktor i prisförhandlingar. Leverantörer utan konkurrenskraftiga garantier förlorar affärer nu.

Tålighet är lika viktig men diskuteras mindre. Företagskunder väntar sig 11–12 nior efter AWS S3 och Azure Blob. Äldre HPC-lagring med lokal RAID kan beroende på diskfel och återbyggnadstid falla under fem nior i stor skala, vilket kan innebära tusentals förlorade filer per år i en miljardfilskorpus.

Modern nätverksbaserad erasure coding med flernivåskydd kan passera elva nior. Det är skillnaden mellan ett system vars SLA verkligen kan garanteras och ett vars SLA inte kan det.

Vilka lagringsförmågor avgör långsiktig överlevnad när Neocloud-marknaden konsolideras?

Överlevarna löser total ägandekostnad för hela infrastrukturen, inte bara GPU-inköpet. Det kräver flera specifika förmågor.

Först behövs en enhetlig programvarudefinierad arkitektur för flash och disk på ett dataplan, med inbyggd snabb nivåindelning, inga externa dataflyttare och ingen andra programvarustack. För det andra måste systemet kunna följa oberoende kostnadskurvor för flash och disk.

För det tredje behövs självläkande system som upprätthåller hög tillgänglighet utan specialistadministratörer som gör manuella återställningar klockan tre på natten. Driftkomplexitet är en dold kostnad som växer med skalan. För det fjärde behövs tålighet som trovärdigt kan garanteras mot hyperskalarnas nivåer.

Konsolideringen skiljer infrastruktur byggd för dag ett-benchmark från infrastruktur byggd för ekonomin år tre. H100-hyrpriser har fallit mer än 60 procent från toppen. Marknaden belönar inte längre ansamling av GPU:er utan kräver avkastning på investerat kapital.

Lagringsarkitekturen är där beviset finns, eftersom GPU-utnyttjande, SLA, energieffektivitet och långsiktig kostnadsstruktur möts där.

Vilket budskap har du till Neocloud-operatörer som utvärderar sin lagringsstrategi i dag?

Låt inte lagringsbeslutet bli det som fattades av gammal vana. Alla andra delar av infrastrukturen granskas tekniskt och ekonomiskt; lagring bör behandlas likadant.

De aktörer som finns kvar om tre år är de som analyserade den verkliga kostnaden per GPU-timme av nyttig beräkning, förstod sin faktiska tillgänglighet och dimensionerade för arbetslasten i stället för en genväg i inköpet.

Tiden att rätta till detta krymper. Konsolideringen har börjat och ekonomin är oförlåtande. Men operatörer som granskar lagringslagret lika noggrant som GPU-valet har en stor möjlighet. Rätt lagring sänker inte bara kostnaden; den frigör hela värdet i varje GPU i racket.

Tack för intervjun. Läsare som vill veta mer om teknikstacken kan besöka VDURA och läsa vår tidigare intervju med Ken Claffey.