Ken Claffey, CEO von VDURA – Interview-Serie: Ein Rückkehr-Gespräch

Ken Claffey, CEO und Präsident von VDURA, ist ein erfahrener kundenorientierter Geschäfts- und Produktleiter mit tiefen Kenntnissen in Cloud- und Unternehmensinfrastruktur, Hardware- und Softwareentwicklung sowie strategischem Wachstum in den Bereichen Produkt, Betrieb und Vertrieb. Im Laufe seiner Karriere hat er hochleistungsfähige globale Teams aufgebaut und geleitet, Unternehmensstrategien umgesetzt, profitables Umsatzwachstum und Produktinnovationen vorangetrieben und unterperformende Geschäfte umgedreht. Bevor er die Leitung von VDURA übernahm, hatte Claffey Führungspositionen bei Seagate Technology (STX ) inne, wo er als Senior Vice President und General Manager für Unternehmenssysteme und P&L verantwortlich war, und frühere Führungspositionen bei Xyratex, Adaptec und Eurologic, mit Jahrzehnten Erfahrung in Unternehmensspeicherung und Hochleistungsrechnen.

VDURA ist ein Software-Unternehmen für Dateninfrastruktur, das moderne Speicherlösungen für künstliche Intelligenz und Hochleistungsrechnen unter dem Motto “Geschwindigkeit trifft Haltbarkeit” entwickelt. Das Flaggschiff von VDURA, die VDURA Data Platform, kombiniert Flash-First-Parallel-Dateisystemleistung mit Objektspeicher-Haltbarkeit in einer einheitlichen Architektur, die linear über Tausende von Clients und Knoten skaliert, während sie den Betrieb vereinfacht und die Gesamtkosten senkt. Ursprünglich als Panasas gegründet und 2024 umbenannt, unterstützt die Plattform von VDURA On-Premises-, Cloud- und Hybridumgebungen mit erweiterter Automatisierung, Metadatenbeschleunigung und skalierbarer Leistung, die darauf ausgelegt ist, GPU-Cluster zu versorgen und Daten für Unternehmens-, Forschungs- und mission-kritische AI- und HPC-Anwendungsfälle zu schützen.

Wie hat Ihre Reise durch HPC und Unternehmensspeicherung Ihre Sicht darauf geprägt, dass Speicherung zur definierenden Einschränkung in AI-Infrastruktur wird?

Wenn man Speichersysteme für einige der anspruchsvollsten Rechenumgebungen der Welt entwickelt, entwickelt man ein Gespür dafür, wo die Engpässe tatsächlich liegen, im Gegensatz zu dem, wo die Leute annehmen, dass sie liegen. Bei Xyratex und durch die ClusterStor-Arbeit bei Seagate haben wir Speicherprobleme für Supercomputer gelöst, bei denen die Physik unforgiving war. Entweder haben Sie den Rechner gefüttert oder nicht.

Was ich jetzt in AI-Infrastruktur sehe, ist dieselbe grundlegende Einschränkung, nur in einer anderen Ökonomie gekleidet. Die GPU-Besessenheit im Neocloud-Markt war verständlich. NVIDIA (NVDA ) hat eine knappe und transformative Ressource geschaffen. Aber die Annahme, dass Speicherung einfach nebenher skaliert, billig und leicht, war immer ein Bruch. Es ist gebrochen. Speicherung tendiert jetzt auf 20 bis 30 Prozent der AI-Infrastruktur-Budgets in All-Flash-Deployments, wächst schneller als jedes andere Komponenten. Wenn Sie ein Leben lang zugesehen haben, wie Speicherung zur bindenden Einschränkung in jeder großen Rechenumgebung wird, hören Sie auf, überrascht zu sein, wenn der Rest des Marktes auf diese Realität aufmerksam wird.

Warum wurde die Speicherplanung während des Neocloud-Infrastruktur-Landgrabs vernachlässigt?

Einige strukturelle Annahmen trafen genau im falschen Moment zusammen. Erstens waren Flash-Preise vorübergehend günstig. NVMe-SSDs waren erschwinglich und reichlich vorhanden, so dass ein All-Flash-Ansatz sich wie ein vernünftiger Standard anhörte. Es war jedoch keine architektonische Weisheit. Es war ein Produkt eines kurzen wirtschaftlichen Fensters, das die Betreiber für eine dauerhafte Bedingung hielten.

Zweitens belohnte die Wettbewerbsdynamik GPU-Zahlen über alles andere. Der Neocloud-Markt wurde auf der Grundlage der Anzahl der NVIDIA-Chips bewertet, die man in einem Rack unterbringen konnte. Speicherung war etwa ein 10-prozentiger Posten, den man leicht ohne tiefe Überprüfung durch die Beschaffung wischen konnte. Drittens fühlte sich die All-Flash-Entscheidung sicher an, weil sie Komplexität eliminierte. Eine Ebene, ein Medium, einfach zu beschaffen und zu betreiben. Das Problem ist, dass “einfach” und “ökonomisch nachhaltig” aufhörten, dasselbe zu sein, als die NAND-Versorgung eng wurde und die Preise sprangen. Zu diesem Zeitpunkt waren die Infrastruktur-Entscheidungen bereits geschehen.

Was überrascht Betreiber am meisten, wenn sie sehen, wie Speicherung ihre GPU-Auslastung beeinflusst?

Die Beziehung ist direkter, als die meisten Betreiber realisieren, bis sie mit untätigen GPUs konfrontiert sind. Trainingsläufe mit häufiger Checkpointing erzeugen Burst-Schreibanforderungen, die den Rechner zum Stillstand bringen können, wenn die Speicherebene sie nicht schnell genug aufnehmen kann. Datenpipelines für Vorverarbeitung und Aufnahme erzeugen anhaltende Lese-Durchsatzanforderungen, die, wenn sie nicht erfüllt werden, die GPUs von Arbeit hungern lassen.

NVIDIA’s eigene DGX-Richtlinien quantifizieren dies: Textbasiertes LLM-Training erfordert etwa 0,5 GB/s Lese-Durchsatz pro GPU, während physikalische AI- und Visualisierungsworkloads etwa 4 GB/s Lese- und 2 GB/s Schreibdurchsatz pro GPU erfordern. Wenn Ihre Speicherarchitektur das nicht liefern kann, betreiben Sie Ihre GPUs nicht mit voller Kapazität. Sie betreiben sie mit dem Bruchteil, den Ihre Speicherung zulässt.

Die Architektur ist enorm wichtig im Cluster-Maßstab. Ein Speichersystem, das einen Zwischenhändler zwischen dem Laufwerk und dem Client einfügt, kann vergleichbare Headline-Durchsatzwerte auf einem einzelnen Laufwerk zeigen, aber im Maßstab können Sie am Ende drei Mal so viele Laufwerke benötigen, um dieselbe GPU-Flotte zu sättigen. Drei Mal so viele SSDs, drei Mal so viel Strom, drei Mal so viel Stellplatz. Die Auslastungsrechnung summiert sich schnell.

Welche Kostenunterschiede können allein durch SSD-Auswahl und architektonische Gestaltung entstehen, auch wenn die Headline-Durchsatzmetriken ähnlich erscheinen?

Das ist der Punkt, an dem Betreiber in ernsthafte Schwierigkeiten geraten, weil die Headline-Zahlen wirklich irreführend sein können. Nehmen Sie ein repräsentatives Beispiel. Eine 122,88-TB-QLC-NVMe-SSD kostet etwa 27.000 Dollar. Ein 7,68-TB-Laufwerk aus der gleichen Generation liefert vergleichbaren sequenziellen Durchsatz für etwa 1.800 Dollar. Für einen 4.096-GPU-Cluster auf NVIDIA’s Enhanced-Spezifikation produziert diese einzelne Kapazitätsauswahlentscheidung eine Flash-Rechnung, die von 600.000 bis 9,6 Millionen Dollar reicht. Der Durchsatz ist effektiv identisch. Der einzige Variable ist, wie viel kalte Daten Sie sich entscheiden, auf Premium-Medium zu parken, das keinen zusätzlichen Leistungsvorteil liefert.

Aufgrund dessen bestimmt die architektonische Gestaltung die Anzahl der Laufwerke im Cluster-Maßstab. Eine Architektur, die etwa 5,8 GB/s gemessenen Lese-Durchsatz pro SSD liefert, benötigt etwa 353 Laufwerke, um einen 4.096-GPU-Cluster zu sättigen. Eine Architektur, die etwa 1,9 GB/s pro SSD aufgrund von Zwischenhändler-Overhead liefert, benötigt über 1.000. Bei 12.000 Dollar pro 30-TB-Laufwerk ist dieser Unterschied kein Rundungsfehler – es ist eine Geschäftsmodell-Frage.

Wie sollten Betreiber All-Flash- gegenüber gestufter Speicherung neu bewerten, wenn Flash-Preise steigen und die NAND-Versorgung eingeschränkt bleibt?

Der Ausgangspunkt ist die Akzeptanz, dass die ökonomische Prämisse hinter All-Flash-AI-Infrastruktur immer kontingent und nicht grundlegend war. Phisons CEO hat die NAND-Produktionskapazität als effektiv zugeteilt bis 2026 beschrieben. Goldman Sachs (GS ) prognostiziert, dass DRAM-Preise quartalsweise um zweistellige Zahlen steigen werden, bis zum gleichen Zeitraum. Der All-Flash-Standard machte Sinn, als Flash billig und reichlich vorhanden war. Er macht es nicht mehr.

Der richtige Rahmen ist, zu fragen, wofür Flash tatsächlich ist. Flash ist ein Leistungsmedium. Es sollte so dimensioniert werden, dass es die GPU-Durchsatzanforderungen sättigt, nicht mehr. Alles andere, einschließlich kalter Daten, Checkpoints, die nicht aktiv gelesen werden, und archivierter Trainingssets, gehört auf hochdichte Festplatten, die um Größenordnungen billiger pro TB sind.

Die Falle, in die Betreiber fallen, ist, Tiering als Aufsteckbausatz zu behandeln: Kauf eines primären All-Flash-Laufwerks, Hinzufügen eines separaten Objektspeichers für kalte Daten und Verbinden beider mit externen Datenbewegungen. Das führt zu einer zweiten Software-Schicht, einer zweiten Daten-Ebene, Netzwerkkomplexität und Betriebsaufwand. Der Hyperscaler-Ansatz, der SSD und HDD innerhalb der gleichen Software-Schicht mit nativer Hochleistungs-Tiering und ohne externe Datenbewegungen ausführt, hält Speicherung näher an 10 Prozent des Infrastruktur-Budgets, während er gleichzeitig jeden GPU sättigt.

Welche Lektionen kann der Neocloud-Tier von den Speicher-Design-Entscheidungen der Hyperscaler lernen?

Die wichtigste Lektion ist, dass Google (GOOGL ), Meta und Microsoft (MSFT ) nicht All-Flash verwenden und mehr AI-Workload-Erfahrung haben als jeder andere. Sie setzen gemischte Architekturen mit intelligenter Tiering ein: genug NVMe-Flash, um den GPU-Durchsatz zu sättigen, dann Abfluss auf hochdichte Festplatten, so schnell wie die Physik es erlaubt. Dies ist keine philosophische Vorliebe. Es ist ein ökonomisches Gebot, das von einem klaren Verständnis der AI-Workload-Physik getrieben wird.

Die zweite Lektion ist architektonische Integration. Hyperscaler lösen Tiering nicht, indem sie separate Systeme zusammenbauen. Sie führen SSD und HDD auf der gleichen Software-Schicht, der gleichen Daten-Ebene, mit Tiering als Erstklassige-Operation innerhalb des Speichersystems und nicht als Batch-Job, der von einem separaten Tool verwaltet wird. Diese Integration ist es, die es ihnen ermöglicht, Speicherung bei enormem Maßstab wirtschaftlich zu halten, während sie gleichzeitig die Leistungsgarantien erfüllen, die ihre GPU-Flotten erfordern.

Die dritte Lektion ist Haltbarkeits-Garantie. AWS S3 liefert 11 Neunen der Haltbarkeit. Azure Blob liefert 12 oder mehr. Legacy-HPC-Speicher, der auf lokalem RAID aufbaut, kann bei großem Maßstab unter 5 Neunen fallen, je nach Laufwerksfehlerraten und Wiederherstellungszeiten, potenziell Tausende von Dateien pro Jahr über einen Corpus von einer Milliarde Dateien verloren. Moderne Netzwerklöschung mit mehrstufigem Schutz kann über 11 Neunen hinausgehen. Die Lücke zwischen diesen beiden Realitäten ist der Unterschied zwischen einem Speichersystem, das man tatsächlich gegen eine SLA unterzeichnen kann, und einem, das man nicht kann.

Wie sollten Infrastruktur-Teams den wirtschaftlichen Einfluss von Speicher-Verfügbarkeit auf GPU-Flotten quantifizieren?

Die Mathematik ist besorgniserregend, wenn man sie ehrlich durchführt. Gemeinsame Speicherfehler produzieren nicht proportionale SLA-Verletzungen. Sie produzieren gleichzeitige Verletzung über jeden GPU-Rack, der mit diesem Speicher verbunden ist. Ein 5.000-GPU-Cluster mit 98-prozentiger Speicher-Verfügbarkeit liefert nicht 2-prozentige Leistungsverluste. Er produziert 876.000 GPU-Stunden verlorener Rechenleistung pro Jahr. Bei repräsentativen GPU-Stundenkosten übersetzt sich das in Millionen Dollar verlorener Rechenleistung pro Jahr, plus SLA-Gutschriften, die auf jedem betroffenen Rack gleichzeitig geschuldet werden.

Der Einflussbereich des Speicherfehlers in einem großen Cluster ist der gesamte Cluster. Infrastruktur-Teams müssen dies explizit modellieren: Was sind die jährlichen Kosten verlorener Rechenleistung bei Ihrem aktuellen Speicher-Verfügbarkeitswert, was sind die SLA-Gutschriften, die an jeden Verfügbarkeits-Level anhängen, und was ist das Kunden-Abwanderungs-Risiko durch SLA-Verletzungen? CoreWeave (CRWV ) und Oracle (ORCL ) bieten bereits 99-prozentige Rack-Level-Verfügbarkeit. Anbieter, die das nicht erreichen, verlieren Geschäfte heute, und die Geschäfte, die sie verlieren, sind zunehmend die hochwertigen Unternehmensverträge, die der Neocloud-Markt benötigt, um seine langfristige Ökonomie zu beweisen.

Wie vergleichen sich unterschiedliche Speicher-Architekturen in Bezug auf Leistung pro Watt in strombegrenzten Umgebungen?

Es kommt in fast jedem ernsthaften Infrastruktur-Gespräch jetzt auf, und der Unterschied ist nicht marginal. Er ist multiplikativ. Basierend auf veröffentlichten Spezifikationen und vergleichbaren Konfigurationen, die etwa 1.340 GB/s Lese-Durchsatz liefern, verbrennt eine Architektur 55 kW, während eine andere ähnliche Ausgabe bei etwa 16 kW erreicht. Das ist ein 3,4-facher Unterschied in Leistung pro Watt. In einem Rechenzentrum, in dem AI-Workloads 40 bis 250 Kilowatt pro Rack gegen eine feste Netzverbindung verbrauchen, sind verschwendete Speicher-Watt GPUs, die nicht bereitgestellt werden können. NVIDIA’s eigene BlueField-4-Dokumentation besagt explizit, dass Stromverfügbarkeit die primäre Einschränkung für die Skalierung von AI-Fabriken ist.

Es gibt auch einen zweiten Effekt, den Betreiber selten berücksichtigen. Einige Speicher-Architekturen erfordern 5 GB DRAM und ein bis vier dedizierte CPU-Kerne permanent gesperrt pro GPU-Knoten, um Spitzen-Speicher-Leistung zu erzielen. Über einen 500-Knoten-Cluster hinweg sind das 2,5 TB DRAM und bis zu 2.000 CPU-Kerne, die permanent nicht für AI-Workloads verfügbar sind. Wenn Sie 30.000 Dollar oder mehr pro GPU zahlen, ist jeder gestohlene Kern und jeder gesperrte Gigabyte eine direkte Steuer auf die Recheninvestition, die angeblich der gesamte Zweck der Infrastruktur ist.

Wie wirkt sich die Speicher-Architektur direkt auf die SLA-Wettbewerbsfähigkeit aus, wenn Verfügbarkeits-Garantien 99 Prozent erreichen?

Speicherung ist der größte Einflussbereich in jedem GPU-Cluster, was sie zum wichtigsten Faktor in jedem ehrlichen SLA-Verpflichtung macht. Das SemiAnalysis ClusterMAX 2.0-Bewertungssystem, das zu einem einflussreichen Benchmark in Neocloud-Beschaffung wird, macht SLAs zu einem expliziten Faktor in Preisverhandlungen. Anbieter ohne wettbewerbsfähige SLAs verlieren Geschäfte jetzt.

Die Haltbarkeits-Dimension ist ebenso wichtig und weniger diskutiert. Unternehmenskunden wurden von AWS S3 und Azure Blob darauf konditioniert, 11 bis 12 Neunen der Haltbarkeit zu erwarten. Legacy-HPC-Speicher, der auf lokalem RAID aufbaut, kann bei großem Maßstab unter 5 Neunen fallen, je nach Laufwerksfehlerraten und Wiederherstellungszeiten, potenziell Tausende von Dateien pro Jahr über einen Corpus von einer Milliarde Dateien verloren. Moderne Netzwerklöschung mit mehrstufigem Schutz kann über 11 Neunen hinausgehen. Die Lücke zwischen diesen beiden Realitäten ist der Unterschied zwischen einem Speichersystem, das man tatsächlich gegen eine SLA unterzeichnen kann, und einem, das man nicht kann.

Welche Speicher-Fähigkeiten sind am wahrscheinlichsten, um die langfristige Überlebensfähigkeit des Neocloud durch Konsolidierung zu bestimmen?

Die Betreiber, die überleben, werden diejenigen sein, die die Gesamtkosten-Gleichung über den gesamten Infrastruktur-Stack hinweg gelöst haben, nicht nur die GPU-Beschaffungs-Gleichung. Das bedeutet mehrere spezifische Fähigkeiten.

Erstens eine einheitliche Software-Definierte-Architektur, die Flash und Disk auf einer einzigen Daten-Ebene mit nativer Hochleistungs-Tiering, ohne externe Datenbewegungen, ohne zweite Software-Schicht, ohne operationelle Komplexität durch das Zusammenbauen separater Systeme, ausführt. Zweitens Speicherung, die unabhängige Kostenkurven für Flash und Disk reiten kann, wenn diese Märkte unabhängig voneinander bewegen. Drittens selbstheilende Systeme, die hohe Verfügbarkeit ohne spezialisierte Administratoren, die manuelle Wiederherstellung um 3 Uhr morgens durchführen, aufrechterhalten. Operationell komplexe Speicherung ist ein unsichtbarer Kostenfaktor, der sich bei großem Maßstab summiert. Viertens Haltbarkeit, die glaubwürdig in einer SLA gegen Hyperscaler-Benchmarks unterzeichnet werden kann.

Der breitere Punkt ist, dass die Konsolidationswelle Infrastruktur, die für Tag-eins-Benchmarks gebaut wurde, von Infrastruktur, die für Jahr-drei-Ökonomie gebaut wurde, trennt. H100-Mietpreise sind um mehr als 60 Prozent von ihrem Höchststand gesunken. Der Markt belohnt nicht mehr GPU-Akkumulation. Er fordert den Beweis der Rendite auf investiertes Kapital. Speicher-Architektur ist, wo dieser Beweis lebt, weil es dort ist, wo GPU-Auslastungsrate, SLA-Verpflichtungen, Stromeffizienz und langfristige Kostenstruktur alle zusammenlaufen.

Was ist Ihre Botschaft an Neocloud-Betreiber, die ihre Speicher-Strategie heute bewerten?

Lassen Sie die Speicher-Entscheidung nicht die sein, die Sie standardmäßig treffen. Jeder andere Teil des Infrastruktur-Stacks erhält gründliche technische und finanzielle Überprüfung. Speicherung sollte nicht anders sein. Die Betreiber, die in drei Jahren noch da sein werden, sind diejenigen, die einen harten Blick auf ihre tatsächlichen Kosten pro GPU-Stunde nützlicher Rechenleistung geworfen haben, ihre tatsächliche Verfügbarkeits-Postur verstanden haben und sichergestellt haben, dass sie für die Arbeitslast und nicht für einen Beschaffung-Shortcut dimensioniert sind.

Das Fenster, um dies richtig zu machen, schließt sich. Konsolidierung ist bereits im Gange, und die Ökonomie ist unforgiving. Aber für Betreiber, die bereit sind, die Speicher-Ebene mit dem gleichen Ernst zu überdenken, den sie der GPU-Auswahl entgegengebracht haben, ist die Gelegenheit bedeutend. Speicherung, die richtig gemacht wird, reduziert nicht nur Kosten. Sie schaltet die volle Leistungsfähigkeit jedes GPU im Rack frei.

Vielen Dank für das großartige Interview. Leser, die mehr über diese Technologie-Stapel erfahren möchten, sollten VDURA besuchen. Sie können auch unser vorheriges Interview mit Ken Claffey lesen.