Ken Claffey, CEO de VDURA – Serie de entrevistas: Una conversación de regreso

Ken Claffey, CEO y Presidente de VDURA, es un experimentado líder de negocios y productos centrado en el cliente, con una profunda experiencia en infraestructura en la nube y empresarial, desarrollo de hardware y software, y conducción de crecimiento estratégico en productos, operaciones y funciones de ir al mercado. A lo largo de su carrera, ha construido y liderado equipos globales de alto rendimiento, ejecutado estrategia corporativa, impulsado crecimiento de ingresos rentables y innovación de productos, y dado la vuelta a negocios que no rendían. Antes de asumir el cargo en VDURA, Claffey ocupó puestos de liderazgo senior en Seagate Technology (STX ), donde se desempeñó como Vicepresidente Senior y Gerente General supervisando sistemas empresariales y P&L, y ocupó puestos de liderazgo anteriores en Xyratex, Adaptec y Eurologic, trayendo décadas de experiencia en almacenamiento empresarial y computación de alto rendimiento.

VDURA es una empresa de infraestructura de datos definida por software que construye soluciones de almacenamiento modernas optimizadas para cargas de trabajo de inteligencia artificial y computación de alto rendimiento bajo el lema “velocidad encuentra durabilidad”. La plataforma de datos insignia de VDURA combina el rendimiento de un sistema de archivos paralelo de primer plano con la resistencia del almacenamiento de objetos en una arquitectura unificada que se escala linealmente a través de miles de clientes y nodos, simplificando las operaciones y reduciendo el costo total de propiedad. Originalmente fundada como Panasas y rebautizada en 2024, la plataforma de VDURA admite entornos locales, en la nube y híbridos con automatización avanzada, aceleración de metadatos y rendimiento escalable diseñado para mantener alimentados a los clústeres de GPU y proteger los datos para casos de uso de inteligencia artificial y computación de alto rendimiento empresarial, de investigación y críticos.

¿Cómo ha moldeado su viaje a través de HPC y almacenamiento empresarial su visión de que el almacenamiento se está convirtiendo en la restricción definitoria en la infraestructura de inteligencia artificial?

Al haber construido sistemas de almacenamiento para algunos de los entornos de cómputo más exigentes del mundo, desarrollas una intuición sobre dónde viven los cuellos de botella en realidad, en lugar de dónde la gente asume que viven. En Xyratex y a través del trabajo de ClusterStor en Seagate, estábamos resolviendo problemas de almacenamiento para supercomputadoras donde la física era implacable. O alimentabas al cómputo o no.

Lo que veo ahora en la infraestructura de inteligencia artificial es la misma restricción fundamental, solo disfrazada con diferentes economías. La obsesión con GPU en el mercado Neocloud era comprensible. NVIDIA (NVDA ) creó un recurso escaso y transformador. Pero la suposición de que el almacenamiento se escalaría junto con él, barato y fácilmente, siempre iba a romperse. Se ha roto. El almacenamiento ahora tiende hacia el 20 al 30 por ciento de los presupuestos de infraestructura de inteligencia artificial en implementaciones de todo flash, creciendo más rápido que cualquier otro componente. Cuando has pasado una carrera viendo cómo el almacenamiento se convierte en la restricción vinculante en cada entorno de cómputo a gran escala, dejas de sorprenderte cuando el resto del mercado se pone al día con esa realidad.

¿Por qué se despriorizó la planificación de almacenamiento durante la toma de infraestructura de Neocloud?

Unas suposiciones estructurales convergieron en el momento exacto. Primero, los precios de flash eran temporalmente favorables. Los SSD NVMe eran asequibles y abundantes, por lo que ir todo flash se sentía como una opción razonable por defecto. No era sabiduría arquitectónica. Era un producto de una ventana económica breve que los operadores confundieron con una condición permanente.

En segundo lugar, la dinámica competitiva recompensaba las cuentas de GPU por encima de todo lo demás. El mercado Neocloud se estaba evaluando según cuántos chips NVIDIA podías rack. El almacenamiento era aproximadamente un artículo de línea del 10 por ciento, fácil de aprobar sin una profunda revisión. En tercer lugar, la decisión de todo flash se sentía segura porque eliminaba la complejidad. Un nivel, un tipo de medio, simple de aprovisionar y operar. El problema es que “simple” y “sostenible económicamente” dejaron de ser lo mismo en el momento en que la oferta de NAND se tensó y los precios aumentaron. Para entonces, las decisiones de infraestructura ya estaban bloqueadas.

¿Qué sorprende más a los operadores cuando ven cómo el almacenamiento afecta la utilización de sus GPU?

La relación es más directa de lo que la mayoría de los operadores se dan cuenta hasta que están mirando GPU inactivas. Las ejecuciones de entrenamiento con puntos de control frecuentes crean demandas de escritura en ráfagas que pueden estancar el cómputo si la capa de almacenamiento no puede absorberlas lo suficientemente rápido. Los pipelines de datos para el procesamiento previo y la ingesta crean requisitos de rendimiento de lectura sostenida que, si no se cumplen, privan a las GPU de trabajo.

La propia guía de DGX de NVIDIA lo cuantifica: el entrenamiento basado en texto de LLM requiere aproximadamente 0,5 GB/s de rendimiento de lectura por GPU, mientras que los trabajos de inteligencia artificial y visualización física requieren aproximadamente 4 GB/s de lecturas y 2 GB/s de escrituras por GPU. Si su arquitectura de almacenamiento no puede entregar eso, no está ejecutando sus GPU a capacidad. Está ejecutándolas a la fracción que su almacenamiento permite.

La arquitectura importa enormemente a escala de clúster. Un sistema de almacenamiento que interponga un intermediario entre la unidad y el cliente puede mostrar un rendimiento de titular comparable en una sola unidad, pero a escala puede terminar necesitando tres veces más unidades para saturar la misma flota de GPU. Tres veces más SSD, tres veces la potencia, tres veces el espacio en el rack. Las matemáticas de utilización se complican rápidamente.

¿Qué diferenciales de costo pueden surgir puramente de la selección de SSD y el diseño arquitectónico, incluso cuando las métricas de rendimiento de titular parecen similares?

Este es el lugar donde los operadores se meten en problemas serios, porque los números de titular pueden ser genuinamente engañosos. Tomemos un ejemplo representativo. Un SSD NVMe QLC de 122,88 TB cuesta aproximadamente $27,000. Un disco de 7,68 TB de la misma generación entrega un rendimiento de secuencia comparable por alrededor de $1,800. Para un clúster de 4,096 GPU en la especificación mejorada de NVIDIA, esa sola decisión de selección de capacidad produce una factura de flash que va desde $600,000 hasta $9,6 millones. El rendimiento es efectivamente idéntico. La única variable es cuántos datos fríos elige estacionar en un medio premium que no entrega ningún beneficio de rendimiento adicional.

Además, el diseño arquitectónico determina la cantidad de unidades en la escala del clúster. Una arquitectura que entrega aproximadamente 5,8 GB/s de rendimiento de lectura medido por SSD necesita alrededor de 353 unidades para saturar un clúster de 4,096 GPU. Una arquitectura que entrega aproximadamente 1,9 GB/s por SSD, debido a la sobrecarga del intermediario, necesita más de 1,000. A $12,000 por unidad de 30 TB, esa diferencia no es un error de redondeo: es una pregunta de modelo de negocio.

¿Cómo deberían replantear los operadores todo flash versus almacenamiento en niveles a medida que aumentan los precios de flash y la oferta de NAND sigue restringida?

El punto de partida es aceptar que el supuesto económico detrás de la infraestructura de inteligencia artificial de todo flash siempre fue contingente, no fundamental. El CEO de Phison ha descrito la capacidad de producción de NAND como efectivamente asignada hasta 2026. Goldman Sachs (GS ) proyecta que los precios de DRAM aumentarán en dos dígitos trimestre a trimestre durante el mismo período. El supuesto de todo flash tenía sentido cuando el flash era barato y abundante. Ya no lo es.

El marco correcto es preguntar para qué es realmente el flash. El flash es un medio de rendimiento. Debe dimensionarse para saturar los requisitos de rendimiento de GPU, nada más. Todo lo demás, incluidos los datos fríos, los puntos de control que no se están leyendo activamente y los conjuntos de entrenamiento archivados, pertenecen a discos duros de alta densidad, que siguen siendo órdenes de magnitud más baratos por TB.

La trampa en la que caen los operadores es tratar la jerarquía como algo que se puede agregar: comprar una capa primaria de todo flash, agregar una tienda de objetos separada para datos fríos y conectarlos con movimientos de datos externos. Eso introduce una segunda pila de software, un segundo plano de datos, complejidad de red y sobrecarga operativa. El enfoque de los hiperscalers, que ejecuta SSD y HDD dentro de la misma pila de software con jerarquía de alto rendimiento nativa y sin movimientos de datos externos, mantiene el almacenamiento más cerca del 10 por ciento del presupuesto de infraestructura mientras aún satura cada GPU.

¿Qué lecciones puede aprender la capa Neocloud de las elecciones de diseño de almacenamiento de los hiperscalers?

La lección más importante es que Google (GOOGL ), Meta y Microsoft (MSFT ) no ejecutan todo flash, y tienen más experiencia en cargas de trabajo de inteligencia artificial que nadie. Despliegan arquitecturas de niveles mixtos con jerarquía inteligente: suficiente flash NVMe para saturar el rendimiento de GPU, luego drenar a discos duros de alta densidad tan rápido como la física lo permita. Esto no es una preferencia filosófica. Es un imperativo económico impulsado por una comprensión clara de la física de las cargas de trabajo de inteligencia artificial.

La segunda lección es la integración arquitectónica. Los hiperscalers no resuelven la jerarquía uniendo sistemas separados. Ejecutan SSD y HDD en la misma pila de software, el mismo plano de datos, con la jerarquía como una operación de primera clase dentro del sistema de almacenamiento, no como un trabajo por lotes administrado por una herramienta separada. Esa integración es lo que les permite mantener el almacenamiento económico a una escala enorme mientras mantiene las garantías de rendimiento que sus flotas de GPU requieren.

¿Cómo deberían cuantificar los equipos de infraestructura el impacto económico de la disponibilidad de almacenamiento en las flotas de GPU?

Las matemáticas son sobrias cuando se ejecutan honestamente. El fallo de almacenamiento compartido no produce una brecha de SLA proporcional. Produce una violación simultánea en cada rack de GPU conectado a ese almacenamiento. Un clúster de 5,000 GPU con una disponibilidad de almacenamiento del 98 por ciento no entrega una pérdida de rendimiento del 2 por ciento. Produce 876,000 horas de cómputo perdidas por año. A costos representativos de hora de GPU, eso se traduce en millones de dólares en cómputo inactivo anualmente, más créditos de SLA adeudados en cada rack afectado simultáneamente.

¿Cómo afecta la arquitectura de almacenamiento directamente la competitividad de SLA a medida que se acercan las garantías de disponibilidad al 99 por ciento?

El almacenamiento es el radio de explosión más grande en cualquier clúster de GPU, lo que lo convierte en la variable más importante en cualquier compromiso de SLA honesto. El sistema de calificación ClusterMAX 2.0 de SemiAnalysis, que se está convirtiendo en una referencia influyente en la adquisición de Neocloud, hace que los SLA sean un factor explícito en las negociaciones de precios. Los proveedores sin SLA competitivos están perdiendo tratos ahora.

(CRWV ) (ORCL )

¿Qué capacidades de almacenamiento son más probable que determinen la supervivencia a largo plazo de Neocloud a través de la consolidación?

Los operadores que sobrevivirán serán aquellos que hayan resuelto la ecuación del costo total de propiedad en toda la pila de infraestructura, no solo en la ecuación de adquisición de GPU. Eso significa varias capacidades específicas.

En primer lugar, una arquitectura unificada definida por software que ejecuta flash y disco en un solo plano de datos con jerarquía de alto rendimiento nativa, sin movimientos de datos externos, sin segunda pila de software, sin complejidad operativa introducida por la unión de sistemas separados. En segundo lugar, almacenamiento que pueda cabalgar curvas de costo independientes para flash y disco a medida que esos mercados se mueven de forma independiente. En tercer lugar, sistemas auto-sanadores que mantienen una alta disponibilidad sin administradores especializados que realicen recuperaciones manuales a las 3 AM. La complejidad operativa del almacenamiento es un costo invisible que se compone a escala. En cuarto lugar, durabilidad que pueda ser creíblemente respaldada en un SLA contra las referencias de los hiperscalers.

¿Qué mensaje tiene para los operadores de Neocloud que están evaluando su estrategia de almacenamiento hoy en día?

No dejen que la decisión de almacenamiento sea la que tomaron por defecto. Cada otra parte de la pila de infraestructura recibe una ingeniería y una revisión financiera rigurosas. El almacenamiento no debería ser diferente. Los operadores que estarán aquí en tres años son aquellos que echaron un vistazo duro a su verdadero costo por hora de cómputo útil, entendieron su postura de disponibilidad real y se aseguraron de estar dimensionados para la carga de trabajo en lugar de para un atajo de adquisición.

La ventana para hacerlo bien se está cerrando. La consolidación ya está en marcha, y las economías son implacables. Pero para los operadores que están dispuestos a replantear la capa de almacenamiento con el mismo rigor que aplicaron a la selección de GPU, la oportunidad es significativa. El almacenamiento hecho correctamente no solo reduce el costo. Desbloquea el valor completo de cada GPU en el rack.

Gracias por la gran entrevista, los lectores que desean aprender más sobre esta pila de tecnología pueden visitar VDURA. También pueden leer nuestra entrevista anterior con Ken Claffey.