Ken Claffey, CEO da VDURA – Série de Entrevistas: Uma Conversa de Retorno

Ken Claffey, CEO e Presidente da VDURA, é um líder de negócios e produtos centrado no cliente, com profunda experiência em infraestrutura de nuvem e empresa, desenvolvimento de hardware e software e impulsionando o crescimento estratégico em produtos, operações e funções de marketing. Ao longo de sua carreira, ele construiu e liderou equipes globais de alto desempenho, executou estratégia corporativa, impulsionou o crescimento de receita lucrativa e inovação de produtos e virou negócios subperformantes. Antes de assumir o comando da VDURA, Claffey ocupou cargos de liderança sênior na Seagate Technology (STX ), onde atuou como SVP e Gerente Geral supervisionando sistemas de empresa e P&L, e anteriormente ocupou posições de liderança na Xyratex, Adaptec e Eurologic, trazendo décadas de experiência em armazenamento de empresa e computação de alto desempenho.

VDURA é uma empresa de infraestrutura de dados definida por software que constrói soluções de armazenamento modernas otimizadas para cargas de trabalho de inteligência artificial e computação de alto desempenho sob o lema “velocidade encontra durabilidade”. A plataforma de dados VDURA combina desempenho de sistema de arquivos paralelos de flash com resiliência de armazenamento de objetos em uma arquitetura unificada que escala linearmente em milhares de clientes e nós, simplificando operações e reduzindo o custo total de propriedade. Originalmente fundada como Panasas e rebrandada em 2024, a plataforma VDURA suporta ambientes on-premises, nuvem e híbridos com automação avançada, aceleração de metadados e desempenho escalável projetado para manter clusters de GPU alimentados e dados protegidos para casos de uso de IA e HPC de empresa, pesquisa e missão crítica.

Como sua jornada em HPC e armazenamento de empresa moldou sua visão de que o armazenamento está se tornando o constrangimento definidor na infraestrutura de IA?

Ao construir sistemas de armazenamento para alguns dos ambientes de computação mais exigentes do mundo, você desenvolve uma intuição sobre onde os gargalos realmente vivem versus onde as pessoas supõem que vivem. Na Xyratex e por meio do trabalho do ClusterStor na Seagate, estávamos resolvendo problemas de armazenamento para supercomputadores onde a física era implacável. Você alimentava o cálculo ou não.

O que vejo agora na infraestrutura de IA é o mesmo constrangimento fundamental, apenas vestido com diferentes economias. A obsessão por GPU no mercado Neocloud era compreensível. A NVIDIA (NVDA ) criou um recurso escasso e transformador. Mas a suposição de que o armazenamento simplesmente escalaria junto com ele, barato e facilmente, sempre iria quebrar. Quebrou. O armazenamento agora está se aproximando de 20 a 30 por cento dos orçamentos de infraestrutura de IA em implantações all-flash, crescendo mais rápido do que qualquer outro componente. Quando você passou uma carreira assistindo o armazenamento se tornar o constrangimento vinculante em todos os ambientes de computação de grande escala, você para de se surpreender quando o resto do mercado chega a essa realidade.

Por que a planejamento de armazenamento foi depriorizado durante a corrida de infraestrutura Neocloud?

Algumas suposições estruturais convergiram exatamente no momento errado. Primeiro, os preços de flash eram temporariamente favoráveis. NVMe SSDs eram acessíveis e abundantes o suficiente para que ir all-flash parecesse uma escolha razoável por padrão. Não era sabedoria arquitetônica. Era um produto de uma janela econômica breve que os operadores confundiram com uma condição permanente.

Segundo, a dinâmica competitiva recompensava contagens de GPU acima de tudo. O mercado Neocloud estava sendo avaliado com base na quantidade de chips NVIDIA que você poderia montar. O armazenamento era aproximadamente um item de 10 por cento, fácil de aprovar sem escrutínio profundo. Terceiro, a decisão all-flash parecia segura porque eliminava complexidade. Uma camada, um tipo de mídia, simples de adquirir e operar. O problema é que “simples” e “sustentável economicamente” pararam de ser a mesma coisa no momento em que o fornecimento de NAND se apertou e os preços dispararam. Nessa altura, as decisões de infraestrutura já estavam travadas.

O que mais surpreende os operadores quando eles veem como o armazenamento está afetando a utilização de suas GPUs?

A relação é mais direta do que a maioria dos operadores percebe até que eles estão olhando para GPUs ociosas. Execuções de treinamento com checkpointing frequente criam demandas de escrita em explosão que podem estagnar o cálculo se a camada de armazenamento não puder absorvê-las rapidamente o suficiente. Pipelines de dados para pré-processamento e ingestão criam requisitos de throughput de leitura sustentados que, se não atendidos, privam os GPUs de trabalho.

A própria orientação da NVIDIA sobre DGX quantifica isso: o treinamento de LLM baseado em texto requer aproximadamente 0,5 GB/s de throughput de leitura por GPU, enquanto workloads de IA e visualização física requerem aproximadamente 4 GB/s de leituras e 2 GB/s de escritas por GPU. Se a arquitetura de armazenamento não puder entregar isso, você não está executando suas GPUs em capacidade. Você está executando-as na fração que o armazenamento permite.

A arquitetura importa enormemente em escala de cluster. Um sistema de armazenamento que interponha um intermediário entre o drive e o cliente pode mostrar um throughput de cabeçalho comparável em um único drive, mas em escala você pode acabar precisando de três vezes mais drives para saturar a mesma frota de GPU. Três vezes os SSDs, três vezes a potência, três vezes o espaço na prateleira. A matemática de utilização complica rapidamente.

Quais diferenciais de custo podem surgir puramente da seleção de SSD e design arquitetônico, mesmo quando as métricas de throughput de cabeçalho parecem semelhantes?

É aqui que os operadores entram em sérios problemas, porque os números de cabeçalho podem ser genuinamente enganosos. Pegue um exemplo representativo. Um SSD NVMe QLC de 122,88 TB custa aproximadamente $27.000. Um drive de 7,68 TB da mesma geração entrega um throughput sequencial comparável por cerca de $1.800. Para um cluster de 4.096 GPUs na especificação Enhanced da NVIDIA, essa única decisão de capacidade de drive produz uma conta de flash que varia de $600.000 a $9,6 milhões. O throughput é efetivamente idêntico. A única variável é quanto dados frios você está escolhendo estacionar em mídia premium que não entrega nenhum benefício de desempenho adicional.

Além disso, o design arquitetônico determina a contagem de drives em escala de cluster. Uma arquitetura que entrega aproximadamente 5,8 GB/s de throughput de leitura medido por SSD precisa de cerca de 353 drives para saturar um cluster de 4.096 GPUs. Uma arquitetura que entrega aproximadamente 1,9 GB/s por SSD, devido à sobrecarga do intermediário, precisa de mais de 1.000. A $12.000 por drive de 30 TB, essa diferença não é um erro de arredondamento – é uma questão de modelo de negócios.

Como os operadores devem repensar o armazenamento all-flash versus em camadas à medida que os preços de flash aumentam e o fornecimento de NAND permanece restrito?

O ponto de partida é aceitar que o pressuposto econômico por trás da infraestrutura de IA all-flash era sempre contingente, não fundamental. O CEO da Phison descreveu a capacidade de produção de NAND como efetivamente alocada até 2026. O Goldman Sachs (GS ) projeta que os preços de DRAM aumentarão double digits trimestre a trimestre durante o mesmo período. O padrão all-flash fez sentido quando o flash era barato e abundante. Já não é.

O quadro certo é perguntar para que o flash é realmente necessário. O flash é um meio de desempenho. Ele deve ser dimensionado para saturar os requisitos de throughput de GPU, não mais. Tudo o mais, incluindo dados frios, checkpoints que não estão sendo lidos ativamente e conjuntos de treinamento arquivados, pertence a HDDs de alta densidade, que permanecem orders de magnitude mais baratos por TB.

A armadilha em que os operadores caem é tratar a tiering como um complemento: comprar uma camada primária all-flash, adicionar uma loja de objetos separada para dados frios e conectá-los com movimentos de dados externos. Isso introduz uma segunda pilha de software, um segundo plano de dados, complexidade de rede e sobrecarga operacional. A abordagem dos hyperscalers, executando SSD e HDD dentro da mesma pilha de software com tiering de alto desempenho nativo e sem movimentos de dados externos, mantém o armazenamento mais próximo de 10 por cento do orçamento de infraestrutura enquanto ainda satura cada GPU.

Quais lições a camada Neocloud pode aprender com as escolhas de design de armazenamento dos hyperscalers?

A lição mais importante é que o Google (GOOGL ), Meta e Microsoft (MSFT ) não executam all-flash, e eles têm mais experiência de carga de trabalho de IA do que qualquer um. Eles implantam arquiteturas de camadas mistas com tiering inteligente: o suficiente de flash NVMe para saturar o throughput de GPU, então drenar para HDDs de alta densidade tão rápido quanto a física permite. Isso não é uma preferência filosófica. É um imperativo econômico impulsionado por uma compreensão clara da física da carga de trabalho de IA.

A segunda lição é a integração arquitetônica. Os hyperscalers não resolvem a tiering bolting juntos sistemas separados. Eles executam SSD e HDD na mesma pilha de software, no mesmo plano de dados, com a tiering como uma operação de primeira classe dentro do sistema de armazenamento, não como um trabalho em lote gerenciado por uma ferramenta separada. Essa integração é o que permite que eles mantenham o armazenamento economicamente viável em uma escala enorme enquanto mantém as garantias de desempenho que suas frotas de GPU exigem.

Como as equipes de infraestrutura devem quantificar o impacto econômico da disponibilidade de armazenamento em frotas de GPU?

A matemática é sombria quando você a executa honestamente. A falha de armazenamento compartilhado não produz uma queda proporcional de SLA. Produz uma violação simultânea em cada rack de GPU conectado a esse armazenamento. Um cluster de 5.000 GPUs com 98 por cento de disponibilidade de armazenamento não entrega uma perda de desempenho de 2 por cento. Produz 876.000 horas de cálculo perdidas por ano. A um custo representativo de horas de GPU, isso se traduz em milhões de dólares em cálculo ocioso anualmente, além de créditos de SLA devidos em cada rack afetado simultaneamente.

Como as diferentes arquiteturas de armazenamento se comparam em desempenho por watt em ambientes com restrição de potência?

Isso surge em quase todas as conversas de infraestrutura sérias agora, e a diferença não é marginal. É multiplicativa. Com base em especificações publicadas e configurações comparáveis, entregando aproximadamente 1.340 GB/s de throughput de leitura, uma arquitetura queima 55 kW enquanto outra alcança um desempenho semelhante a cerca de 16 kW. Isso é uma diferença de 3,4x em desempenho por watt. Em um data center onde as cargas de trabalho de IA estão consumindo 40 a 250 kilowatts por rack contra uma conexão de grade fixa, watts de armazenamento desperdiçados são GPUs que você não pode implantar. A própria documentação BlueField-4 da NVIDIA afirma explicitamente que a disponibilidade de potência é a principal restrição para dimensionar fábricas de IA.

(CRWV ) (ORCL )

Como a arquitetura de armazenamento afeta diretamente a competitividade de SLA à medida que as garantias de uptime se aproximam de 99 por cento?

O armazenamento é o único maior raio de explosão em qualquer cluster de GPU, o que o torna a variável mais importante em qualquer compromisso de SLA honesto. O sistema de classificação ClusterMAX 2.0 da SemiAnalysis, que está se tornando uma referência influente em aquisições de Neocloud, torna os SLAs um fator explícito nas negociações de preços. Fornecedores sem SLAs competitivos estão perdendo negócios agora.

Quais capacidades de armazenamento são mais prováveis de determinar a sobrevivência de longo prazo da Neocloud por meio da consolidação?

Os operadores que sobreviverão serão aqueles que resolveram a equação de custo total de propriedade em toda a pilha de infraestrutura, não apenas a equação de aquisição de GPU. Isso significa várias capacidades específicas.

Primeiro, uma arquitetura de software definida unificada que executa flash e disco em um único plano de dados com tiering de alto desempenho nativo, sem movimentos de dados externos, sem segunda pilha de software, sem complexidade operacional introduzida por sistemas separados. Segundo, armazenamento que possa cavalgar curvas de custo independentes para flash e disco à medida que esses mercados se movem independentemente um do outro, o que eles farão. Terceiro, sistemas auto-curativos que mantêm alta disponibilidade sem administradores especializados realizando recuperação manual às 3h da manhã. A complexidade operacional de armazenamento é um custo invisível que se compõe em escala. Quarto, durabilidade que possa ser credivelmente garantida em um SLA contra benchmarks de hyperscalers.

Qual é a sua mensagem para os operadores da Neocloud que estão avaliando sua estratégia de armazenamento hoje?

Não deixe que a decisão de armazenamento seja a que você fez por padrão. Cada outra parte da pilha de infraestrutura recebe escrutínio de engenharia e financeiro rigoroso. O armazenamento não deve ser diferente. Os operadores que estarão aqui em três anos são aqueles que deram uma olhada dura no seu verdadeiro custo por hora de cálculo útil por GPU, entenderam sua postura de disponibilidade real e se certificaram de que estavam dimensionados para a carga de trabalho e não para um atalho de aquisição.

A janela para fazer isso está se fechando. A consolidação já está em andamento, e a economia é implacável. Mas para os operadores que estão dispostos a repensar a camada de armazenamento com o mesmo rigor que aplicaram à seleção de GPU, a oportunidade é significativa. O armazenamento feito certo não reduz apenas o custo. Desbloqueia o valor total de cada GPU na prateleira.

Obrigado pela grande entrevista, leitores que desejam aprender mais sobre essa pilha de tecnologia devem visitar VDURA. Eles também podem ler nossa entrevista anterior com Ken Claffey.