Corey Sanders, Vice-Presidente Sênior de Produto da CoreWeave – Série de Entrevistas

Corey Sanders, Vice-Presidente Sênior de Produto da CoreWeave (CRWV ), lidera a estratégia e execução de um dos plataformas de nuvem com foco em IA de crescimento mais rápido. Ele é responsável por escalar a inovação, criar soluções personalizadas com os clientes e fortalecer a posição da CoreWeave no mercado de infraestrutura de IA. Antes de se juntar à CoreWeave, Sanders passou duas décadas na Microsoft (MSFT ) em funções de liderança sênior que abrangiam engenharia de nuvem, plataformas específicas de setor, estratégia de soluções comerciais e parcerias de empresa em grande escala, com experiência profunda em conectar a execução técnica e a estratégia de go-to-market.

CoreWeave é um provedor de nuvem nativo de IA construído especificamente para computação de alto desempenho e cargas de trabalho de IA em grande escala. A empresa opera uma pegada de data centers em expansão rápida nos EUA e na Europa, fornecendo infraestrutura e software acelerados por GPU projetados para treinamento de IA, inferência e casos de uso de computação avançada. Ao se concentrar em arquitetura personalizada em vez de nuvem de propósito geral, a CoreWeave se tornou um parceiro de infraestrutura crítico para laboratórios de IA e empresas que buscam desempenho, escalabilidade e eficiência em grande escala.

Você passou mais de 20 anos na Microsoft trabalhando em engenharia do Windows, estratégia de vendas de nuvem e Nuvem da Microsoft para Setores. O que essa progressão lhe ensinou sobre o que realmente impulsiona a adoção empresarial, e como você está aplicando essas lições hoje na CoreWeave?

A adoção empresarial começa com a resolução de um problema específico do cliente. A inovação por si só não é tão crucial para as empresas. É sobre se colocar no lugar delas para entender o que realmente as aflige — se é o custo do suporte, complexidades operacionais, conexão com os clientes ou gestão de equipes e linhas de produtos globais — e então fornecer serviços que ajudem. Eles muitas vezes estão dispostos a ser inovadores em sua abordagem, mas a consideração mais crucial é ajudá-los a resolver seu problema. O erro mais frequente que vejo no design de produtos é se deixar levar pelo “quão legal” é o produto. Embora isso tenha peso no espaço de consumo, os clientes empresariais, no final, se importam muito mais com a utilidade do que com a “legalidade”.

A CoreWeave é frequentemente descrita como oferecendo infraestrutura de IA personalizada. Em termos práticos, o que significa personalizada do ponto de vista do produto, e onde as plataformas de nuvem de propósito geral lutam com as cargas de trabalho de IA?

O maior benefício de ser personalizada é a capacidade de se concentrar e fornecer serviços sem precisar resolver todos os casos de uso gerais. Vou dar dois exemplos: um em software e outro em hardware.

No lado do software, nossa oferta de Armazenamento de Objetos com cache LOTA é focada especificamente no cache para cargas de trabalho de IA. Ele é implantado diretamente nos nós GPU, fornece um ponto de extremidade S3 para o aplicativo e responde a solicitações de GPU, espalhando seu cache por vários nós. Isso aumenta a taxa de transferência para a GPU em até 7 GB/s, muito além do que as nuvens de propósito geral oferecem. Podemos alcançar isso porque fazemos suposições de design em torno de cargas de trabalho de IA específicas, divisões de leitura/escrita e layouts de cluster. Se um cliente usasse isso para hospedar um banco de dados ou um site de comércio eletrônico, não teria o mesmo impacto. Essa é a definição de software personalizado.

O exemplo de hardware é semelhante. Dada nossa implantação extensiva de SKUs NVIDIA (NVDA ) de última geração — muitos dos quais exigem resfriamento líquido —, a CoreWeave construiu expertise e projetos de data centers específicos para atender a essas necessidades. Ao contrário das nuvens maiores que constroem para fungibilidade e então devem adicionar resfriamento líquido retroativamente, a CoreWeave constrói data centers focados em IA desde o início. Isso resulta em menores custos e maior disponibilidade para os tipos de SKU mais recentes.

Abaixo está uma imagem do cache LOTA mencionado.

Quando os clientes começam a pensar em escalar a IA, muitos acreditam que precisam apenas de acesso a GPUs. O que eles geralmente percebem que estão faltando uma vez que começam a treinar ou servir modelos em escala?

Dada a complexidade de executar cargas de trabalho em clusters de GPU maciços, os serviços circundantes se tornam os verdadeiros impulsionadores do sucesso. Isso inclui os óbvios, como armazenamento e rede, mas também serviços operacionais críticos como observabilidade, orquestração e segurança. É aqui que a CoreWeave realmente brilha com nossa oferta Mission Control. Ela fornece aos clientes uma profunda conscientização da saúde do nó e do tempo de execução em toda a frota, integrando esse conhecimento diretamente no motor de orquestração. Isso permite que o cliente trate sua infraestrutura não como 1.000 GPUs individuais, mas como uma única entidade de trabalho coesa.

Quais são as principais prioridades de produto em que você está se concentrando agora para melhorar os resultados dos clientes, seja em termos de desempenho, confiabilidade, previsibilidade de custos ou experiência do desenvolvedor?

Na plataforma central, estamos constantemente focados em desempenho, confiabilidade e observabilidade. Devemos garantir que os clientes possam executar trabalhos de forma repetível e previsível, aproveitando ao máximo cada TFLOP em cada GPU. Além disso, estamos trabalhando para simplificar a integração para clientes que podem não estar familiarizados com todos os recursos de uma ferramenta como SLURM (que todos usam, mas quase todos odeiam). Finalmente, estamos desenvolvendo serviços adicionais e modelos de faturamento para tornar mais fácil inovar e começar pequeno. Atualmente, experimentar é surpreendentemente difícil devido a altas barreiras de entrada, como restrições de capacidade, compromissos de três anos e a necessidade de especialistas especializados apenas para começar. Queremos trazer de volta a facilidade de inovação para a plataforma de IA.

À medida que mais cargas de trabalho de IA mudam de treinamento intensivo para inferência intensiva, como essa transição influencia as decisões de design de infraestrutura e estratégia de produto?

Isso cria oportunidades significativas para aplicar a diferenciação existente da CoreWeave às necessidades de inferência. Por exemplo, o cache LOTA que mencionei se concentra em alimentar as GPUs durante o treinamento; no entanto, podemos pegar essa mesma tecnologia, integrá-la a coisas como o KVCache e transformá-la em um diferenciador de inferência poderoso. Da mesma forma, ferramentas como Mission Control se tornam ainda mais vitais para a inferência, pois observar a saúde da GPU é crucial para executar aplicações altamente disponíveis.

Nos próximos um a dois anos, o que definirá a liderança no mercado de nuvem de IA, e quais capacidades serão mais importantes para os clientes?

Acredito que a liderança será definida por duas coisas. A primeira é entregar as necessidades de escala em constante crescimento para o treinamento. Isso exigirá avanços em observabilidade, monitoramento de saúde e recuperação automática. Quando você se move de centenas para dezenas de milhares de GPUs distribuídas globalmente, a resposta manual a falhas é um não-início.

A segunda é entregar os serviços certos para inferência e cargas de trabalho agênticas. Isso requer capacidades de implantação global e modelos de negócios que incentivem a experimentação. Esse padrão de uso foi o que ajudou a nuvem a crescer originalmente, e foi um pouco perdido na era da IA. Precisamos trazê-lo de volta por meio de melhor suporte à plataforma, capacidades de multi-nuvem e facilidade de uso multi-região.

Você liderou anteriormente iniciativas de nuvem específicas de setor em saúde, varejo, serviços financeiros, manufatura e nuvem soberana. Quais lições desses setores verticais se traduzem diretamente para a infraestrutura de IA, e quais não?

Mudanças geracionais nos GPUs continuam a introduzir novas complexidades. Cada novo lançamento traz interconexão aumentada, memória maior e necessidades de energia maiores, todas as quais exigem que revisitemos nossas suposições sobre como os nós são conectados e como o software é entregue. Devemos permanecer implacáveis aqui para manter nossa liderança. Por outro lado, a área que está melhorando mais rapidamente é a escala pura do que os clientes podem realizar; a velocidade com que estão se adaptando a footprints de computação maiores é impressionante.

À medida que os data centers e clusters de IA continuam a escalar, quais desafios operacionais estão provando ser os mais difíceis de resolver hoje, e quais estão melhorando mais rapidamente?

As mudanças geracionais dos GPUs continuam a criar novas complexidades no design e no software. Cada novo lançamento de GPU vem com capacidades de interconexão aumentadas, memória maior, necessidades de energia maiores, etc., que exigem que revisitemos nossas suposições sobre como os nós são conectados, como os racks são gerenciados e como o software entrega. Vamos precisar continuar a nos concentrar nesse trabalho para garantir que mantenhamos nossa posição de liderança. Os que estão melhorando mais rapidamente são o que os clientes são capazes de realizar com a escala crescente de computação.

Na infraestrutura de IA, a confiabilidade vai além do tempo de atividade. Como a CoreWeave define confiabilidade, e quais indicadores refletem melhor o sucesso do ponto de vista do cliente?

Em escala, a consideração mais importante para um cliente é simplesmente concluir o trabalho. Em operações maciças, falhas ou desacelerações individuais são esperadas. A chave é como detectamos e respondemos automaticamente a esses problemas para garantir que o trabalho seja concluído apesar dos desafios. É por isso que integramos o Mission Control em serviços de nível superior, como o SUNK (Slurm no Kubernetes). Isso permite que os clientes respondam a falhas automaticamente sem perder horas ou semanas de trabalho. Para nós, o sucesso não é apenas sobre o tempo de atividade do nó; é sobre o sucesso do trabalho.

Olhando para o futuro, qual é a grande mudança na infraestrutura de IA que você acredita ainda está subestimada, seja relacionada à evolução do hardware, especialização de pilhas, requisitos de soberania ou novos modelos de implantação?

Acredito que o advento do Aprendizado por Reforço (RL) como uma parte renovada da pilha de IA ainda está subestimada. Embora não seja um campo de estudo novo, foi amplamente ofuscado durante a onda inicial de desenvolvimento de LLM. O RL está fazendo um retorno e desempenhará um papel vital em tornar os serviços de IA mais responsivos às paisagens em mudança de seus usuários. Por causa disso, estamos muito animados com a oferta de RL sem servidor que temos hoje.

Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar CoreWeave.