David Driggers, CTO da Cirrascale – Série de Entrevistas

David Driggers é o Diretor de Tecnologia da Cirrascale Cloud Services, um provedor líder de soluções de infraestrutura de aprendizado profundo. Orientado por valores de integridade, agilidade e foco no cliente, a Cirrascale entrega soluções inovadoras e baseadas em nuvem de Infraestrutura como Serviço (IaaS). Em parceria com líderes do ecossistema de IA, como Red Hat e WekaIO, a Cirrascale garante acesso sem interrupções a ferramentas avançadas, permitindo que os clientes impulsionem o progresso no aprendizado profundo, mantendo custos previsíveis.

A Cirrascale é o único provedor de GPUaaS que faz parceria com grandes empresas de semicondutores, como NVIDIA (NVDA ), AMD, Cerebras (CBRS ) e Qualcomm. Como essa posição única beneficia seus clientes em termos de desempenho e escalabilidade?

À medida que a indústria evolui de Treinamento de Modelos para a implantação desses modelos, chamada de Inferência, não há uma solução que se encaixe em todos. Dependendo do tamanho e dos requisitos de latência do modelo, diferentes aceleradores oferecem diferentes valores que podem ser importantes. Tempo de resposta, vantagens de custo por token ou desempenho por watt podem afetar o custo e a experiência do usuário. Como a Inferência é para produção, esses recursos/capacidades importam.

O que distingue a Nuvem de Inovação em IA da Cirrascale de outros provedores de GPUaaS no apoio a fluxos de trabalho de IA e aprendizado profundo?

A Nuvem de Inovação em IA da Cirrascale permite que os usuários experimentem, de forma segura, assistida e totalmente suportada, novas tecnologias que não estão disponíveis em outras nuvens. Isso pode ajudar não apenas nas decisões de tecnologia em nuvem, mas também em possíveis compras no local.

Como a plataforma da Cirrascale garante a integração sem interrupções para startups e empresas com necessidades de aceleração de IA diversificadas?

A Cirrascale adota uma abordagem de solução para sua nuvem. Isso significa que, tanto para startups quanto para empresas, oferecemos uma solução completa que inclui Dev-Ops e Infra-Ops. Embora chamemos de “bare-metal” para distinguir nossas ofertas como não compartilhadas ou virtualizadas, a Cirrascale configura completamente todos os aspectos da oferta, incluindo a configuração completa dos servidores, networking, Armazenamento, Segurança e Requisitos de Acesso de Usuário antes de entregar o serviço aos nossos clientes. Nossos clientes podem começar a usar o serviço imediatamente, em vez de ter que configurar tudo eles mesmos.

Adoção de IA em toda a empresa enfrenta barreiras como qualidade de dados, restrições de infraestrutura e altos custos. Como a Cirrascale aborda esses desafios para empresas que escalonam iniciativas de IA?

Embora a Cirrascale não ofereça serviços de Qualidade de Dados, fazemos parceria com empresas que podem ajudar com problemas de dados. Quanto à Infraestrutura e custos, a Cirrascale pode personalizar uma solução específica para as necessidades de um cliente, o que resulta em um melhor desempenho geral e custos relacionados às necessidades específicas do cliente.

Com os avanços do Google (GOOGL ) em computação quântica (Willow) e modelos de IA (Gemini 2.0), como você vê o cenário de IA empresarial mudando no futuro próximo?

A Computação Quântica ainda está longe de ser pronta para a maioria das pessoas devido à falta de programadores e programas prontos para usar que possam aproveitar os recursos. O Gemini 2.0 e outras ofertas em grande escala, como GPT4 e Claude, certamente terão alguma aceitação por parte dos clientes empresariais, mas uma grande parte do mercado empresarial não está preparada para confiar seus dados a terceiros, especialmente aqueles que podem usar esses dados para treinar seus modelos.

Encontrar o equilíbrio certo de poder, preço e desempenho é crítico para escalonar soluções de IA. Quais são suas principais recomendações para empresas que navegam nesse equilíbrio?

Teste, teste, teste. É crucial para uma empresa testar seu modelo em diferentes plataformas. Produção é diferente de desenvolvimento – o custo importa na produção. O treinamento pode ser uma coisa feita uma vez, mas a inferência é para sempre. Se os requisitos de desempenho puderem ser atendidos a um custo menor, essas economias vão para a linha de fundos e podem até tornar a solução viável. Muitas vezes, a implantação de um grande modelo é muito cara para ser prática para uso. Os usuários finais também devem procurar empresas que possam ajudar com esse teste, pois, frequentemente, um engenheiro de ML pode ajudar com a implantação versus o cientista de dados que criou o modelo.

Como a Cirrascale está adaptando suas soluções para atender à crescente demanda por aplicações de IA gerativa, como LLMs e modelos de geração de imagens?

A Cirrascale oferece a maior variedade de aceleradores de IA e, com a proliferação de LLMs e modelos de IA gerativa, que variam tanto em tamanho quanto em escopo (como cenários multimodais), e em lotes versus tempo real, é realmente um caso de “cavalo para o curso”.

Pode fornecer exemplos de como a Cirrascale ajuda as empresas a superar gargalos de latência e transferência de dados em fluxos de trabalho de IA?

A Cirrascale tem vários data centers em múltiplas regiões e não vê a conectividade de rede como um centro de lucro. Isso permite que nossos usuários “dimensionem corretamente” as conexões necessárias para mover dados, bem como utilizem mais de um local se a latência for uma característica crítica. Além disso, ao perfilar as cargas de trabalho reais, a Cirrascale pode ajudar a equilibrar a latência, o desempenho e o custo para entregar o melhor valor após atender aos requisitos de desempenho.

Quais são as tendências emergentes em hardware ou infraestrutura de IA que você está mais animado e como a Cirrascale está se preparando para elas?

Estamos mais animados com novos processadores projetados especificamente para inferência versus processadores baseados em GPU genéricos que se encaixam bem no treinamento, mas não são otimizados para casos de uso de inferência, que têm requisitos de computação intrinsicamente diferentes do treinamento.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Cirrascale Cloud Services.