Databricks disponibiliza o AI Runtime para treinamento de GPUs

Em 21 de outubro de 2026, a Databricks anunciou a disponibilidade geral do AI Runtime (AIR), uma plataforma de GPU sem servidor e totalmente gerenciada, integrada ao Databricks Lakehouse para treinar e ajustar modelos de aprendizado profundo com dados empresariais.

A Databricks afirmou que centenas de empresas, incluindo Robinhood, PicPay, Merck, Flo Health, TinyFish e FactSet, já usam o AIR para treinar modelos de aprendizado profundo e colocá-los em produção, em casos de uso que abrangem saúde, manufatura e agentes voltados ao consumidor. A empresa disse que sua própria equipe de pesquisa em IA da Databricks usa a plataforma para treinar os modelos por trás do KARL e do AI Parse e descreveu o AIR como testado em condições reais em mais de 100.000 horas de treinamento em GPU.

A empresa apresentou o lançamento como uma resposta ao fato de as equipes de IA passarem mais tempo garantindo capacidade de GPU, gerenciando falhas e esperando o início dos experimentos do que aprimorando seus modelos. Segundo o anúncio, executar a infraestrutura de GPU separadamente do Lakehouse cria lacunas de governança e põe em risco dados confidenciais de treinamento.

Infraestrutura de GPU gerenciada

A Databricks assume a responsabilidade por adquirir GPUs, configurar clusters e gerenciar a rede, permitindo que os clientes comecem a treinar sem precisar operar sua própria plataforma completa de GPU. A empresa afirmou que executa dezenas de verificações da integridade das GPUs e da rede antes e durante o treinamento, para que as cargas de trabalho possam ser ampliadas com confiabilidade para centenas de GPUs. A plataforma valida as GPUs antes de programá-las, monitora continuamente as cargas de trabalho ativas e testa periodicamente as GPUs ociosas para detectar e remover nós com problemas.

O AIR movimenta os dados de treinamento por meio de carregadores integrados que os transmitem e armazenam em cache, reduzindo o tempo que os trabalhos passam aguardando operações de entrada e saída. Uma ferramenta complementar, UCVolumeDataset, foi projetada para aumentar a taxa de transferência de dados sem exigir um pipeline de carregamento personalizado. Os usuários podem acessar as GPUs por uma interface de linha de comando ou trabalhar interativamente em notebooks e IDEs. A Databricks afirmou que basta um único comando da CLI para iniciar a primeira carga de trabalho e que o recurso AIR Skills migra cargas de trabalho de clusters Kubernetes ou SLURM com um único comando em linguagem natural.

O AIR se integra nativamente ao Lakeflow, produto de orquestração de pipelines da empresa, mantendo as cargas de trabalho de GPU sincronizadas com os pipelines anteriores e posteriores. Segundo o anúncio, são necessárias apenas algumas linhas adicionais de YAML para levar uma carga de trabalho à produção. O anúncio também mencionou controles integrados de prioridade e preempção, que minimizam o tempo de inatividade das GPUs, e o monitoramento por ferramentas como o Genie ZeroOps. A página do produto AI Runtime lista GPUs NVIDIA sob demanda com capacidade em várias regiões, treinamento distribuído em várias GPUs e nós com rede RDMA gerenciada, pontos de verificação otimizados para trabalhos de longa duração e suporte a contêineres Docker personalizados, inclusive contêineres NVIDIA NGC.

Kostia Omelianchuk, cientista de pesquisa aplicada e líder técnico de área na Superhuman, afirmou no anúncio que a plataforma permitiu à sua equipe transferir o treinamento em larga escala de um nó com oito GPUs A100 para 16 GPUs H100 distribuídas por vários nós. O tempo de treinamento caiu de aproximadamente sete dias para 48 horas, o que ele descreveu como uma aceleração de 3,5 vezes.

Inicialização e depuração em segundos

A Databricks afirmou que o AIR oferece latência de inicialização de poucos segundos, mesmo em grandes clusters com RDMA e dezenas de GPUs. O serviço usa pools aquecidos de GPUs sem servidor e carregamento preguiçoso de imagens, iniciando as cargas de trabalho em segundos enquanto os dados restantes da imagem são carregados em segundo plano. Os usuários podem executar ambientes pré-configurados ou usar seus próprios contêineres; com o armazenamento em cache dos ambientes, eles são criados apenas uma vez. A empresa descreveu o AIR como compatível com todas as principais estruturas de aprendizado de máquina, e a página do produto cita PyTorch e Ray entre as opções compatíveis.

A Databricks afirmou que uma nova experiência de observabilidade na ferramenta de acompanhamento de experimentos MLflow transmite registros segundos após o envio de uma execução, quando os usuários adicionam o sinalizador watch a um comando do AIR; além disso, um novo visualizador de registros foi desenvolvido especificamente para treinamento em vários nós. O Genie Code está integrado a toda a experiência e inclui habilidades de agente pré-configuradas para depurar problemas e otimizar o desempenho do treinamento em GPU. A empresa disse que essas habilidades incorporam conhecimentos de suas equipes de pesquisa e desempenho, incluindo a redução em 6 vezes do tempo de treinamento do Qwen no AIR.

Joe Tyler, pesquisador líder de IA na Sonar, afirmou que os engenheiros de pesquisa da empresa usaram o AIR para montar pipelines de treinamento de LLMs e testar hipóteses rapidamente, com visibilidade de cada etapa do pipeline. Nikhil Sunderraj, engenheiro principal de aprendizado de máquina na FactSet, disse que o tempo necessário para configurar, treinar e implantar um modelo personalizado Text To Formula caiu de dias para horas.

Segurança, governança e primeiros passos

A Databricks afirmou que o AIR opera dentro do perímetro de governança da Databricks e do Unity Catalog, que aplica permissões consistentes de leitura e gravação ao acesso a dados, pontos de verificação e registros das cargas de trabalho de GPU. A empresa disse que o AIR oferece isolamento no nível da máquina virtual, em vez de mecanismos de isolamento que expõem o kernel do host, e que oferece suporte ao PrivateLink e a controles de saída de dados sem servidor, respaldados pelos investimentos da empresa em segurança sem servidor. O anúncio citou o incidente da OpenAI com o Hugging Face como exemplo dos riscos de gerenciar a infraestrutura de GPU separadamente dos dados empresariais sujeitos à governança.

O uso e os custos do AIR aparecem nas tabelas do sistema de faturamento da Databricks, junto com outras cargas de trabalho da Databricks, e os registros de uso por carga de trabalho mostram quais execuções de treinamento consomem o orçamento de GPU.

Robert Macy III, engenheiro de aprendizado de máquina da Robinhood, afirmou que o AIR ajuda suas equipes a passar da experimentação ao treinamento mais rapidamente, com governança e controles de dados integrados. Eran Barash, vice-presidente de inteligência artificial e aprendizado de máquina da QuantHealth, afirmou que sua equipe amplia o treinamento distribuído em GPUs sem servidor para milhões de registros nos fluxos de trabalho de dados existentes. Zach Richardson, chefe de IA da TinyFish, afirmou que sua equipe pode treinar em GPUs, avaliar resultados com o MLflow e disponibilizar o modelo nativo da web da empresa sem configurar uma infraestrutura separada para cada etapa.

A Databricks indicou aos novos usuários um guia de início rápido, notebooks modelo e guias introdutórios, além de um repositório clonável chamado ai-runtime-cookbook no GitHub, que, segundo a empresa, pode iniciar uma primeira carga de trabalho de GPU com um único comando da CLI. A empresa orientou os clientes a procurar suas equipes de conta para obter mais informações.