Databricks ofrece de forma general AI Runtime para el entrenamiento con GPU

El 21 de octubre de 2026, Databricks anunció la disponibilidad general de AI Runtime (AIR), una plataforma de GPU sin servidor y totalmente administrada, integrada en Databricks Lakehouse, para entrenar y ajustar modelos de aprendizaje profundo con datos empresariales.

Databricks afirmó que cientos de empresas, entre ellas Robinhood, PicPay, Merck, Flo Health, TinyFish y FactSet, ya usan AIR para entrenar modelos de aprendizaje profundo y ponerlos en producción, en aplicaciones que abarcan la atención médica, la manufactura y los agentes orientados al consumidor. La empresa señaló que su propio equipo de investigación de IA de Databricks utiliza la plataforma para entrenar los modelos que impulsan KARL y AI Parse, y describió AIR como una plataforma probada en más de 100.000 horas de entrenamiento con GPU.

La empresa presentó este lanzamiento como una respuesta a la situación de los equipos de IA, que dedican más tiempo a asegurar capacidad de GPU, gestionar fallos y esperar a que se inicien los experimentos que a mejorar sus modelos. Según el anuncio, operar la infraestructura de GPU por separado de Lakehouse genera brechas de gobernanza y pone en riesgo los datos confidenciales de entrenamiento.

Infraestructura de GPU administrada

Databricks se encarga de adquirir las GPU, configurar los clústeres y administrar las redes, de modo que los clientes puedan empezar a entrenar sin tener que operar su propia plataforma completa de GPU. La empresa señaló que realiza decenas de comprobaciones del estado de las GPU y la red antes y durante el entrenamiento para que las cargas de trabajo puedan escalar de forma fiable a cientos de GPU; la plataforma valida las GPU antes de asignarlas, supervisa continuamente las cargas de trabajo activas y prueba periódicamente las GPU inactivas para detectar y retirar los nodos defectuosos.

AIR mueve los datos de entrenamiento mediante cargadores integrados que los transmiten en flujo y los almacenan en caché, lo que reduce el tiempo que los trabajos pasan esperando a las operaciones de entrada y salida (E/S). Una herramienta complementaria, UCVolumeDataset, está diseñada para aumentar el rendimiento de los datos sin necesidad de crear una canalización de carga personalizada. Los usuarios pueden acceder a las GPU desde una interfaz de línea de comandos o trabajar de forma interactiva en cuadernos y entornos de desarrollo integrados (IDE). Databricks señaló que basta con un único comando de CLI para ejecutar una primera carga de trabajo y que su función AIR Skills migra cargas de trabajo desde clústeres de Kubernetes o SLURM con una sola instrucción en lenguaje natural.

AIR se integra de forma nativa con Lakeflow, el producto de orquestación de canalizaciones de la empresa, para que las cargas de trabajo de GPU permanezcan sincronizadas con las canalizaciones anteriores y posteriores. Según el anuncio, basta con añadir unas pocas líneas de YAML para llevar una carga de trabajo a producción; también se describieron controles integrados de prioridad y preempción que minimizan el tiempo de inactividad de las GPU, así como la supervisión mediante herramientas como Genie ZeroOps. La página del producto AI Runtime enumera GPU NVIDIA bajo demanda con capacidad en varias regiones, entrenamiento distribuido entre varias GPU y nodos con redes RDMA administradas, puntos de control optimizados para trabajos de larga duración y compatibilidad con contenedores Docker personalizados, incluidos los contenedores NVIDIA NGC.

Kostia Omelianchuk, científico de investigación aplicada y responsable técnico de área en Superhuman, afirmó en el anuncio que la plataforma permitió a su equipo pasar de entrenar a gran escala en un nodo con ocho GPU A100 a hacerlo con 16 GPU H100 distribuidas en varios nodos. El tiempo de entrenamiento se redujo de aproximadamente siete días a 48 horas, lo que describió como una aceleración de 3,5 veces.

Inicios en segundos y depuración

Databricks afirmó que AIR ofrece una latencia de inicio de apenas unos segundos, incluso en grandes clústeres con RDMA y decenas de GPU. El servicio utiliza grupos de GPU sin servidor precalentados y carga diferida de imágenes, por lo que las cargas de trabajo se inician en segundos mientras el resto de los datos de las imágenes se carga en segundo plano. Los usuarios pueden ejecutar entornos preconfigurados o aportar sus propios contenedores; además, el almacenamiento en caché de entornos permite crearlos una sola vez. La empresa describió AIR como compatible con los principales marcos de trabajo y la página del producto menciona PyTorch y Ray entre las opciones compatibles.

Databricks señaló que una nueva experiencia de observabilidad en la herramienta de seguimiento de experimentos MLflow transmite registros segundos después de enviar una ejecución cuando los usuarios añaden el indicador watch a un comando de AIR, y que un nuevo visor de registros está diseñado específicamente para el entrenamiento multinodo. Genie Code está integrado en toda la experiencia e incluye habilidades de agente preempaquetadas para depurar problemas y optimizar el rendimiento del entrenamiento con GPU. La empresa afirmó que esas habilidades incorporan conocimientos de sus equipos de investigación y rendimiento, incluido el método con el que redujo 6 veces el tiempo de entrenamiento de Qwen en AIR.

Joe Tyler, investigador principal de IA en Sonar, afirmó que los ingenieros de investigación de la empresa usaron AIR para crear canalizaciones de entrenamiento de LLM e iterar rápidamente sobre hipótesis, con visibilidad de cada etapa de la canalización. Nikhil Sunderraj, ingeniero principal de aprendizaje automático en FactSet, señaló que el tiempo necesario para configurar, entrenar y desplegar un modelo personalizado Text To Formula pasó de días a horas.

Seguridad, gobernanza y primeros pasos

Databricks afirmó que AIR funciona dentro del perímetro de gobernanza de Databricks y Unity Catalog, que aplica permisos coherentes de lectura y escritura al acceso a los datos, los puntos de control y los registros de las cargas de trabajo de GPU. La empresa señaló que AIR ofrece aislamiento a nivel de máquina virtual, en lugar de mecanismos de aislamiento que exponen el núcleo del sistema anfitrión, y que admite PrivateLink y controles de salida sin servidor, respaldados por sus inversiones en seguridad sin servidor. El anuncio citó el incidente de OpenAI y Hugging Face como muestra de los riesgos que implica administrar la infraestructura de GPU por separado de los datos empresariales sujetos a gobernanza.

El uso y los costos de AIR aparecen en las tablas del sistema de facturación de Databricks junto con los de otras cargas de trabajo de Databricks; los registros de uso por carga de trabajo muestran qué ejecuciones de entrenamiento consumen presupuesto de GPU.

Robert Macy III, ingeniero de aprendizaje automático en Robinhood, dijo que AIR ayuda a sus equipos a pasar más rápido de la experimentación al entrenamiento, con controles de gobernanza y de datos integrados. Eran Barash, vicepresidente de inteligencia artificial y aprendizaje automático en QuantHealth, afirmó que su equipo amplía el entrenamiento distribuido en GPU sin servidor a millones de registros dentro de los flujos de trabajo de datos existentes. Zach Richardson, responsable de IA en TinyFish, dijo que su equipo puede entrenar en GPU, evaluar los resultados con MLflow y servir el modelo nativo de la web de la empresa sin tener que desplegar infraestructura independiente para cada etapa.

Databricks dirigió a los nuevos usuarios a una guía de inicio rápido, cuadernos de plantilla y guías para empezar, además de a un repositorio clonable llamado ai-runtime-cookbook en GitHub que, según la empresa, permite ejecutar una primera carga de trabajo de GPU con un solo comando de CLI. La empresa remitió a los clientes a sus equipos de cuenta para obtener más información.