Databricks, GPU 학습용 AI Runtime 정식 출시

Databricks는 2026년 10월 21일 AI Runtime의 정식 출시를 발표했다(AIR). Databricks Lakehouse에 내장된 완전 관리형 서버리스 GPU 플랫폼으로, 기업 데이터를 활용해 딥러닝 모델을 학습하고 미세 조정할 수 있다.

Databricks에 따르면 Robinhood, PicPay, Merck, Flo Health, TinyFish, FactSet을 비롯한 수백 개 기업이 이미 AIR을 사용해 딥러닝 모델을 학습하고 프로덕션 환경에 배포하고 있다. 활용 분야는 의료, 제조업, 소비자 대상 에이전트에 걸쳐 있다. Databricks는 자체 Databricks AI Research 팀도 이 플랫폼을 사용해 KARL과 AI Parse의 기반이 되는 모델을 학습하고 있다고 밝혔다. 또한 AIR은 GPU 학습 작업을 10만 시간 넘게 수행하며 검증을 거쳤다고 설명했다.

Databricks는 이번 출시가 AI 팀이 모델 개선보다 GPU 용량 확보, 장애 관리, 실험 시작 대기에 더 많은 시간을 쓰는 문제에 대한 해법이라고 소개했다. 발표에 따르면 Lakehouse와 별도로 GPU 인프라를 운영하면 거버넌스에 공백이 생기고 민감한 학습 데이터가 위험에 노출된다.

관리형 GPU 인프라

Databricks는 GPU 조달, 클러스터 구성, 네트워킹 관리를 맡아 고객이 자체 GPU 플랫폼 전체를 운영하지 않고도 학습을 시작할 수 있게 한다. Databricks에 따르면 학습 전과 학습 도중 GPU와 네트워크 상태를 수십 가지 항목으로 점검해 워크로드가 안정적으로 수백 개 GPU까지 확장되도록 한다. 플랫폼은 GPU를 작업에 배정하기 전에 검증하고, 실행 중인 워크로드를 지속적으로 모니터링하며, 유휴 GPU도 주기적으로 테스트해 상태가 좋지 않은 노드를 찾아 제거한다.

AIR은 데이터를 스트리밍하고 캐싱하는 기본 제공 로더를 통해 학습 데이터를 전달해 작업이 I/O를 기다리는 시간을 줄인다. 함께 제공되는 UCVolumeDataset 도구는 별도의 데이터 로딩 파이프라인을 구축하지 않고도 데이터 처리량을 높이도록 설계됐다. 사용자는 명령줄 인터페이스에서 GPU에 접근하거나 노트북과 IDE에서 대화형으로 작업할 수 있다. Databricks에 따르면 첫 워크로드는 CLI 명령 하나로 실행할 수 있으며, AIR Skills 기능을 사용하면 자연어 프롬프트 하나로 Kubernetes 또는 SLURM 클러스터의 워크로드를 마이그레이션할 수 있다.

AIR은 Databricks의 파이프라인 오케스트레이션 제품인 Lakeflow와 기본적으로 통합돼 GPU 워크로드가 상위 및 하위 파이프라인과 동기화된다. 발표에 따르면 워크로드를 프로덕션 환경으로 옮기려면 YAML을 몇 줄 추가하면 된다. 또한 유휴 GPU 시간을 최소화하는 기본 제공 우선순위 지정 및 선점 제어 기능과 Genie ZeroOps 같은 도구를 통한 모니터링도 제공한다고 밝혔다. AI Runtime 제품 페이지에는 여러 리전의 용량을 제공하는 온디맨드 NVIDIA GPU, 관리형 RDMA 네트워킹을 활용해 여러 GPU와 노드에서 수행하는 분산 학습, 장시간 실행되는 작업에 최적화된 체크포인트 기능, NVIDIA NGC 컨테이너를 포함한 사용자 지정 Docker 컨테이너 지원이 명시돼 있다.

Superhuman의 응용 연구 과학자 겸 분야별 기술 책임자인 Kostia Omelianchuk은 발표에서 이 플랫폼을 통해 팀이 대규모 학습 작업을 노드 하나와 A100 GPU 8개를 사용하는 구성에서 여러 노드의 H100 GPU 16개를 사용하는 구성으로 전환할 수 있었다고 밝혔다. 학습 시간은 약 7일에서 48시간으로 단축됐으며, 그는 이를 3.5배의 속도 향상이라고 설명했다.

수초 내 실행 및 디버깅

Databricks에 따르면 AIR은 GPU가 수십 개 있는 대규모 RDMA 지원 클러스터에서도 수초 내에 작업을 시작한다. 이 서비스는 예열된 서버리스 GPU 풀과 지연 이미지 로딩을 사용해 워크로드를 수초 만에 시작하고, 나머지 이미지 데이터는 백그라운드에서 불러온다. 사용자는 사전 구축된 환경을 실행하거나 자체 컨테이너를 가져올 수 있으며, 환경 캐싱을 통해 각 환경을 한 번만 구축하면 된다. Databricks는 AIR이 모든 주요 프레임워크와 호환된다고 설명했으며, 제품 페이지에는 지원되는 옵션으로 PyTorch와 Ray가 명시돼 있다.

Databricks에 따르면 실험 추적 도구 MLflow에 새로 추가된 관측 기능은 AIR 명령에 watch 플래그를 추가하면 실행을 제출한 지 수초 만에 로그를 스트리밍한다. 또한 멀티노드 학습 전용 로그 뷰어도 제공된다. Genie Code는 전체 경험에 통합돼 있으며, 문제를 디버깅하고 GPU 학습 성능을 최적화하는 사전 패키지 에이전트 스킬을 제공한다. Databricks는 이 스킬에 연구팀과 성능팀의 노하우가 반영돼 있다고 밝혔다. 여기에는 AIR에서 Qwen 학습 시간을 6배 단축한 방법도 포함된다.

Sonar의 수석 AI 연구원인 Joe Tyler는 연구 엔지니어들이 AIR을 사용해 LLM 학습 파이프라인을 구성하고 가설을 빠르게 검증했으며, 파이프라인의 각 단계를 확인할 수 있었다고 밝혔다. FactSet의 수석 머신러닝 엔지니어인 Nikhil Sunderraj는 맞춤형 Text To Formula 모델을 설정하고 학습한 뒤 배포하는 데 걸리는 시간이 며칠에서 몇 시간으로 줄었다고 말했다.

보안, 거버넌스 및 시작하기

Databricks에 따르면 AIR은 Databricks와 Unity Catalog의 거버넌스 경계 내에서 작동하며, GPU 워크로드의 데이터 접근, 체크포인트, 로그에 대해 일관된 읽기 및 쓰기 권한을 적용한다. Databricks는 AIR이 호스트 커널을 노출하는 격리 방식 대신 VM 수준의 격리를 제공하며, 서버리스 보안에 대한 투자에 기반해 PrivateLink와 서버리스 이그레스 제어를 지원한다고 밝혔다. 발표에서는 OpenAI Hugging Face 사건을 언급하며, GPU 인프라를 거버넌스가 적용되는 기업 데이터와 별도로 관리할 때 따르는 위험을 강조했다.

AIR 사용량과 비용은 Databricks의 다른 워크로드와 함께 Databricks 청구 시스템 테이블에 표시되며, 워크로드별 사용량 기록을 통해 어떤 학습 실행이 GPU 예산을 소비하는지 확인할 수 있다.

Robinhood의 머신러닝 엔지니어인 Robert Macy III는 AIR를 통해 팀이 거버넌스와 데이터 제어 기능이 내장된 상태에서 실험 단계에서 학습 단계로 더 빠르게 넘어갈 수 있다고 말했다. QuantHealth의 인공지능 및 머신러닝 부문 부사장인 Eran Barash는 기존 데이터 워크플로를 활용해 서버리스 GPU에서 수백만 건의 레코드에 대한 분산 학습을 확장한다고 말했다. TinyFish의 AI 책임자인 Zach Richardson은 각 단계마다 별도의 인프라를 구축하지 않고도 GPU에서 학습하고, MLflow로 결과를 평가하고, 회사의 웹 네이티브 모델을 서비스할 수 있다고 말했다.

Databricks는 새 사용자를 위해 빠른 시작 가이드, 템플릿 노트북, 시작 안내서와 함께 GitHub의 복제 가능한 ai-runtime-cookbook 리포지터리를 안내했다. 회사에 따르면 이 리포지터리를 사용하면 CLI 명령 하나로 첫 GPU 워크로드를 실행할 수 있다. Databricks는 고객에게 자세한 내용은 담당 계정 팀에 문의하라고 안내했다.