AI 모델 및 플랫폼
Databricks, AI Runtime용 표 형식 파운데이션 모델 가이드 공개

핵심 포인트표 형식 기반 모델은 더 높은 GPU 추론 비용을 엔지니어링 및 유지보수 시간의 절감과 맞바꾼다.
더 보기
- 표 형식 기반 모델은 더 높은 GPU 추론 비용을 엔지니어링 및 유지보수 시간의 절감과 맞바꾼다.
- TabICL은 분류 벤치마크 정확도에서 TabPFNv2와 동등하면서 최대 10배 더 빠르게 실행된다고 알려져 있다.
- 라이선싱은 TabFM과 TabPFNv3.5 가중치가 비상업적 사용으로 제한되면서 이 분야를 양분한다.
Databricks는 표 형식 파운데이션 모델을 AI Runtime에서 실행하는 기술 가이드를 2026년 11월 16일 공개했으며, 5개 모델 제공업체를 비교하고 미세 조정 워크플로를 테스트할 수 있는 공개 저장소도 함께 제공했다.
공개 솔루션 액셀러레이터에는 TabPFN, TabFM, TabICL, Nori, KumoTabular용 노트북과 공용 테스트 도구가 포함되어 있다. 이 자료는 지속적으로 운영되는 엔터프라이즈 워크로드를 대상으로 한다. 즉, 신용 위험, 고객 이탈, 수요 예측, 예측 유지보수에 사용되는 표 형식 데이터의 예측을 다룬다. 기존 방식으로 개발하면 작업마다 별도의 학습 및 재학습 파이프라인을 구축해야 할 수 있다.
반면 표 형식 파운데이션 모델(TFM)은 다양하고 합성된 데이터셋 수백만 개를 사전 학습한 상태로 제공된다. 제로샷 추론에서는 레이블이 있는 행을 예측이 필요한 행의 문맥으로 활용한다. 트랜스포머 어텐션은 새로운 행과 예시 간의 관계를 파악하고, 매개변수를 업데이트하지 않은 채 한 번의 순전파로 예측 결과를 반환한다. 사전 학습된 가중치를 자체 데이터셋으로 업데이트하려는 팀은 미세 조정을 선택할 수도 있다.
아키텍처, GPU 비용 및 라이선스
특수 토크나이저는 수치형, 범주형, 불리언 특성을 공통 표현으로 변환한다. TabPFNv2는 행과 열 내부의 어텐션을 번갈아 적용해 상호작용을 학습하지만, 샘플과 특성 수가 늘어날수록 계산 비용이 빠르게 증가한다.
TabICL 연구 논문은 다른 접근법을 취한다. 먼저 열 단위 어텐션을 적용한 뒤 행 단위 어텐션을 적용해 고정 차원의 행 임베딩을 만들고, 이어서 데이터셋 수준의 문맥 내 학습을 수행한다. 저자들은 최대 500,000개 샘플과 500개 특성을 처리하며, 분류 벤치마크 평가에서 TabPFNv2와 대등한 성능을 보이고, 최대 10배 빠르게 실행되며, 샘플이 10,000개를 넘는 53개 데이터셋에서는 TabPFNv2와 CatBoost를 모두 능가한다고 보고한다. 평가한 버전은 분류로 범위가 제한되었으며, 벤치마크에서 홀드아웃 데이터에 맞춰 조정한 단일 모델은 교차 검증 앙상블을 통해 얻을 수 있는 잠재적 성능 향상을 반영하지 못했다.
행 압축을 적용하더라도 메모리는 여전히 운영상의 제약으로 남는다. 문맥 내 학습에서는 예측할 때마다 학습 세트를 함께 입력하므로, GPU 메모리 수요는 행과 특성의 수에 따라 증가한다. Databricks는 조직 자체 데이터로 정확도, 추론 지연 시간, 메모리 사용량, 비용을 테스트할 것을 권장하며, GPU 추론은 예측 한 건당 CPU에서 XGBoost를 실행하는 것보다 비용이 많이 든다고 설명한다. 절감할 수 있는 부분은 엔지니어링 및 유지보수 시간이며, 계속 발생하는 비용은 가속 컴퓨팅 비용이다.
라이선스도 배포 시 고려해야 할 요소다. 가이드에서는 TabICLv2의 BSD 3-Clause, Mitra v2의 Apache-2.0, KumoTabular의 OpenMDW-1.1을 상업적 이용을 허용하는 라이선스로 분류한다. TabFM과 TabPFNv3.5의 가중치는 비상업적 용도로 표시되어 있으며, 상업적으로 이용하려면 제작자와 별도 계약을 맺어야 한다. 저장소는 TabPFN의 상업용 호스팅 API와 비상업적 용도의 가중치도 별도로 구분한다.
공통 평가와 프로덕션 배포
참조 구현을 이용하면 모델을 공통 기준으로 비교할 수 있다. 지원되는 모든 구현은 동일한 합성 소매 및 소비재 데이터셋을 읽고, 똑같은 학습·테스트 분할을 사용하며, 공통 지표와 scikit-learn 기준 모델의 결과를 하나의 결과 테이블에 기록한다. 예제에서는 각 모델이 지원하는 경우 분류, 회귀, 이상치 탐지, 시차 기반 예측을 다룬다.
컴퓨팅 요구 사항은 모델마다 다르다. 자체 호스팅 방식의 TabFM, TabICL, Nori, KumoTabular는 서버리스 CPU에서 실행할 수 있지만, 저장소는 실용적인 성능을 위해 GPU를 권장한다. TabPFN 예제는 호스팅 API를 호출하므로 CPU만으로 충분하다. 반면 TabICL 예제에서는 CPU 파이프라인이 추론 작업을 전용 GPU 서빙 엔드포인트로 넘길 수 있다.
AI Runtime은 가이드보다 먼저 출시됐다. Databricks는 분산 GPU 학습을 위한 서버리스 스택으로 2026년 3월 19일 공개 프리뷰로 선보였다. Databricks에 따르면 온디맨드 H100 GPU는 최대 1 million개 행과 200개 특성을 사용하는 TabPFN-3를 지원할 수 있다. 노트북, Lakeflow Jobs, MLflow 실험 추적, GPU 사용률 관측 기능은 기본 Docker 지원 및 Databricks CLI를 통한 원격 SSH와 함께 제공된다.
KumoTabular 미세 조정 시연에서는 노트북에서 GPU 사용량과 MLflow 지표를 확인할 수 있으며, 그 결과로 생성된 모델을 Unity Catalog에 등록한다. 프로덕션 환경에 대해서는 Model Serving을 통해 처리량이 높은 배치 파이프라인이나 자동 확장되는 실시간 REST 엔드포인트를 구성하고, Unity Catalog로 모델 버전과 거버넌스를 관리하는 방식을 가이드에서 설명한다.
이 접근법을 통해 데이터를 별도의 GPU 도구로 옮기지 않고도 TFM이 작업별 ML 작업을 줄일 수 있는지 반복적으로 검증할 수 있다. 다만 비즈니스 타당성은 저장소만으로 일률적으로 판단할 수 없는 측정 결과에 달려 있다. 여기에는 조직 자체 표 형식 데이터에서의 정확도, 실제로 사용할 수 있는 라이선스 조건, 그리고 엔지니어링 부담 감소가 GPU 기반 예측에 계속 드는 비용을 상쇄하는지가 포함된다.












