TrueFoundry, Seldon AI 인수하여 엔터프라이즈 MLOps와 Agentic AI統一

엔터프라이즈 AI 인프라 회사인 TrueFoundry는 공식 발표를 통해 Seldon AI를 인수했다고 발표했다. 두 회사는 Kubernetes 네이티브 플랫폼을 기반으로 하며, 엔터프라이즈 AI 배포를 단순화하는 공통 비전을 공유한다. 이 인수는 Seldon의 엔터프라이즈 고객들에게 저위험의 마이그레이션 경로를 제공하여 기존 인프라를 재건축하지 않고도 전통적인 머신 러닝 모델, 대규모 언어 모델(LLMs), 자율 AI 에이전트를 결합할 수 있도록 한다.

이 움직임은 엔터프라이즈 AI 전반에 걸친 더广い 변화를 반영한다. 많은 조직은 지난 10년 동안 예측 머신 러닝 모델을 성공적으로 배포했지만, 현재 AI 에이전트와 생성 AI 시스템을 프로덕션에 통합하는挑戰에 직면해 있다. TrueFoundry는 전통적인 머신 러닝과 Agentic 워크플로를 별도의 기술 스택으로 유지하는 대신, 단일 제어 플레인에서 모두統一하려고 한다.

두 개의 보완적인 엔터프라이즈 AI 플랫폼 결합

2021년에 설립된 TrueFoundry는 클라우드, 하이브리드, 온프레미스 환경에서 AI 애플리케이션을 빌드, 배포, 관리, 관찰하는 것을 도와주는 플랫폼을 제공한다. 이 플랫폼의 중심은 AI Gateway로, 조직 전체에서 실행되는 AI 모델과 에이전트에 대한 라우팅, 거버넌스, 보안, 관찰 가능성, 프롬프트 관리, 정책 시행을 관리한다.

TrueFoundry는 또한 파운데이션 모델을 호스팅하고, 커스텀 모델을 미세 조정하고, LangGraph와 CrewAI와 같은 프레임워크로 빌드된 AI 에이전트를 배포하며, Model Context Protocol (MCP) 서버를 관리하는 배포 도구를 제공한다. 이 플랫폼은 Kubernetes 네이티브이므로, 기업은 단일 클라우드 제공업체에 종속되지 않고 워크로드를 배포할 수 있으며, 역할 기반 액세스 제어, 감사 로깅, SOC 2, HIPAA, GDPR와 같은 표준을 지원하는 기능을 통해 엄격한 컴플라이언스 요구 사항을 유지할 수 있다.

Seldon은 보완적인 기능 세트를 제공한다. 2014년에 설립된 이 영국 기반 회사는 Seldon Core를 통해 오픈 소스 MLOps의 선구자 중 하나가 되었다. Seldon Core는 프로덕션에서 머신 러닝 모델을 제공하는 널리 채택된 플랫폼이다. Seldon은 실시간 추론, A/B 테스트, 캐나리 배포, 모델 모니터링, 규제 산업을 포함한 대규모 Kubernetes 기반 배포에 전문적인 회사이다.

두 회사가 플랫폼을 Kubernetes와 클라우드 중립 배포를 중심으로 구축했기 때문에, 기존 엔터프라이즈 고객들에게 최소한의 중단이 발생할 것으로 예상된다.

전통적인 머신 러닝과 Agentic AI의 연결

현재 엔터프라이즈 AI 팀이 직면하는 가장 큰 운영적 챌린지는 예측 머신 러닝과 생성 AI가 별도의 인프라 스택에서 실행된다는 것이다.

전통적인 ML 플랫폼은 일반적으로 추천 엔진, 사기 탐지 시스템, 예측 모델, 분류 워크로드를 배포하는 데 중점을 둔다. Agentic AI는 프롬프트 라우팅, 툴 오케스트레이션, 추론 체인, 메모리, 거버넌스, 자율적 의사 결정과 같은 추가적인 레이어를 도입한다.

이러한 환경을 별도로 실행하면 운영 복잡성이 증가하고, 중복된 거버넌스 정책, 분산된 관찰 가능성, 일관되지 않은 보안 제어가 생성된다.

TrueFoundry는 통합 플랫폼이 이러한 문제를 많은 부분 해소할 수 있다고 믿는다. 이는 클래식 ML 추론부터 자율 AI 에이전트까지 엔터프라이즈 AI 배포의 모든 단계를 관리할 수 있는統一 환경을 제공하기 때문이다.

TrueFoundry의 공동 설립자이자 CEO인 Nikunj Bajaj는 다음과 같이 설명했다:

“엔터프라이즈 AI 팀은 전통적인 ML과 Agentic 워크플로를 并行으로 실행하고, 이를 두 개의 별도 인프라 문제로 관리하고 있다. Seldon은 세계에서 가장 엄격한 기업들이 의존하는 프로덕션급 MLOpsFoundation을 구축했다. TrueFoundry는 Agentic AI 세계를 위한 제어 플레인을 제공하며, 함께 엔터프라이즈 팀에게 모든 단계에서 Agentic AI를 배포, 관찰, 거버넌스할 수 있는 한 곳을 제공한다.”

Kubernetes의 중요성

이 인수는 또한 엔터프라이즈 AI의 표준 운영 레이어로써 Kubernetes의 역할을 강조한다.

많은 대규모 조직은 이미 컨테이너화된 애플리케이션, 내부 개발자 플랫폼, 머신 러닝 서비스를 지원하기 위해 수년간 Kubernetes 인프라를 구축해왔다. AI 에이전트를 수용하기 위해 이러한 환경을 대체하는 것은 상당한 비용과 운영 위험을 представ한다.

대신, TrueFoundry와 Seldon은 통합 플랫폼을 기존 Kubernetes 배포의 확장으로 пози닝한다. 이를 통해 기업은 기존 인프라와 운영 관행을 사용하여 전통적인 ML 추론을 계속 실행하면서, LLMs, 검색 시스템, AI 에이전트, Model Context Protocol 서비스를 점진적으로 도입할 수 있다. 클라우드 중립 아키텍처를 통해 공중 클라우드, 프라이빗 클라우드, 가상 프라이빗 클라우드 환경, 하이브리드 인프라 또는 데이터 주권이 중요한 완전히 에어 갭된 시스템에서 배포할 수 있다.

인수의 의미

이 인수는 전통적인 MLOps의 종말을 의미하지 않는다. 엔터프라이즈 AI 인프라가 어떻게 진화하고 있는지를 반영한다.

머신 러닝 모델은 수많은 프로덕션 워크로드에 필수적이며, 생성 AI와 자율 에이전트는 엔터프라이즈 소프트웨어의 추가적인 레이어가 되고 있다. 조직은 일관된 거버넌스, 보안, 운영 제어가 가능한 두 기술을 동시에 관리할 수 있는 인프라가 필요해지고 있다.

Seldon의 확립된 프로덕션급 추론 플랫폼과 TrueFoundry의 AI Gateway 및 에이전트 관리 기능을 결합하여, 통합 플랫폼은 기업에게 예측 모델, 파운데이션 모델, AI 에이전트를 배포, 모니터링, 거버넌스할 수 있는統一Foundation을 제공하는 것을 목표로 한다. 이를 통해 기업은 이미 신뢰하는 Kubernetes 환경을 사용할 수 있다.