Together AI, 프로덕션 추론에 연속 컴파일 도입

Together AI는 2026년 11월 4일 Polymorphic Inference를 발표하며 첫 구현으로 Together Compiler를 선보였다. 에이전트 기반 시스템인 이 컴파일러는 변화하는 모델, 트래픽, 하드웨어에 맞춰 추론을 지속적으로 재조정하며, 이미 회사의 주요 프로덕션 추론 워크로드 다수와 인기 있는 서버리스 엔드포인트 일부에서 실행되고 있다.

Together AI는 Kimi K3, GLM 5.3, MiniMax M3.1-Flash, DeepSeek v4.1-Flash를 대상으로 한 테스트에서 컴파일러가 24시간 이내에 고도로 최적화된 오픈 소스 기준 모델보다 초당 토큰 수를 1.3배에서 3배까지 높였다고 밝혔다. 이러한 결과는 이번 발표의 핵심 주장을 보여준다. 즉, 최적화는 출시 시점에 고정되는 수동 튜닝 작업이 아니라 배포 환경에 맞춰 지속적으로 탐색하는 과정이 될 수 있다는 것이다.

변화하는 모델, 트래픽, 하드웨어

Polymorphic Inference는 더 빠른 모델 출시, 다양한 아키텍처, 변화하는 트래픽 양상과 서비스 수준 요구사항, 잦아지는 하드웨어 변경에 적응하는 서빙 인프라를 가리키는 Together AI의 용어다. 이와 대조되는 정적 방식은 고정된 엔진 구성에서 출발한다. 특정 환경에 맞춰 조정한 구성이 다른 환경에도 적합하다고 볼 수는 없으며, 특히 모델 동작과 요청 분포가 달라질 때는 더욱 그렇다.

회사가 프로덕션 환경에서 관찰한 사례는 이를 구체적으로 보여준다. Together AI에 따르면 한 국가의 업무 시간대에는 프롬프트 길이가 약 97,000토큰에 달한 반면 다른 지역에서는 70,000토큰이었으며, 한 모델 출시 후 2주 동안 사용량이 에이전트형 워크로드로 이동하면서 프롬프트 길이가 80% 증가했다. 고객 요청이 몰리면 프롬프트 길이가 두 배로 늘고 캐시 적중률이 낮아질 수도 있어, 기존 구성을 튜닝했을 때와 조건이 달라진다.

이번 발표는 연산을 하나의 커널로 통합하는 메가커널을 강조했던 Together AI의 기존 입장에도 변화를 가져왔다. 초기 버전을 프로덕션에 적용한 뒤 회사는 연산 통합만을 보편적인 설계 목표로 삼을 수 없다고 결론 내렸다. 전문가 혼합 아키텍처와 동적 워크로드에는 서로 다른 기법이 필요할 수 있기 때문이다. 고정적이거나 무작위적인 트래픽을 기준으로 개발한 커널도 데이터에 따라 달라지는 라우팅이 어떤 최적화의 성능을 높이는지에 영향을 미치는 프로덕션 트래픽에는 맞지 않을 수 있다.

연속 컴파일의 작동 방식

Together Compiler는 트래픽 양상, 모델, 하드웨어를 입력으로 받아 에이전트를 이용해 추론 엔진에 적용할 최적화 후보를 생성하고 측정한다. 상시 실행되는 엔진은 모델을 한 번만 불러온 뒤, 엔진 전체를 재시작하지 않고 후보 순전파를 핫 리로드한다. 병렬로 작동하는 에이전트들은 후보를 생성하고 메시지 보드를 통해 소통하며, 다른 에이전트가 추론하거나 도구를 사용하는 동안에도 실험이 대기열에 쌓이도록 한다.

두 단계의 측정 방식은 실험 횟수와 현실성 사이에서 균형을 맞춘다. 빠른 엔진은 반복 작업을 신속하게 진행하고 측정값의 분산을 낮추기 위해 일부 레이어만 불러온다. 더 느린 엔진은 더 많은 레이어를 불러와 실제와 유사한 데이터 분포에서도 후보가 효과를 유지하는지 테스트한다. 별도의 비용 모델은 하드웨어 사양, 마이크로벤치마크, 측정된 순전파 결과를 결합해 병렬성 구성 탐색 범위를 줄이며, 이를 통해 에이전트가 후보 최적화에 시간을 쓰기 전에 탐색 대상을 걸러낸다.

기술 논문에 따르면 성능이 가장 뛰어난 후보는 서빙에 투입되기 전에 KV 캐시 오염과 출력 품질을 확인하는 검증 테스트를 거친다. 이러한 검사는 최적화 예산을 모두 사용하고 최종 소스 코드를 서빙 엔진에 통합할 준비를 마친 뒤 실행된다.

출시 게시물에 제시된 시작 시간 비교에서 기존 방식의 절차는 서빙을 시작하기까지 467초가 걸린 반면, Together Compiler의 구성은 9.0초가 걸렸다. 이 수치는 개별 요청의 지연 시간이 아니라 최적화 중 엔진을 시작하는 데 걸리는 시간이며, 핫 리로드가 시스템의 실험 처리량에 핵심적인 이유를 설명해 준다.

평가 범위와 고객 이용

엔진 비교를 위해 논문은 2026년 10월 30일 기준 주요 공개 구성을 사용했으며, 에이전트 기반 최적화의 효과를 분리해 측정할 때 기준 병렬화 전략을 고정했다. 공개된 평가 워크로드 중 표준 방식에서 벗어난 사례는 Trainium2였다. 구현이 당시 사용 가능한 HBM 용량으로 더 높은 동시성을 지원하지 못해 합성 다중 턴 데이터 세트를 사용했다.

Together AI는 최적화 결과의 일부가 기준 에이전트 기반 재귀적 자기 개선 최적화 시스템보다 실험 처리량이 252배 높았기 때문이라고 설명한다.

언어 모델 추론 외에도 논문은 테스트한 기상, 생물학, 시계열, 편미분 방정식 모델에서 1.5배에서 6.4배의 속도 향상을 보였으며, 명시된 평가에서 비트 단위로 정확히 일치하는 출력을 유지했다고 보고한다.

최종 고객은 제한 베타를 통해 얼리 액세스를 신청할 수 있다. Together AI는 전용 엔드포인트를 원클릭으로 최적화하는 기능을 계획하고 있다. 연구 로드맵에는 도메인, 요청, 토큰, 트래픽 부하에 따라 적응하는 추측 디코딩과 이기종 서버리스 트래픽을 위해 워커 및 배포 구성 전반에서 동적으로 라우팅하는 기능도 포함돼 있다.

이번 출시는 보편적으로 최적인 커널이 아니라 배포 환경별 측정을 Together AI 추론 스택의 핵심 원칙으로 삼는다. 고객이 당장 확인해야 할 점은 제한된 베타에서 자체 모델과 트래픽, 하드웨어를 사용해 보고된 성능 향상을 재현하면서 동일한 품질 검사를 통과할 수 있는지 여부다. Continuous Compilation은 바로 이러한 환경별 차이를 해결하도록 설계됐다.