Baseten, 20억 개 매개변수의 오픈 웨이트 의사결정 모델 Joey-1 출시

Baseten은 2026년 10월 29일, 자체 연구소인 Base Labs가 개발한 20억 개 매개변수의 의사결정 모델 joey-1을 출시했다. 가격은 토큰 100만 개당 0.01달러이며, Baseten Model APIs를 통해 이용하거나 Hugging Face에서 오픈 웨이트로 사용할 수 있다.

joey-1이 합류하면서 Base Labs의 의사결정 모델 제품군은 이제 세 가지 크기로 구성된다. 이번 발표에서 새 모델은 10월 21일에 공개된 제품군의 mammoth-1(270억 개 매개변수) 및 elephant-1(90억 개 매개변수)과 함께 소개됐다. 앞서 해당 모델을 공개하면서 Baseten은 mammoth-1이 Jev Decision Index에서 의사결정 모델 208개 중 가장 높은 순위를 기록했고, elephant-1은 90억 개 매개변수 모델 가운데 선두라고 설명했다. 세 모델은 모두 동일한 데이터 혼합으로 학습되며 같은 API를 사용하므로, 모델을 전환할 때 한 줄만 바꾸면 된다고 회사는 밝혔다. Baseten은 정확도가 가장 중요한 의사결정에는 mammoth-1을, 균형 잡힌 기본 모델로는 elephant-1을, 처리량이 많고 지연 시간에 민감한 작업에는 joey-1을 제안한다.

생성형 대규모 언어 모델(LLM)과 달리 의사결정 모델은 텍스트를 생성하지 않는다. 한 번의 순전파로 레이블과 해당 레이블의 신뢰도 점수를 반환하며, 가능한 모든 답변의 점수를 합하면 1이 된다. 텍스트와 필요한 경우 이미지를 포함하는 상태 및 질문 집합이 주어지면, joey-1은 공유 접두부 프리필을 통해 각 선택지의 보정된 확률을 반환한다. 이 모델은 예/아니요, 이름이 지정된 선택지 중 하나를 고르는 질문, 순서가 있는 점수 수준을 선택하는 질문 등 세 가지 유형을 지원한다. Baseten이 앞서 공개한 제품군 관련 글에는 티켓 분류 및 라우팅, 스팸 및 피싱 탐지, 프롬프트 가드레일 및 탈옥 탐지, 소형 LLM과 최첨단 LLM 간 요청 라우팅 등이 의사결정 모델의 사용 사례로 소개돼 있다.

Baseten은 의사결정 건수가 충분히 많아 호출당 비용이 프로젝트의 경제성을 좌우하거나, 의사결정이 다음 단계의 전제 조건이어서 그 지연 시간이 모든 응답에 더해지는 경우 LLM 작업을 joey-1로 옮기는 것이 유리하다고 밝혔다. 예를 들어 한 달에 지원 티켓 1,000만 건을 분류하고 티켓당 토큰이 약 500개라면 총 50억 개의 토큰이 발생한다. 회사가 제시한 joey-1의 월 비용은 약 50달러로, mammoth-1의 500달러와 비교된다. Baseten은 joey-1을 1차 모델로 설명하며, joey-1이 확신하지 못할 때는 elephant-1이나 mammoth-1 같은 대형 모델로 넘길 수 있다고 밝혔다.

보고된 지연 시간 및 벤치마크 결과

Baseten은 프로덕션 규모에서 joey-1이 평균 2,000토큰 요청을 종단 간 P50 지연 시간 20ms로 처리한다고 밝혔다. 이는 elephant-1의 49ms보다 약 2.5배 빠른 속도이며, 회사는 joey-1이 비슷한 의사결정 모델보다 5배 빠르다고 설명했다. 또한 회사 내부 테스트에서 joey-1은 매개변수가 30억 개 이하인 의사결정 모델 중 가장 뛰어난 모델로 나타났으며, 테스트 세부 내용은 추후 공개할 예정이라고 밝혔다.

모델 카드에 따르면 joey-1은 Jev Decision Index 0.4 공개 분할에서 63.30점을 받아 모델 230개 중 37위를 기록했으며, 해당 분할에서 매개변수가 40억 개 미만인 모델 가운데 가장 높은 점수를 얻었다. 공개 분할 표에는 elephant-1이 72.24점, Cloudflare Clef가 61.71점, Jev 1.14가 60.70점, Perplexity Decider Flash v1.2가 60.06점으로 기재돼 있다. 모델 카드에 따르면 joey-1은 평가된 모든 영역에서 elephant-1보다 낮은 점수를 기록했으며, Jev 1.14보다는 다섯 영역 중 네 영역, 즉 언어, 도구 및 자동화, 검색 및 분류, 예술 및 인간의 취향에서 높은 점수를 얻었다.

모델 카드에 따르면 Base Labs가 자체 구축한 Artificial Analysis Decision Index 복제본에서 joey-1은 62.9점을 기록해 mammoth-1(65.9점), elephant-1(65.2점), d1-ultra(65점)에 뒤졌다. Baseten의 모델 라이브러리 페이지에는 joey-1이 2026년 10월 출시 당시 Jev Decision Index 0.4에서 20억 개 매개변수 모델 중 1위였다고 명시돼 있다.

학습 데이터 및 레시피

모델 카드에 따르면 joey-1은 Qwen3.5-2B를 기반으로 Baseten Training Jobs에서 후속 학습을 거쳤으며, elephant-1 및 mammoth-1과 동일한 데이터 혼합 및 레시피를 사용했다. 텍스트 및 이미지 기반 의사결정 데이터로 언어 모델 전체를 미세 조정하되 비전 인코더는 고정했다. 전체 어텐션 계층에는 블록 양방향 어텐션 마스크를 적용했으며, 최대 시퀀스 길이는 16,384토큰이었다.

학습 데이터 세트는 연구소가 Mix 8이라고 부르는 혼합 구성의 의사결정 예시 621만 개로 이루어졌다. 핵심 의사결정 기술 58.3%, 안전 및 응답 유보 16.1%, 평가 및 전문 분야 16.1%, 공개 의사결정 데이터 9.5%로 구성됐다. 학습 목표에는 교차 엔트로피와 Brier 보정 항이 결합됐으며, 람다는 1로 설정됐다. 모델이 답을 확신하지 못하는 경우를 위해 학습된 “모르겠습니다” 선택지도 포함됐다. 학습은 에포크 1회, 총 43,390스텝으로 진행됐다. AdamW 옵티마이저를 사용했으며, 최고 학습률은 1e-5, 베타 값은 0.9와 0.95, 가중치 감쇠는 없었다. 워밍업은 3%로 설정하고 코사인 감쇠를 적용했으며, H100 GPU 8개로 구성된 노드 2개, 총 16개 GPU에서 bf16 정밀도로 학습했다.

이용 가능 여부, 가격 및 배포

joey-1은 /v1/systemone 엔드포인트와 모델 ID decision-models/baseten-joey-2b-latest를 통해 Baseten Model APIs에서 이용할 수 있으며, 기본적으로 데이터 보존을 사용하지 않는다. 공개된 가격은 입력 토큰 100만 개당 0.01달러이며, 캐시된 입력과 출력 가격은 0.00달러로 기재돼 있다. 제품군 가격표에는 elephant-1이 토큰 100만 개당 0.035달러, mammoth-1이 0.1달러로 나와 있으며, 발표에서는 joey-1의 가격이 mammoth-1의 10분의 1이라고 설명했다.

Model APIs에서 의사결정 모델은 16k 컨텍스트 창을 지원하며 지연 시간이 짧은 워크로드에 최적화되어 있습니다. 전용 배포 환경에서는 전체 262k 컨텍스트 창을 사용할 수 있고 미세 조정된 가중치도 지원합니다. Baseten은 워크로드별 최적화와 LLM 워크로드와의 코로케이션을 통해 TTFT(첫 토큰 생성 시간)와 TPS(초당 토큰 수)도 단축할 수 있다고 밝혔습니다. elephant-1과 joey-1은 Baseten Training Jobs에서 사후 학습에 사용할 수 있으며, 회사는 GitHub에 미세 조정 안내서를 공개했습니다.

가중치는 MIT 라이선스에 따라 공개되어 있습니다. 자체 호스팅을 위해 모델 카드의 설정 스크립트는 버전이 고정된 서빙 런타임인 서빙 패치 적용 버전의 OneJev를 설치하며, CUDA GPU 1개가 필요합니다. 모델 카드에는 학습 시 길이 제한을 초과하는 요청은 잘라내는 대신 거부한다고 명시되어 있습니다.