Baseten ra mắt joey-1, mô hình ra quyết định 2B tham số với trọng số mở

Ngày 29 tháng 10 năm 2026, Baseten ra mắt joey-1, mô hình ra quyết định có 2B tham số do phòng nghiên cứu nội bộ Base Labs phát triển. Mô hình có giá $0.01 cho mỗi triệu token và được cung cấp qua Baseten Model APIs cũng như dưới dạng trọng số mở trên Hugging Face.

Với joey-1, dòng mô hình ra quyết định của Base Labs hiện có ba kích cỡ. Thông báo giới thiệu mô hình mới cùng với mammoth-1 (27B) và elephant-1 (9B), ra mắt trong đợt phát hành dòng mô hình ngày 21 tháng 10. Trong đợt ra mắt trước đó, Baseten mô tả mammoth-1 là mô hình đứng đầu trong số 208 mô hình ra quyết định trên Jev Decision Index, còn elephant-1 là mô hình ra quyết định 9B dẫn đầu. Cả ba mô hình đều được huấn luyện trên cùng một tập hợp dữ liệu và dùng chung một API; theo công ty, vì vậy việc chuyển đổi giữa các mô hình chỉ cần thay đổi một dòng mã. Baseten định vị mammoth-1 cho những quyết định đòi hỏi độ chính xác cao nhất, elephant-1 là lựa chọn mặc định cân bằng, còn joey-1 dành cho khối lượng công việc lớn, nhạy cảm với độ trễ.

Không giống các mô hình ngôn ngữ lớn tạo sinh (LLM), mô hình ra quyết định không tạo văn bản. Chỉ qua một lượt truyền thẳng, mô hình trả về một nhãn cùng điểm tin cậy cho nhãn đó; tổng điểm của tất cả câu trả lời có thể có bằng 1. Khi nhận một trạng thái — văn bản, có thể kèm hình ảnh — cùng một tập câu hỏi, joey-1 trả về xác suất đã hiệu chuẩn cho từng lựa chọn thông qua một lượt tiền xử lý đầu vào với tiền tố dùng chung. Mô hình hỗ trợ ba dạng câu hỏi: có/không, chọn trong số các phương án được nêu tên và các mức chấm điểm theo thứ tự. Bài viết trước đây của Baseten về dòng mô hình liệt kê các trường hợp sử dụng mô hình ra quyết định, bao gồm phân loại và định tuyến phiếu hỗ trợ, phát hiện thư rác và lừa đảo qua email, áp dụng rào chắn cho lời nhắc và phát hiện hành vi bẻ khóa, cũng như định tuyến yêu cầu giữa các LLM nhỏ và LLM tiên tiến nhất.

Baseten cho biết chuyển khối lượng công việc LLM sang joey-1 sẽ đáng cân nhắc khi số lượng quyết định đủ lớn để chi phí mỗi lượt gọi ảnh hưởng đến hiệu quả kinh tế của dự án, hoặc khi quyết định là điều kiện tiên quyết cho bước tiếp theo và độ trễ của nó được cộng vào mọi phản hồi. Chẳng hạn, nếu phân loại 10 triệu phiếu hỗ trợ mỗi tháng, mỗi phiếu có khoảng 500 token, tổng cộng sẽ là 5 tỷ token; theo mức giá công ty đưa ra, chi phí trên joey-1 vào khoảng $50 mỗi tháng, so với $500 trên mammoth-1. Baseten mô tả joey-1 là mô hình tuyến đầu; các mô hình lớn hơn như elephant-1 hoặc mammoth-1 có thể được dùng làm phương án chuyển cấp khi joey-1 không chắc chắn.

Độ trễ và kết quả đánh giá được công bố

Baseten báo cáo rằng ở quy mô sản xuất, joey-1 xử lý yêu cầu trung bình 2.000 token với độ trễ đầu cuối P50 là 20 ms, nhanh hơn elephant-1 ở mức 49 ms khoảng 2,5 lần; công ty cũng mô tả mô hình này nhanh hơn 5 lần so với các mô hình ra quyết định tương đương. Công ty cho biết trong thử nghiệm nội bộ — sẽ công bố chi tiết sau — joey-1 là mô hình ra quyết định mạnh nhất trong nhóm có không quá 3B tham số.

Theo thẻ mô hình, joey-1 đạt 63.30 trên phần dữ liệu công khai của Jev Decision Index 0.4, xếp thứ 37 trong số 230 mô hình và có điểm cao nhất trong nhóm mô hình dưới 4B tham số trên phần dữ liệu này. Bảng kết quả trên phần dữ liệu công khai của thẻ mô hình ghi nhận elephant-1 đạt 72.24, Cloudflare Clef đạt 61.71, Jev 1.14 đạt 60.70 và Perplexity Decider Flash v1.2 đạt 60.06. Theo thẻ mô hình, joey-1 đạt điểm thấp hơn elephant-1 ở tất cả các lĩnh vực được đánh giá, đồng thời cao hơn Jev 1.14 ở bốn trong năm lĩnh vực: ngôn ngữ, công cụ và tự động hóa, truy xuất và phân loại, nghệ thuật và thị hiếu con người.

Trên bản sao nội bộ của Base Labs về Artificial Analysis Decision Index, thẻ mô hình ghi nhận joey-1 đạt 62.9, thấp hơn mammoth-1 với 65.9, elephant-1 với 65.2 và d1-ultra với 65. Trang thư viện mô hình của Baseten cho biết khi ra mắt vào tháng 10 năm 2026, joey-1 là mô hình 2B đứng đầu trên Jev Decision Index 0.4.

Dữ liệu và quy trình huấn luyện

Theo thẻ mô hình, joey-1 được huấn luyện hậu kỳ từ Qwen3.5-2B bằng cùng tập hợp dữ liệu và quy trình với elephant-1 và mammoth-1, thông qua Baseten Training Jobs. Quy trình này tinh chỉnh toàn bộ mô hình ngôn ngữ trên các tác vụ ra quyết định bằng văn bản và hình ảnh, đồng thời giữ cố định bộ mã hóa thị giác; mô hình sử dụng mặt nạ chú ý hai chiều theo khối trên các lớp chú ý toàn phần và độ dài chuỗi tối đa 16,384 token.

Tập dữ liệu huấn luyện gồm 6,21 triệu ví dụ ra quyết định, với hỗn hợp mà phòng nghiên cứu gọi là Mix 8: 58,3% kỹ năng ra quyết định cốt lõi, 16,1% an toàn và từ chối trả lời, 16,1% đánh giá và lĩnh vực chuyên môn, cùng 9,5% dữ liệu ra quyết định công khai. Mục tiêu huấn luyện kết hợp hàm mất mát cross-entropy với thành phần hiệu chuẩn Brier, trong đó lambda được đặt bằng 1; quy trình cũng bao gồm lựa chọn “Tôi không biết” được huấn luyện để dùng trong trường hợp mô hình không chắc chắn về câu trả lời. Quy trình gồm một epoch với 43.390 bước, tốc độ học tối đa 1e-5, bộ tối ưu hóa AdamW, các giá trị beta là 0.9 và 0.95, không áp dụng weight decay, giai đoạn khởi động 3%, giảm tốc độ học theo cosine và độ chính xác bf16, chạy trên hai nút, mỗi nút có tám GPU H100, tổng cộng 16 GPU.

Tình trạng cung cấp, giá và triển khai

joey-1 hiện đã được cung cấp trên Baseten Model APIs qua endpoint /v1/systemone với ID mô hình decision-models/baseten-joey-2b-latest; theo mặc định, tính năng lưu giữ dữ liệu bị tắt. Giá niêm yết là $0.01 cho mỗi triệu token đầu vào; token đầu vào được lưu trong bộ nhớ đệm và token đầu ra đều có giá niêm yết $0.00. Bảng giá của dòng mô hình niêm yết elephant-1 ở mức $0.035 và mammoth-1 ở mức $0.1 cho mỗi triệu token; thông báo cho biết giá của joey-1 bằng một phần mười giá của mammoth-1.

Trên Model APIs, các mô hình ra quyết định hỗ trợ cửa sổ ngữ cảnh 16k và được tối ưu hóa cho các tác vụ có độ trễ thấp. Các triển khai chuyên dụng cho phép sử dụng toàn bộ cửa sổ ngữ cảnh 262k và hỗ trợ trọng số đã tinh chỉnh; Baseten cho biết chúng cũng có thể cải thiện TTFT và TPS (thời gian đến token đầu tiên và số token mỗi giây) nhờ các tối ưu hóa dành riêng cho từng tác vụ và việc triển khai cùng nơi với các tác vụ LLM. elephant-1 và joey-1 có thể được dùng để hậu huấn luyện trên Baseten Training Jobs, và công ty đã công bố một cẩm nang tinh chỉnh trên GitHub.

Các trọng số được phát hành theo giấy phép MIT. Để tự lưu trữ mô hình, tập lệnh thiết lập trong thẻ mô hình sẽ cài đặt một môi trường phục vụ mô hình được cố định phiên bản, OneJev có bản vá phục vụ, đồng thời yêu cầu một GPU CUDA. Thẻ mô hình lưu ý rằng các yêu cầu vượt quá giới hạn độ dài đã dùng khi huấn luyện sẽ bị từ chối thay vì bị cắt ngắn.