Mô hình và nền tảng AI

AWS bổ sung bảng xếp hạng chất lượng, tốc độ và chi phí cho SageMaker JumpStart

Aiden Cross
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhAWS giữ điểm chuẩn riêng biệt để các nhóm có thể ưu tiên bài kiểm tra quan trọng cho…
Xem thêm
  • AWS giữ điểm chuẩn riêng biệt để các nhóm có thể ưu tiên bài kiểm tra quan trọng cho ứng dụng của họ.
  • Xếp hạng phản ánh cấu hình triển khai được chọn chứ không phải thứ tự phổ quát về chất lượng mô hình.
  • Ước tính chi phí hàng giờ không bao gồm truyền dữ liệu, lưu trữ và giảm giá nên không phải là toàn bộ hóa đơn.

Ngày 18 tháng 11 năm 2026, Amazon Web Services ra mắt Bảng xếp hạng mô hình Amazon SageMaker JumpStart, cung cấp cho người dùng SageMaker Studio một nơi duy nhất để xem kết quả đánh giá chuẩn, hiệu suất phản hồi và giá phiên bản ước tính của hơn 70 mô hình.

Đợt ra mắt này giải quyết vấn đề lựa chọn phát sinh từ danh mục hàng trăm mô hình nền tảng có trọng số mở của JumpStart: kết quả đã công bố có thể được tạo ra bằng những câu lệnh, thiết lập và phần cứng khác nhau, trong khi cách mô hình vận hành và chi phí thay đổi tùy theo cấu hình triển khai. Chế độ xem Bảng xếp hạng mới nằm cạnh mục Danh mục và Tất cả mô hình trên trang mô hình nền tảng của JumpStart, mở thẳng đến bảng xếp hạng mô hình ngôn ngữ lớn và vẫn giữ các chức năng tìm kiếm, lọc của JumpStart. Danh mục mô hình khi ra mắt gồm Meta, Google, Qwen, IBM và Arcee; bảng xếp hạng cũng có URL để chia sẻ.

Kiểm thử nhất quán và các tùy chọn kiểm soát triển khai

AWS cho biết họ chạy từng bài đánh giá chuẩn bằng cùng một bộ công cụ đánh giá và các thiết lập thống nhất trên những mô hình được kiểm thử. Ba bài kiểm thử gồm BIG-Bench Hard, đánh giá khả năng suy luận nhiều bước; GPQA Diamond, sử dụng các câu hỏi khoa học ở trình độ sau đại học khó trả lời bằng cách tìm kiếm trên web; và MMLU-Pro, kiểm tra kiến thức rộng hơn cùng khả năng suy luận thông qua các câu hỏi trắc nghiệm khó hơn.

Điểm số được giữ riêng, không gộp thành một điểm tổng hợp, để người dùng có thể ưu tiên bài kiểm thử phù hợp nhất với ứng dụng của mình. Điểm càng cao càng tốt ở cả ba bài đánh giá chuẩn.

Để đo lường hoạt động, AWS gửi một khối lượng công việc tiêu chuẩn đến các điểm cuối sử dụng cùng cấu hình triển khai JumpStart mà khách hàng có thể dùng. Bảng xếp hạng báo cáo thời gian đến token đầu tiên, thông lượng của mỗi yêu cầu tính bằng token/giây và chi phí phiên bản ước tính theo giờ. Các số liệu này phụ thuộc vào hai tùy chọn: hồ sơ trường hợp sử dụng, mặc định là Ngữ cảnh tối đa, và mục tiêu tối ưu hóa, mặc định là Cân bằng. Thay đổi hồ sơ sẽ làm thay đổi kết quả về hiệu suất và chi phí, nhưng không ảnh hưởng đến điểm chất lượng.

Mục tiêu Cân bằng chọn cấu hình có chi phí ước tính thấp nhất cho mỗi token, xét đến cả giá theo giờ lẫn tốc độ tạo sinh. Các mục tiêu còn lại chọn giá phiên bản theo giờ thấp nhất, thời gian đến token đầu tiên ngắn nhất hoặc thông lượng cao nhất; một số cấu hình ưu tiên thông lượng sử dụng kỹ thuật giải mã suy đoán. Vì vậy, thứ hạng phản ánh một cấu hình triển khai cụ thể, chứ không phải thứ tự xếp hạng chung cho mọi mô hình.

Lựa chọn được nối tiếp vào quá trình triển khai

Trước tiên, các nhóm có thể loại những mô hình không đáp ứng yêu cầu về giấy phép, nhà cung cấp hoặc phương thức đầu vào và đầu ra, rồi sắp xếp các mô hình còn lại theo bài đánh giá chuẩn đã chọn. Bản đồ nhiệt màu xanh làm nổi bật kết quả tốt hơn trong từng cột, còn các cột có thể điều chỉnh và tên mô hình được cố định giúp so sánh trên phạm vi rộng hơn.

Khi chọn một mô hình, người dùng sẽ thấy các tùy chọn triển khai và, nếu mô hình hỗ trợ tùy chỉnh phi máy chủ, các tùy chọn tùy chỉnh. Tài liệu SageMaker JumpStart lưu ý rằng không phải mô hình nào cũng hỗ trợ tùy chỉnh, tinh chỉnh và đánh giá.

AWS khuyến nghị triển khai bằng cùng hồ sơ trường hợp sử dụng và mục tiêu tối ưu hóa đã dùng khi so sánh, vì cấu hình khác có thể làm thay đổi chất lượng, độ trễ, thông lượng và chi phí. Ước tính theo giờ chỉ bao gồm phiên bản SageMaker theo mức giá theo nhu cầu dành cho loại phiên bản mặc định của cấu hình. Chi phí truyền dữ liệu, lưu trữ, thành phần suy luận, các mức giảm giá Reserved Instance và AWS Savings Plans không được tính vào con số này; do đó, cột giá trên bảng xếp hạng không phản ánh toàn bộ hóa đơn.

Giới hạn của bài đánh giá chuẩn và khả năng mở rộng

AWS khuyến nghị dùng bảng xếp hạng để lập danh sách rút gọn, sau đó thử nghiệm hai hoặc ba ứng viên hàng đầu trên dữ liệu và câu lệnh riêng của tổ chức trước khi đưa vào môi trường sản xuất. Nên so sánh điểm trong phạm vi từng bài đánh giá chuẩn và xem các kết quả sát nhau là đồng hạng, vì chênh lệch nhỏ có thể xuất phát từ biến động giữa các lần chạy. Mô hình suy luận và không suy luận sử dụng các tham số tạo sinh khác nhau; trong khi đó, kết quả GPQA Diamond của mô hình suy luận được tính trung bình qua 10 lượt chạy. Vì vậy, việc so sánh hai loại mô hình này chỉ mang tính xấp xỉ.

AWS cho biết họ đang nghiên cứu bảng xếp hạng dành cho các trung tâm riêng được tuyển chọn, các bảng đánh giá tác vụ bổ sung cho phát hiện đối tượng, nhúng văn bản và hiểu hình ảnh, cùng nhiều mô hình và bài đánh giá chuẩn hơn. Việc thiếu điểm số không có nghĩa là chất lượng kém; đơn giản là một số mô hình chưa được đánh giá chuẩn, và các bài đánh giá khi ra mắt tập trung vào mô hình ngôn ngữ lớn.

Giờ đây, người dùng JumpStart có thể bắt đầu lựa chọn mô hình dựa trên bằng chứng gắn với cấu hình triển khai ngay trong dịch vụ sẽ vận hành mô hình đó. Quyết định còn lại hẹp hơn nhưng vẫn có ý nghĩa quan trọng: liệu lợi thế của mô hình trong bài đánh giá chuẩn có được duy trì trên khối lượng công việc riêng của tổ chức hay không, và liệu bất kỳ mức cải thiện nào có xứng đáng với đặc tính phản hồi cùng chi phí phiên bản đã đo lường hay không.

Aiden Cross là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về chiến lược sản phẩm AI, thực hiện và các thách thức thực tế khi chuyển đổi các mô hình thử nghiệm thành các sản phẩm có khả năng mở rộng và sẵn sàng cho thị trường. Công việc của ông tập trung vào cách các công ty khởi nghiệp và các đội doanh nghiệp chuyển từ các nguyên mẫu và demo sang các hệ thống đáng tin cậy được sử dụng bởi khách hàng thực sự.
Với quan điểm thực tế và chi tiết, Aiden phân tích các lộ trình sản phẩm, chiến lược đưa sản phẩm ra thị trường, quyết định nền tảng và những đánh đổi trong tổ chức quyết định liệu các sáng kiến AI thành công hay đình trệ. Ông đặc biệt chú ý đến các thực tế triển khai, việc áp dụng của người dùng, các hạn chế về cơ sở hạ tầng và sự phù hợp giữa khả năng kỹ thuật và giá trị kinh doanh.
Các bài viết được viết bởi Aiden Cross được tạo bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo sự rõ ràng, chính xác và phạm vi bao quát có trách nhiệm về cách các sản phẩm AI được xây dựng, phát hành cho người dùng và mở rộng trong thế giới thực.