Mô hình và nền tảng AI
AWS đưa Kimi K3.1 Pro Highspeed lên Amazon Bedrock
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Amazon Web Services đã cung cấp Kimi K3.1 Pro Highspeed của Moonshot AI trên Amazon Bedrock vào ngày 10 tháng 11 năm 2026, với cửa sổ ngữ cảnh 1 triệu token thông qua các hồ sơ suy luận toàn cầu, Mỹ và Ấn Độ. Moonshot AI cho biết phiên bản Highspeed tạo token đầu ra nhanh gấp hai đến ba lần K3.1 Pro.
Mô hình nền tảng được ra mắt vào ngày 4 tháng 11 năm 2026, trước khi được triển khai trên Bedrock. K3.1 Pro là phiên bản Kimi K3 đã qua huấn luyện hậu kỳ, giữ nguyên kiến trúc trọng số mở thuộc lớp 3T và cửa sổ ngữ cảnh, đồng thời sử dụng lượng tính toán hậu huấn luyện lớn hơn đáng kể. Moonshot AI cho biết quá trình huấn luyện bổ sung tập trung vào các tác vụ tác tử kéo dài và giảm lỗi thực tế, đồng thời cải thiện khả năng lập mô hình tài chính, xử lý tài liệu văn phòng và viết mã cho công cụ trò chơi, cảnh 3D cũng như tập lệnh thiết kế có sự hỗ trợ của máy tính.
Trong lập trình tác tử, một tác vụ duy nhất có thể đòi hỏi nhiều lần gọi mô hình liên tiếp: đọc tệp, lập kế hoạch thay đổi, chỉnh sửa mã, chạy kiểm thử và khắc phục lỗi. Tốc độ tạo token đầu ra cao hơn có thể rút ngắn thời gian tạo nội dung ở mỗi bước. Các triển khai Kimi K3 hiện có trên Bedrock có thể chuyển sang mô hình mới bằng cách thay đổi ID mô hình; mô hình này hỗ trợ gọi công cụ, đầu ra có cấu trúc, khả năng suy luận có thể tùy chỉnh, đầu vào hình ảnh và truyền dữ liệu trực tuyến thông qua cùng một điểm cuối và các API. AWS cũng trình diễn OpenCode, một tác tử lập trình mã nguồn mở chạy trên thiết bị đầu cuối, được kết nối thông qua Chat Completions và khóa API Bedrock.
Quyền truy cập và nơi lưu trữ dữ liệu
Nhà phát triển có thể gọi mô hình thông qua các API Chat Completions và Responses tương thích với OpenAI, hoặc các API Converse và Invoke của Bedrock. AWS khuyến nghị dùng Chat Completions. Hồ sơ suy luận liên vùng toàn cầu định tuyến yêu cầu đến bất kỳ Khu vực AWS thương mại nào được hỗ trợ, trong khi các hồ sơ Mỹ và Ấn Độ giới hạn định tuyến trong phạm vi địa lý tương ứng để đáp ứng yêu cầu về nơi lưu trữ dữ liệu. Yêu cầu từ Ấn Độ được định tuyến giữa Mumbai và Hyderabad.
AWS cho biết dữ liệu suy luận được lưu giữ trong ranh giới dữ liệu AWS, không được chia sẻ với Moonshot AI và không được dùng để huấn luyện mô hình. Tính năng không lưu giữ dữ liệu được bật mặc định cho mọi yêu cầu suy luận, và nhân viên vận hành AWS không thể xem lời nhắc hoặc nội dung hoàn tất trong quá trình suy luận.
Giá và kiểm soát chi phí
Mức giá của gói Tiêu chuẩn phụ thuộc vào hồ sơ định tuyến. Tất cả mức giá dưới đây được tính trên mỗi 1 triệu token:
| Hồ sơ suy luận | Đầu vào | Đầu ra | Đọc bộ nhớ đệm | Ghi bộ nhớ đệm (30 phút) |
|---|---|---|---|---|
| Liên vùng toàn cầu | $4.00 | $20.00 | $0.20 | $5.00 |
| Liên vùng Mỹ | $4.40 | $22.00 | $0.22 | $5.50 |
| Liên vùng Ấn Độ | $4.40 | $22.00 | $0.22 | $5.50 |
Trên trang giá Bedrock, Kimi K3 trước đó được niêm yết ở mức 3,00 USD cho mỗi triệu token đầu vào và 15,00 USD cho mỗi triệu token đầu ra đối với suy luận Tiêu chuẩn toàn cầu. Vì vậy, mô hình mới có mức giá đầu vào và đầu ra cao hơn, dù mức phí đọc bộ nhớ đệm toàn cầu thấp hơn mức 0,30 USD của K3 cho mỗi triệu token.
Gói Flex cung cấp dịch vụ suy luận với mức giá bằng một nửa gói Tiêu chuẩn, đổi lại thời gian phản hồi có thể lâu hơn; trong khi đó, gói Ưu tiên có mức phụ phí 75%. Có thể chọn gói cho từng yêu cầu, nhờ vậy ứng dụng có thể dùng gói Tiêu chuẩn cho lưu lượng thông thường, gói Ưu tiên cho các yêu cầu cần độ trễ thấp và gói Flex cho hoạt động đánh giá, tóm tắt hoặc xử lý tác tử chạy nền.
Tính năng lưu bộ nhớ đệm lời nhắc tường minh xử lý những phần ngữ cảnh được lặp lại, chẳng hạn như chỉ dẫn hệ thống, định nghĩa công cụ và quy ước trong kho mã. Mỗi điểm ngắt phải nằm sau ít nhất 256 token nội dung ổn định. Tính năng này hoạt động với Responses, Chat Completions và Invoke, nhưng không hỗ trợ Converse. Các lần đọc bộ nhớ đệm được giảm giá và không tính vào hạn mức token đầu vào mỗi phút, trong khi chi phí ghi cao hơn chi phí đầu vào tiêu chuẩn.
Giới hạn về suy luận và khả năng tương thích
Thẻ thông tin mô hình hỗ trợ các mức suy luận none, low, medium, high, xhigh và max; mặc định là max. Chọn none sẽ tắt suy luận cho một yêu cầu. Mức suy luận thấp hơn có thể giảm độ trễ và lượng token tiêu thụ, nhưng phải đánh đổi bằng hiệu suất thực hiện tác vụ; vì vậy, mức mặc định là yếu tố quan trọng cần cân nhắc đối với các khối lượng công việc nhạy cảm về chi phí.
Converse còn có những hạn chế khác ngoài việc không hỗ trợ lưu bộ nhớ đệm tường minh. API này có thể trả về lỗi máy chủ nội bộ khi nội dung suy luận từ các lượt trước được đưa vào yêu cầu nhiều lượt, ảnh hưởng đến các framework như LangChain và Strands Agents khi dùng cấu hình mặc định. AWS khuyến nghị xóa các khối suy luận trước đó khỏi yêu cầu Converse nhiều lượt. Converse cũng từ chối tài liệu PDF và HTML đính kèm, còn Bedrock không hỗ trợ đầu vào video cho mô hình này.
Mỗi token đầu ra cũng tiêu thụ 10 token trong hạn mức tài khoản áp dụng trên điểm cuối bedrock-runtime; đây là yếu tố về dung lượng riêng, tách biệt với phí tính theo token.
Với người dùng K3 hiện tại, việc chuyển đổi chỉ đòi hỏi thay đổi rất ít mã, nhưng sự đánh đổi khi vận hành không chỉ dừng ở khả năng tương thích. Lợi ích tiềm năng là hoàn thành nhanh hơn các tác vụ tác tử gồm nhiều bước liên tiếp; những yếu tố bù trừ là giá đầu vào và đầu ra cao hơn, lượng token tiêu thụ do suy luận và mức sử dụng hạn ngạch. Flex, bộ nhớ đệm và các tùy chọn về mức suy luận là những công cụ AWS cung cấp để cân bằng các yêu cầu đó.
