Anthropic ra mắt bản beta Luồng tin nhắn dành cho các tác tử hoạt động dài hạn

Ngày 2 tháng 11 năm 2026, Anthropic đưa Luồng tin nhắn vào giai đoạn beta công khai, cho phép các ứng dụng Messages API trên Claude Platform chỉ gửi những tin nhắn mới sau yêu cầu đầu tiên chứa toàn bộ cuộc hội thoại.

Tính năng này dành cho các phiên hoạt động cần độ trễ thấp, bao gồm tác tử lập trình hoạt động dài hạn, tác tử sử dụng máy tính có ảnh chụp màn hình được giữ lại trong luồng, và các quy trình làm việc sử dụng nhiều tài liệu và hình ảnh. Anthropic cho biết, khi Luồng tin nhắn được bật mặc định cho hầu hết người dùng Claude Code, các yêu cầu có từ 500.000 đến 1 triệu token ghi nhận thời gian trung vị để nhận token đầu tiên giảm khoảng 35%.

Vòng đời yêu cầu và khôi phục

Nếu không có luồng, mỗi lượt đều tải lên lại toàn bộ cuộc hội thoại, đồng thời API xác thực và mã hóa token lại tất cả nội dung đó. Khi có luồng, phần lớn công việc này chỉ áp dụng cho lượt mới trước khi API dựng lại cuộc hội thoại cho mô hình. Claude vẫn đọc toàn bộ cuộc hội thoại ở mỗi lượt, vì vậy mức sử dụng token không thay đổi. Mức giá token tiêu chuẩn và các giới hạn tốc độ hiện hành vẫn được áp dụng.

Tài liệu chính thức chia vòng đời thành các yêu cầu tạo và tiếp tục. Yêu cầu tạo gửi toàn bộ cuộc hội thoại, lời nhắc hệ thống và công cụ cùng với thread tham số; API lưu cuộc hội thoại và câu trả lời của Claude theo ID phản hồi. Yêu cầu tiếp tục chỉ gửi các tin nhắn kể từ phản hồi trước đó cùng với ID của phản hồi đó, không bao gồm system và tools. Sau đó, ID phản hồi mới sẽ được dùng cho lượt tiếp theo.

Các luồng được duy trì theo cơ chế nỗ lực tối đa và hết hạn năm phút sau yêu cầu cuối cùng; mỗi phản hồi được API lưu trữ sẽ bắt đầu lại khoảng thời gian này. Ứng dụng vẫn là nguồn dữ liệu chuẩn và phải lưu giữ bản sao riêng của mọi tin nhắn. Nếu API không thể tiếp tục một luồng nữa, ứng dụng gửi lại toàn bộ cuộc hội thoại trong một yêu cầu tạo mới. Tiện ích luồng của SDK tạo và tiếp tục các luồng, thêm tiêu đề beta bắt buộc, giữ cuộc hội thoại trong bộ nhớ và tự động gửi lại toàn bộ cuộc hội thoại một lần đối với các lỗi tiếp tục được chỉ định.

Lưu giữ và bộ nhớ đệm

Nội dung luồng được lưu trong bộ nhớ, với mã hóa do máy chủ quản lý; nội dung không bao giờ được ghi vào bộ lưu trữ bền vững và sẽ bị xóa chậm nhất là một giờ sau lần sử dụng cuối. Một luồng chứa cuộc hội thoại được gửi cho mô hình, lời nhắc hệ thống và công cụ trong yêu cầu tạo, cùng dấu vân tay của các trường cố định dùng để kiểm tra những yêu cầu tiếp theo. Tệp được giữ dưới dạng tham chiếu, vì vậy ứng dụng phải bảo đảm mọi tệp được sử dụng trong cuộc hội thoại luôn sẵn có khi luồng còn hoạt động. Luồng tin nhắn không đủ điều kiện áp dụng chính sách không lưu giữ dữ liệu hoặc sử dụng theo HIPAA, nhưng tính năng này không ảnh hưởng đến điều kiện áp dụng các tính năng không lưu giữ dữ liệu khác.

Luồng không tự động lưu lời nhắc vào bộ nhớ đệm; nhà phát triển phải cung cấp điểm ngắt bộ nhớ đệm hoặc cache_control. Một yêu cầu có luồng có thể có tối đa bốn điểm ngắt kiểm soát bộ nhớ đệm. Luồng cũng chỉ cho phép nối thêm nội dung, và mỗi ID phản hồi chỉ có thể được tiếp tục một lần. Việc thay đổi một trường chỉ dùng khi tạo, chẳng hạn như system hoặc tools, hay một trường cố định đều đòi hỏi tạo luồng mới chứa toàn bộ cuộc hội thoại.

Phát trực tuyến, khả năng cung cấp và giới hạn tính năng

Đối với phản hồi phát trực tuyến, ứng dụng phải chờ sự kiện message_stop trước khi tiếp tục từ ID phản hồi, vì yêu cầu tiếp tục được gửi quá sớm có thể trả về lỗi 404. Tiện ích SDK không tự động thử lại yêu cầu tiếp tục sau khi luồng bị ngắt. API không lưu các lượt do mô hình dự phòng tạo ra, vì vậy phải gửi toàn bộ cuộc hội thoại trong một yêu cầu tạo mới trước khi có thể tiếp tục sử dụng luồng.

Bản beta được cung cấp trên Claude Platform gốc, Claude Platform trên AWS, Claude trong Microsoft Foundry và Claude Models trên Google Cloud do Anthropic quản lý; tính năng beta được hỗ trợ trên mọi mô hình. Không có API để liệt kê, đọc hoặc xóa luồng. Luồng không hỗ trợ Message Batches, đếm token, rút gọn theo yêu cầu hoặc hầu hết các thao tác chỉnh sửa ngữ cảnh; tính năng này cũng không khả dụng cho các tổ chức đã bật Inference hooks.

Vì luồng sẽ hết hạn và không thể truy xuất qua API, các ứng dụng sử dụng bản beta vẫn phải lưu giữ lịch sử hội thoại của riêng mình và duy trì khả năng gửi lại toàn bộ cuộc hội thoại, ngay cả khi các lượt thông thường chỉ chứa tin nhắn mới.