Bộ nhớ tác nhân AI là gì? Giải thích bộ nhớ ngắn hạn, dài hạn, giai đoạn và ngữ nghĩa

Bộ nhớ tác nhân AI là hệ thống lưu trữ, tổ chức và truy xuất thông tin mà một tác nhân có thể cần ngoài phản hồi mô hình ngay lập tức. Nó có thể giữ lại trạng thái nhiệm vụ đang hoạt động, các trải nghiệm trong quá khứ, sự kiện, sở thích và các quy trình đã học, nhưng nó không phải là một cơ sở dữ liệu duy nhất và cũng không giống với cửa sổ ngữ cảnh của mô hình.

Bộ nhớ giúp tác nhân duy trì tính nhất quán qua các nhiệm vụ dài và các tương tác lặp lại. Nó cũng có thể gây ra các thông tin lỗi thời, rủi ro về quyền riêng tư và việc truy xuất sai lệch. Câu hỏi thiết kế cốt lõi không phải là “Làm sao tác nhân có thể nhớ mọi thứ?” mà là “Nó nên nhớ gì, trong bao lâu, và dưới quyền nào?”

Ngữ Cảnh Không Phải Là Bộ Nhớ

Cửa sổ ngữ cảnh của mô hình cửa sổ ngữ cảnh là thông tin có sẵn trong một lần suy luận cụ thể: hướng dẫn, tin nhắn, kết quả công cụ, tài liệu được truy xuất và các đầu vào khác. Nó hoạt động như một không gian làm việc tạm thời.

Bộ nhớ là cơ chế rộng hơn quyết định thông tin nào được duy trì và cách các bản ghi được chọn trả lại vào không gian làm việc đó. Một cơ sở dữ liệu đầy các cuộc trò chuyện chỉ là lưu trữ; nó trở thành bộ nhớ hữu ích chỉ khi hệ thống có thể truy xuất thông tin đúng vào đúng thời điểm và thể hiện độ tin cậy của nó.

Sự khác biệt này quan trọng vì các cửa sổ ngữ cảnh lớn không giải quyết được việc quản lý bộ nhớ. Việc lấp đầy lời nhắc với mọi sự kiện trước đó làm tăng chi phí và có thể làm mô hình bị phân tâm bởi các chi tiết không liên quan hoặc mâu thuẫn.

Các Loại Bộ Nhớ Chính của Tác Nhân

Một hệ thống sản xuất có thể triển khai cả bốn loại bằng cách kết hợp trạng thái hội thoại, cơ sở dữ liệu có cấu trúc, tìm kiếm vector, nhật ký sự kiện và các hướng dẫn có phiên bản. Phân loại mô tả vai trò của thông tin, không phải sản phẩm cơ sở dữ liệu lưu trữ nó. Sở thích của khách hàng là bộ nhớ ngữ nghĩa bất kể nó tồn tại trong bảng quan hệ hay chỉ mục vector.

Bộ Nhớ Hoạt Động hoặc Ngắn Hạn

Bộ nhớ hoạt động giữ trạng thái đang hoạt động của nhiệm vụ hiện tại: mục tiêu, kế hoạch hiện tại, các quan sát gần đây, các câu hỏi mở, kết quả công cụ và các bước đã hoàn thành. Nó thường được lưu một phần trong hội thoại và một phần trong một đối tượng trạng thái có cấu trúc.

Vì ngữ cảnh hoạt động có giới hạn, các tác nhân chạy lâu có thể tóm tắt các sự kiện cũ hơn, lưu trữ các biến quan trọng riêng biệt, hoặc chỉ tải phần tiếp theo có liên quan của một nhiệm vụ.

Bộ Nhớ Giai Đoạn

Bộ nhớ giai đoạn ghi lại các trải nghiệm dưới dạng sự kiện: điều gì đã xảy ra, khi nào, trong tình huống nào, hành động nào đã được thực hiện và kết quả ra sao. Một tác nhân có thể nhớ rằng một triển khai cụ thể đã thất bại sau khi thay đổi cấu hình hoặc người dùng đã từ chối một đề xuất vì một lý do đã nêu.

Các bản ghi giai đoạn có thể hỗ trợ lập luận dựa trên trường hợp—tìm một tình huống trong quá khứ tương tự với hiện tại. Chúng cần được gán nguồn cẩn thận vì kết quả trước đó có thể đã phụ thuộc vào các điều kiện không còn áp dụng.

Bộ Nhớ Ngữ Nghĩa

Bộ nhớ ngữ nghĩa đại diện cho các sự kiện và khái niệm một cách độc lập với một sự kiện duy nhất. Ví dụ bao gồm ngôn ngữ ưa thích của khách hàng, định nghĩa của một chỉ số nội bộ, hoặc mối quan hệ giữa các sản phẩm.

Bộ nhớ ngữ nghĩa có thể tồn tại trong tài liệu, chỉ mục vector, cơ sở dữ liệu quan hệ hoặc đồ thị tri thức. Các sự kiện quan trọng nên bao gồm nguồn gốc, dấu thời gian và quyền sở hữu để tác nhân có thể phân biệt các bản ghi có thẩm quyền với các bản tóm tắt do mô hình tạo ra.

Bộ Nhớ Thủ Tục

Bộ nhớ thủ tục ghi lại cách thực hiện công việc: một quy trình làm việc, quy tắc chọn công cụ, danh sách kiểm tra, kế hoạch thành công, hoặc kỹ năng có thể tái sử dụng. Trong các hệ thống hiện tại, điều này thường xuất hiện dưới dạng các hướng dẫn có phiên bản, mã nguồn hoặc mẫu đã kiểm nghiệm hơn là một mô hình tự thay đổi một cách im lặng.

Việc tách các cập nhật thủ tục ra khỏi cuộc hội thoại thông thường là một tính năng an toàn. Một tương tác bất thường duy nhất không nên tự động ghi lại các quy tắc vận hành của tác nhân.

Cách Một Tác Nhân Nhớ Một Điều Gì Đó

Một quy trình bộ nhớ thực tiễn có bốn giai đoạn.

1. Ghi nhận: quan sát một tin nhắn, hành động, kết quả hoặc thay đổi môi trường.
2. Chọn và mã hoá: quyết định liệu thông tin có đáng giữ lại và chuyển nó thành một bản ghi có siêu dữ liệu.
3. Lưu trữ: đặt bản ghi vào hệ thống phù hợp với kiểm soát truy cập và chính sách lưu giữ.
4. Truy xuất: khi một nhiệm vụ mới xuất hiện, tìm kiếm các bản ghi liên quan, xếp hạng chúng và đưa một lựa chọn nhỏ vào ngữ cảnh.

Một số hệ thống bổ sung giai đoạn hợp nhất: kết hợp các quan sát lặp lại, giải quyết trùng lặp, hoặc chuyển đổi sự kiện thành các sự kiện bền vững. Quá trình đó không nên xóa bỏ nguồn gốc hoặc độ không chắc chắn.

Cách hoạt động của Truy xuất

Tìm kiếm tương đồng vector thường được dùng vì nó có thể tìm các bản ghi có liên quan ngữ nghĩa ngay cả khi cách diễn đạt khác nhau. Tuy nhiên, chỉ có sự tương đồng là không đủ. Một sở thích đã tồn tại sáu tháng có thể liên quan về chủ đề nhưng không còn hợp lệ.

Truy xuất mạnh mẽ có thể kết hợp nhiều tín hiệu:

• mức độ liên quan ngữ nghĩa: mức độ bản ghi phù hợp với nhiệm vụ hiện tại;
• tính mới: liệu thông tin mới hơn có nên được trọng số cao hơn không;
• tầm quan trọng: liệu bản ghi ảnh hưởng đến quyết định hoặc ràng buộc quan trọng không;
• độ tin cậy: liệu nó đến từ hệ thống đáng tin, người dùng, hay suy luận mô hình;
• phạm vi: liệu đại lý và người dùng hiện tại có được phép truy cập không;
• đa dạng: liệu các ký ức được chọn bổ sung thông tin riêng biệt thay vì lặp lại cùng một điểm.

Kiến trúc Bộ nhớ có Ảnh hưởng

Nghiên cứu Generative Agents đã giới thiệu một kiến trúc trong đó các đại lý lưu trữ quan sát, truy xuất ký ức dựa trên mức độ liên quan, tính mới và tầm quan trọng, và hình thành các phản chiếu cấp cao hơn để hướng dẫn lập kế hoạch. Nó chứng minh cách bộ nhớ có thể tạo ra tính liên tục trong hành vi mô phỏng.

MemGPT đã tiếp cận ngữ cảnh hạn chế qua phép ẩn dụ hệ điều hành, sử dụng các tầng bộ nhớ và di chuyển rõ ràng giữa ngữ cảnh hoạt động nhỏ và bộ nhớ ngoài lớn hơn. Bài học rộng hơn là ngữ cảnh nên được quản lý như một tài nguyên khan hiếm.

Những ý tưởng này ảnh hưởng đến các đại lý hiện đại, nhưng bộ nhớ sản xuất thường sử dụng các thành phần đơn giản hơn: trạng thái nhiệm vụ có cấu trúc, nhật ký sự kiện, kho vector và các tùy chọn người dùng rõ ràng. Độ phức tạp nên xuất hiện khi có nhu cầu đã được chứng minh.

Bộ nhớ so với Tạo sinh tăng cường truy xuất

Tạo sinh tăng cường truy xuất (RAG) đưa thông tin bên ngoài vào ngữ cảnh mô hình. Bộ nhớ đại lý có thể sử dụng cùng các kỹ thuật truy xuất, nhưng nguồn và vòng đời lại khác nhau.

Một hệ thống RAG có thể truy xuất từ cơ sở kiến thức được biên soạn độc lập với đại lý. Hệ thống bộ nhớ thường bao gồm các bản ghi do tương tác của đại lý tự tạo và phải quyết định cả việc ghi và đọc. Ranh giới có thể mờ nhạt, nhưng bộ nhớ mang lại cá nhân hoá, lưu giữ và rủi ro dữ liệu tự tạo mà việc truy xuất tài liệu thông thường không có.

Các lỗi thường gặp của Bộ nhớ

Xung đột là điều không thể tránh khỏi. Người dùng có thể thay đổi một tùy chọn, hai hệ thống có thể không đồng nhất về một tài khoản, hoặc bản tóm tắt có thể bỏ qua một ngoại lệ quan trọng. Bộ nhớ đáng tin cậy lưu giữ dấu thời gian và nguồn gốc, xác định hệ thống nào là có thẩm quyền, và hiển thị các mâu thuẫn chưa được giải quyết thay vì im lặng chọn bản ghi nào xuất hiện đầu tiên.

• Bộ nhớ lỗi thời: một thông tin cũ ghi đè giá trị mới hơn trong hệ thống ghi chép.
• Bộ nhớ sai: một suy luận do mô hình tạo ra được lưu như thể đã được xác nhận.
• Nhiễu thu hồi: các bản ghi tương tự nhưng không liên quan gây sao lãng cho mô hình.
• Quá cá nhân hoá: hệ thống áp dụng một tùy chọn ngoài ngữ cảnh mà nó được đưa ra.
• Rò rỉ giữa người dùng: các bản ghi từ một người hoặc tenant xuất hiện trong ngữ cảnh của người khác.
• Thải độc: nội dung độc hại được lưu trữ để có thể thao túng hành vi của agent sau này.
• Giữ dữ liệu không giới hạn: dữ liệu nhạy cảm tồn tại mà không có mục đích rõ ràng hoặc lộ trình xóa bỏ.

Thiết Kế Bộ Nhớ Một Cách Có Trách Nhiệm

Bắt đầu bằng các danh mục rõ ràng. Tách biệt các sự kiện có thẩm quyền, các tùy chọn do người dùng cung cấp, các bản tóm tắt của mô hình và các nhật ký tương tác thô. Lưu trữ nguồn gốc và dấu thời gian. Đối với các sự kiện có tác động lớn, đặt quy tắc hết hạn hoặc yêu cầu xác nhận khi bằng chứng mâu thuẫn.

Người dùng nên có khả năng xem, chỉnh sửa và xóa bộ nhớ cá nhân bền vững khi cần thiết. Kiểm soát truy cập phải được áp dụng cả trong quá trình lưu trữ và truy xuất. Một bản ghi tồn tại trong cơ sở dữ liệu không tự động đủ điều kiện cho mọi agent, nhiệm vụ hoặc người dùng.

Đánh giá bộ nhớ như một hệ thống. Kiểm tra xem agent có truy xuất được các bản ghi hữu ích, bỏ qua những bản ghi không liên quan, tôn trọng các sự kiện đã cập nhật, chịu được các nỗ lực thải độc, và hành xử đúng khi không có bộ nhớ nào khả dụng hay không. Đo lường cải thiện so với độ trễ, chi phí và mức độ phơi bày quyền riêng tư được thêm vào.

Bộ Nhớ Có Nghĩa Là Agent Học Không?

Thông thường, không có trọng số mô hình nào thay đổi. Hầu hết bộ nhớ của agent là thông tin bên ngoài được truy xuất vào ngữ cảnh của mô hình trong thời gian chạy. Điều này có thể thay đổi hành vi một cách đáng kể, nhưng nó khác với việc đào tạo hoặc tinh chỉnh mô hình nền tảng. Giữ sự phân biệt rõ ràng giúp các nhóm suy nghĩ về khả năng đảo ngược: một bản ghi bên ngoài có thể được chỉnh sửa hoặc xóa mà không cần đào tạo lại mô hình.

Không nhất thiết. Hầu hết bộ nhớ của agent thay đổi thông tin cung cấp cho một mô hình cố định; nó không cập nhật các tham số của mô hình. Hệ thống có thể hành xử khác nhau vì ngữ cảnh thay đổi, điều này có thể giống như việc học mà không thay đổi mạng nơ-ron nền tảng.

Sự tách biệt đó rất hữu ích. Bộ nhớ bên ngoài có thể được kiểm tra, chỉnh sửa, quản trị và xóa dễ dàng hơn so với kiến thức được nhúng qua quá trình đào tạo.

Những Điều Cần Nhớ Về Bộ Nhớ Agent AI

Bộ nhớ agent AI là một kiến trúc truy xuất và quản trị xung quanh một mô hình. Bộ nhớ làm việc duy trì nhiệm vụ hiện tại; bộ nhớ hồi ký ghi lại các trải nghiệm; bộ nhớ ngữ nghĩa bảo tồn các sự kiện; và bộ nhớ thủ tục mã hoá các cách làm việc có thể tái sử dụng.

Hệ thống bộ nhớ tốt nhất là có tính chọn lọc, có thể truy xuất nguồn gốc, nhận thức quyền truy cập và dễ dàng chỉnh sửa. Việc nhớ nhiều hơn không phải là mục tiêu. Mục tiêu là giúp agent đưa bằng chứng phù hợp vào quyết định đúng—mà không vi phạm niềm tin.