Cách các tác nhân AI hoạt động: Mô hình, Công cụ, Bộ nhớ và Vòng lặp điều khiển

Một tác nhân AI hoạt động bằng cách kết hợp một mô hình với các hướng dẫn, công cụ, bộ nhớ và một vòng lặp điều khiển, liên tục quyết định hành động tiếp theo. Mô hình cung cấp khả năng phán đoán và ngôn ngữ, trong khi phần mềm bao quanh biến những khả năng này thành một quy trình có trạng thái, có thể thực thi, kiểm tra kết quả, phục hồi lỗi và dừng lại.

Hiểu kiến trúc này hữu ích hơn so với việc xem một tác nhân như một đối tượng thông minh duy nhất. Hầu hết thành công và thất bại xuất phát từ cách các thành phần tương tác: một mô hình xuất sắc có thể bị suy yếu bởi công cụ mơ hồ, bộ nhớ lỗi thời, quyền hạn quá mức, hoặc vòng lặp điều khiển không có định nghĩa đáng tin cậy về việc hoàn thành.

Năm Thành Phần Cốt Lõi của Một Tác Nhân AI

1. Mô hình

Mô hình diễn giải mục tiêu, suy luận dựa trên ngữ cảnh hiện có và chọn một hành động. Trong nhiều tác nhân hiện nay, đây là một mô hình ngôn ngữ lớn có khả năng tuân theo hướng dẫn và tạo ra các lời gọi công cụ có cấu trúc cũng như ngôn ngữ tự nhiên.

Mô hình mạnh nhất không nhất thiết là lựa chọn tốt nhất cho mọi bước. Hệ thống có thể chuyển công việc lập kế hoạch khó sang mô hình mạnh hơn, sử dụng mô hình nhanh hơn cho việc phân loại, và dựa vào mã định danh để xác thực. Sự kết hợp này có thể cải thiện tốc độ, chi phí và độ tin cậy.

2. Hướng dẫn

Hướng dẫn xác định vai trò, giới hạn, ưu tiên và yêu cầu đầu ra của tác nhân. Chúng có thể bao gồm lời nhắc hệ thống, ngữ cảnh đặc thù cho nhiệm vụ, chính sách, ví dụ, mô tả công cụ và tiêu chí dừng.

Hướng dẫn tốt là thực tiễn. Chúng cho tác nhân biết bằng chứng nào cần thiết, khi nào cần xin phê duyệt, nguồn nào được chấp nhận và cách nhận biết khi hoàn thành. Các quy tắc mơ hồ hoặc mâu thuẫn buộc mô hình phải đoán, gây ra sự không nhất quán giữa các nhiệm vụ tương tự.

3. Công cụ

Công cụ kết nối mô hình với các khả năng nằm ngoài ngữ cảnh hiện tại của nó. Một công cụ có thể tìm kiếm trên web, truy xuất hồ sơ khách hàng, chạy mã, truy vấn cơ sở dữ liệu, điều khiển trình duyệt, hoặc tạo sự kiện lịch.

Mô hình thường không thực thi chức năng trực tiếp. Nó chọn một công cụ có tên và đề xuất các đối số có cấu trúc. Thời gian chạy của tác nhân xác thực yêu cầu, kiểm tra quyền, thực thi thao tác và trả về kết quả. Sự tách biệt này là thiết yếu: nó cho phần mềm cơ hội từ chối các hành động sai định dạng hoặc không an toàn trước khi chúng ảnh hưởng tới thế giới bên ngoài.

4. Trạng thái và Bộ nhớ

Trạng thái là thông tin mà tác nhân cần trong quá trình chạy hiện tại: mục tiêu, cuộc trò chuyện, kế hoạch, quan sát, kết quả công cụ và các bước đã hoàn thành. Bộ nhớ mở rộng khái niệm này bằng cách giữ lại thông tin hữu ích vượt ra ngoài ngữ cảnh ngay lập tức, chẳng hạn như sở thích trước đây, các sự kiện lặp lại, hoặc bài học từ các nhiệm vụ trước.

Có nhiều bộ nhớ không phải lúc nào cũng tốt hơn. Các bản ghi không liên quan tiêu tốn ngữ cảnh và có thể dẫn dắt mô hình tới những giả định lỗi thời. Hệ thống bộ nhớ hiệu quả quyết định những gì cần lưu, cách tổ chức, thời điểm truy xuất và cách xử lý thông tin mâu thuẫn hoặc đã hết hạn.

5. Vòng lặp Điều khiển

Vòng lặp điều khiển là lớp điều phối giữ cho quy trình tiếp tục. Nó gửi trạng thái hiện tại tới mô hình, nhận hành động đề xuất, chạy các công cụ đã được phê duyệt, ghi lại quan sát và gọi lại mô hình.

Anthropic mô tả một tác nhân như một mô hình ngôn ngữ được tăng cường, hoạt động trong vòng lặp với các khả năng như truy xuất, công cụ và bộ nhớ trong hướng dẫn xây dựng các tác nhân hiệu quả. OpenAI cũng khung lại việc thực thi tác nhân như một tương tác liên tục giữa mô hình, các công cụ và môi trường trong Từ Mô hình tới Tác nhân.

Giao diện quan trọng không kém các thành phần

Sơ đồ kiến trúc có thể làm cho mỗi thành phần trông tách biệt rõ ràng, nhưng độ tin cậy thực tế phụ thuộc vào các hợp đồng giữa chúng. Mô hình cần mô tả công cụ phân biệt các khả năng tương tự. Thời gian chạy cần các đối số có kiểu và trạng thái lỗi rõ ràng. Việc truy xuất bộ nhớ cần thông tin nguồn gốc và độ tươi mới. Bộ kiểm tra hoàn thành cần tiêu chí có thể kiểm chứng thay vì cảm giác mơ hồ rằng câu trả lời đủ tốt.

Hãy xem một công cụ tìm kiếm trả về danh sách rỗng. Kết quả này có thể có nghĩa là không có bản ghi liên quan, truy vấn sai định dạng, người dùng thiếu quyền, hoặc dịch vụ hết thời gian chờ. Nếu công cụ gộp bốn điều kiện này thành cùng một đầu ra, mô hình không thể suy luận một cách đáng tin cậy về những gì đã xảy ra. Một giao diện được thiết kế tốt trả về bằng chứng có cấu trúc: trạng thái, nguồn, thời gian, truy vấn, số lượng kết quả và lỗi có thể đọc được bởi máy khi cần.

Nguyên tắc tương tự áp dụng cho ngữ cảnh. Các hướng dẫn, hồ sơ có thẩm quyền, đoạn trích được truy xuất, ghi chú do mô hình tạo và nội dung bên ngoài không đáng tin cậy không nên được xem như văn bản tương đương. Gắn nhãn nguồn và thẩm quyền giúp thời gian chạy thực thi chính sách và giúp mô hình cân nhắc bằng chứng một cách chính xác. Đây là một dạng thực tiễn của kỹ thuật ngữ cảnh: quyết định không chỉ thông tin nào mô hình nhìn thấy, mà còn cách sắp xếp thông tin và những gì hệ thống cho phép nó kiểm soát.

Ví dụ từng bước

Hãy tưởng tượng một tác nhân được yêu cầu so sánh ba nhà cung cấp tiềm năng và chuẩn bị một đề xuất.

1. Nhận mục tiêu: tác nhân đọc các tiêu chí quyết định, thời hạn, ngân sách và đầu ra yêu cầu.
2. Kiểm tra ngữ cảnh có sẵn: nó kiểm tra xem các tên nhà cung cấp, yêu cầu nội bộ và tài liệu nguồn có sẵn hay không.
3. Lập kế hoạch: nó quyết định thu thập giá cả, thông tin bảo mật, điều khoản dịch vụ và bằng chứng khách hàng cho mỗi nhà cung cấp.
4. Chọn công cụ: nó tìm kiếm trong kho tài liệu được phê duyệt hoặc gọi công cụ nghiên cứu bên ngoài.
5. Quan sát: thời gian chạy trả về kết quả, bao gồm các lỗi có thể xảy ra hoặc trường thiếu.
6. Cập nhật trạng thái: tác nhân ghi lại những gì đã học và đánh dấu các câu hỏi chưa giải quyết.
7. Thích nghi: nó thay đổi truy vấn, tham khảo nguồn khác, hoặc yêu cầu người khác cung cấp tài liệu không có.
8. Xác minh: nó kiểm tra rằng mỗi đề xuất được hỗ trợ và các so sánh sử dụng cùng tiêu chí.
9. Dừng hoặc yêu cầu phê duyệt: nó tạo bản đề xuất sơ bộ, nhưng để quyết định mua hàng cho người có thẩm quyền.

Điểm quan trọng là chuỗi này không được mã hoá hoàn toàn. Hệ thống đã chọn các bước dựa trên những gì nó phát hiện, nhưng vẫn hoạt động trong giới hạn đã thiết kế.

Lập kế hoạch không luôn luôn là một giai đoạn riêng biệt

Một số tác nhân tạo ra kế hoạch đầy đủ trước khi thực hiện. Những tác nhân khác quyết định từng bước một. Nhiều người dùng mô hình hỗn hợp: tạo kế hoạch sơ bộ, thực hiện hành động tiếp theo, và điều chỉnh phần còn lại của kế hoạch khi có quan sát.

Các kế hoạch dài, cứng nhắc có thể trở nên lỗi thời sau kết quả bất ngờ đầu tiên. Các tác nhân chỉ phản ứng có thể lạc hướng hoặc lặp lại công việc. Một thiết kế thực tiễn giữ đủ kế hoạch để duy trì hướng đi đồng thời cho phép lập kế hoạch lại khi môi trường thay đổi.

Khung ReAct là ví dụ nền tảng về việc xen kẽ suy luận với hành động và quan sát. Nhận thức trung tâm của nó là một kết quả bên ngoài có thể sửa, tinh chỉnh hoặc định hướng lại bước suy luận tiếp theo.

Cách các tác nhân biết khi nào nên dừng lại

Việc dừng lại là một vấn đề thiết kế hệ thống. Một mô hình có thể tuyên bố thành công quá sớm, tiếp tục tinh chỉnh sau khi đạt mục tiêu, hoặc vòng lặp khi công cụ liên tục thất bại.

Các tác nhân đáng tin cậy kết hợp nhiều cơ chế dừng:

• Tiêu chí hoàn thành: các điều kiện rõ ràng như trường bắt buộc, bài kiểm tra đã vượt qua, hoặc trích dẫn đã xác thực.
• Ngân sách: giới hạn số bước, thời gian, token mô hình, lời gọi công cụ, hoặc chi phí.
• Ngưỡng lỗi: nâng cấp sau các thất bại lặp lại hoặc quan sát có độ tin cậy thấp.
• Cổng phê duyệt: tạm dừng trước các hành động có tác động lớn hoặc không thể đảo ngược.
• Bộ chấm điểm bên ngoài: kiểm tra định danh hoặc các mô hình riêng đánh giá liệu đầu ra có đáp ứng nhiệm vụ hay không.

Kiến trúc Tác nhân Thông thường

Một vòng lặp đơn tác nhân là thiết kế đơn giản nhất: một mô hình lặp lại việc sử dụng công cụ cho đến khi hoàn thành. Nó dễ dàng gỡ lỗi hơn và thường đủ.

Một bộ định tuyến phân loại yêu cầu và chuyển nó tới lời nhắc, bộ công cụ hoặc mô hình chuyên biệt. Định tuyến giảm các lựa chọn không liên quan và có thể áp dụng các chính sách khác nhau cho các công việc khác nhau.

Kiến trúc điều phối‑nhân viên cho phép một tác nhân chính tạo các công việc phụ và giao cho các nhân viên, sau đó tổng hợp kết quả của chúng. Điều này hữu ích khi công việc có thể chạy song song hoặc yêu cầu các chuyên môn khác nhau, nhưng nó làm tăng việc sử dụng token và các chế độ thất bại trong phối hợp.

Một vòng lặp đánh giá‑tối ưu tách việc tạo ra câu trả lời khỏi việc phê bình. Một thành phần tạo ra câu trả lời; thành phần khác kiểm tra nó dựa trên tiêu chí đã định; thành phần đầu tiên sửa đổi lại. Cách này hiệu quả khi chất lượng có thể đo lường và cải tiến qua vòng lặp đáng giá chi phí bổ sung.

Những Điều Thường Sai Lầm

• Mô tả công cụ kém: mô hình chọn khả năng sai hoặc cung cấp đối số không hợp lệ.
• Ngữ cảnh không giới hạn: bản ghi dài chứa chi tiết không liên quan và chôn vùi thông tin quyết định.
• Lỗi công cụ im lặng: kết quả rỗng hoặc một phần bị nhầm là quan sát hợp lệ.
• Cơ sở yếu: tác nhân hành động dựa trên giả định thay vì kiểm tra hệ thống ghi chép.
• Tự chủ quá mức: tác nhân có thể thực hiện các hành động quan trọng mà không có ranh giới xem xét thích hợp.
• Không có đánh giá hành trình: các nhóm đánh giá câu trả lời cuối cùng nhưng không kiểm tra cách tác nhân đạt được nó.

Nguyên tắc Thiết kế cho Các Tác nhân Đáng tin cậy

Bắt đầu với kiến trúc nhỏ nhất có thể giải quyết nhiệm vụ. Quy trình làm việc định danh nên xử lý các bước đã biết; để lại quyền quyết định cho mô hình cho những quyết định thực sự cần diễn giải. Đưa mỗi công cụ một mục đích hẹp, đầu vào có kiểu, trạng thái lỗi rõ ràng và quyền truy cập tối thiểu.

Làm cho trạng thái hiển thị. Ghi lại mọi lời gọi công cụ, kết quả, thử lại, phê duyệt và quyết định của mô hình cần thiết cho việc chẩn đoán. Nén ngữ cảnh cũ thay vì liên tục thêm vào, và giữ dữ liệu có thẩm quyền riêng biệt so với tóm tắt do mô hình tạo ra.

Thiết kế thời gian chạy sao cho các lỗi trở nên rõ ràng. Một công cụ nên phân biệt “không tìm thấy bản ghi” với “yêu cầu thất bại”, và kho lưu trữ trạng thái nên phân biệt sự thật đã được xác minh với tóm tắt do mô hình tạo ra. Nếu không, mô hình có thể coi sự thiếu hụt do thời gian chờ gây ra là bằng chứng cho việc một thứ không tồn tại.

Cuối cùng, đánh giá toàn bộ hệ thống. Thực hiện cùng một nhiệm vụ nhiều lần, đo lường thành công và việc sử dụng tài nguyên, và kiểm tra hành trình để phát hiện vi phạm chính sách hoặc các lối tắt yếu. Hướng dẫn của Anthropic về đánh giá tác nhân nhấn mạnh rằng các tác nhân cần các nhiệm vụ, thử nghiệm lặp lại, bản ghi và bộ chấm điểm — không chỉ một vài demo ấn tượng.

Những Điều Cần Nhớ Về Cách Các Tác nhân AI Hoạt Động

Một tác nhân AI là một vòng lặp được thiết kế, không chỉ là một mô hình thông minh. Mô hình quyết định; công cụ thực thi; bộ nhớ mang trạng thái; môi trường trả về bằng chứng; và vòng lặp điều khiển quyết định hành động tiếp theo.

Khi các phần này có giao diện và ranh giới rõ ràng, một tác nhân có thể xử lý công việc mở rộng mà tự động hoá truyền thống không thể dự đoán. Khi không, tính tự chủ làm tăng độ mơ hồ. Do đó, chất lượng của một tác nhân phụ thuộc không chỉ vào thiết kế hệ thống, quyền hạn và đánh giá mà còn vào mô hình nền tảng.