Họ Đã Hứa Với Chúng Ta Về Các Đại Diện, Nhưng Tất Cả Những Gì Chúng Ta Nhận Được Chỉ Là Các Chuỗi Tĩnh

Vào mùa xuân năm 2023, thế giới đã trở nên hứng thú với sự xuất hiện của các đại diện AI dựa trên LLM. Các bản demo mạnh mẽ như AutoGPT và BabyAGI đã thể hiện tiềm năng của LLM khi chạy trong một vòng lặp, chọn hành động tiếp theo, quan sát kết quả và chọn hành động tiếp theo, từng bước một (còn được gọi là khuôn khổ ReACT). Phương pháp mới này được dự kiến sẽ cung cấp năng lượng cho các đại diện tự động và chung thực hiện các nhiệm vụ đa bước. Chỉ cần cung cấp cho nó một mục tiêu và một tập hợp các công cụ, và nó sẽ xử lý phần còn lại. Vào cuối năm 2024, phong cảnh sẽ đầy rẫy các đại diện AI và khuôn khổ xây dựng đại diện AI. Nhưng làm thế nào để chúng đo lường so với lời hứa?

Có thể nói một cách an toàn rằng các đại diện được cung cấp bởi khuôn khổ ReACT thuần túy đang gặp phải những hạn chế nghiêm trọng. Hãy cung cấp cho chúng một nhiệm vụ đòi hỏi hơn một vài bước, sử dụng hơn một vài công cụ, và chúng sẽ thất bại thảm hại. Ngoài các vấn đề về độ trễ rõ ràng, chúng sẽ mất dấu, không thể tuân theo hướng dẫn, dừng quá sớm hoặc dừng quá muộn, và tạo ra các kết quả khác nhau trên mỗi lần thử. Và điều đó không có gì ngạc nhiên. Khuôn khổ ReACT lấy những hạn chế của LLM không thể đoán trước và nhân lên theo số bước. Tuy nhiên, những người xây dựng đại diện đang tìm cách giải quyết các trường hợp sử dụng thực tế, đặc biệt là trong doanh nghiệp, không thể chấp nhận mức hiệu suất như vậy. Họ cần kết quả đáng tin cậy, có thể dự đoán và giải thích được cho các quy trình công việc đa bước phức tạp. Và họ cần các hệ thống AI có thể giảm thiểu, chứ không phải làm tăng, bản chất không thể đoán trước của LLM.

Vậy làm thế nào để các đại diện được xây dựng trong doanh nghiệp ngày nay? Đối với các trường hợp sử dụng đòi hỏi hơn một vài công cụ và một vài bước (ví dụ: RAG đối thoại), ngày nay những người xây dựng đại diện đã từ bỏ lời hứa tự động và tự chủ của ReACT để sử dụng các phương pháp dựa trên chuỗi tĩnh – tạo ra các chuỗi được định nghĩa trước để giải quyết một trường hợp sử dụng cụ thể. Phương pháp này giống như kỹ thuật phần mềm truyền thống và xa rời lời hứa về đại diện của ReACT. Nó đạt được mức độ kiểm soát và độ tin cậy cao hơn nhưng thiếu tự chủ và linh hoạt. Các giải pháp do đó đòi hỏi nhiều sự phát triển, ứng dụng hẹp và quá cứng nhắc để giải quyết các mức độ biến đổi cao trong không gian đầu vào và môi trường.

Để chắc chắn, các phương pháp chuỗi tĩnh có thể khác nhau về mức độ “tĩnh” của chúng. Một số chuỗi sử dụng LLM chỉ để thực hiện các bước nguyên tử (ví dụ: để trích xuất thông tin, tóm tắt văn bản hoặc soạn thảo một thông điệp) trong khi những chuỗi khác cũng sử dụng LLM để đưa ra một số quyết định động tại thời điểm chạy (ví dụ: một LLM định tuyến giữa các luồng thay thế trong chuỗi hoặc một LLM xác thực kết quả của một bước để xác định xem nó có nên được chạy lại hay không). Trong mọi trường hợp, miễn là LLM chịu trách nhiệm về bất kỳ quyết định động nào trong giải pháp – chúng ta sẽ bị kẹt trong một sự đánh đổi giữa độ tin cậy và tự chủ. Giải pháp càng tĩnh, càng đáng tin cậy và có thể dự đoán được, nhưng cũng ít tự chủ và do đó hẹp hơn trong ứng dụng và đòi hỏi nhiều sự phát triển hơn. Giải pháp càng động và tự chủ, càng chung và đơn giản để xây dựng, nhưng cũng ít đáng tin cậy và có thể dự đoán được.

Sự đánh đổi này có thể được thể hiện trong đồ họa sau:

Điều này đặt ra câu hỏi, tại sao chúng ta vẫn chưa thấy một khuôn khổ đại diện có thể được đặt trong quadrant trên cùng bên phải? Liệu chúng ta có bị ràng buộc để mãi mãi đánh đổi độ tin cậy cho tự chủ? Chúng ta có thể có một khuôn khổ cung cấp giao diện đơn giản của một đại diện ReACT (nhận một mục tiêu và một tập hợp các công cụ và tự giải quyết) mà không hy sinh độ tin cậy?

Câu trả lời là – chúng ta có thể và chúng ta sẽ! Nhưng để làm được điều đó, chúng ta cần nhận ra rằng chúng ta đã làm mọi thứ sai lầm. Tất cả các khuôn khổ xây dựng đại diện hiện tại đều chia sẻ một khiếm khuyết chung: chúng dựa vào LLM như một thành phần động và tự chủ. Tuy nhiên, yếu tố quan trọng mà chúng ta thiếu – điều cần thiết để tạo ra các đại diện tự chủ và đáng tin cậy – là công nghệ lập kế hoạch. Và LLM không phải là những nhà lập kế hoạch tuyệt vời.

Nhưng trước hết, “lập kế hoạch” là gì? Bằng “lập kế hoạch”, chúng tôiหมายถ đến khả năng mô hình hóa rõ ràng các hành động thay thế dẫn đến một kết quả mong muốn và khám phá và khai thác những hành động thay thế này dưới các ràng buộc ngân sách. Lập kế hoạch nên được thực hiện ở cả cấp độ vĩ mô và cấp độ vi mô. Một kế hoạch vĩ mô chia nhỏ một nhiệm vụ thành các bước phụ thuộc và độc lập phải được thực hiện để đạt được kết quả mong muốn. Điều thường bị bỏ qua là nhu cầu lập kế hoạch vi mô nhằm đảm bảo kết quả mong muốn ở cấp độ từng bước. Có nhiều chiến lược có sẵn để tăng độ tin cậy và đạt được đảm bảo ở cấp độ từng bước bằng cách sử dụng nhiều tính toán hơn tại thời điểm suy luận. Ví dụ, bạn có thể viết lại các truy vấn tìm kiếm ngữ nghĩa nhiều lần, bạn có thể lấy thêm ngữ cảnh cho một truy vấn nhất định, bạn có thể sử dụng một mô hình lớn hơn và bạn có thể nhận được nhiều suy luận hơn từ một LLM – tất cả đều dẫn đến các kết quả thỏa mãn yêu cầu hơn để chọn kết quả tốt nhất. Một lập kế hoạch vi mô tốt có thể sử dụng hiệu quả tính toán tại thời điểm suy luận để đạt được kết quả tốt nhất trong một ngân sách tính toán và độ trễ nhất định. Để mở rộng đầu tư tài nguyên theo nhu cầu của nhiệm vụ cụ thể. Như vậy, các hệ thống AI có kế hoạch có thể giảm thiểu bản chất xác suất của LLM để đạt được kết quả đảm bảo ở cấp độ từng bước. Nếu không có những đảm bảo như vậy, chúng ta sẽ trở lại vấn đề lỗi tổng hợp sẽ làm suy yếu thậm chí cả kế hoạch vĩ mô tốt nhất.

Nhưng tại sao LLM không thể phục vụ như các lập kế hoạch? Sau tất cả, chúng có khả năng dịch các hướng dẫn cấp cao thành các chuỗi suy nghĩ hợp lý hoặc kế hoạch được định nghĩa trong ngôn ngữ tự nhiên hoặc mã. Lý do là lập kế hoạch đòi hỏi nhiều hơn thế. Lập kế hoạch đòi hỏi khả năng mô hình hóa các hành động thay thế có thể dẫn đến kết quả mong muốn VÀ suy luận về tiện ích dự kiến và chi phí dự kiến (trong tính toán và / hoặc độ trễ) của mỗi hành động thay thế. Mặc dù LLM có thể tạo ra các biểu diễn của các hành động thay thế có sẵn, nhưng chúng không thể dự đoán tiện ích và chi phí tương ứng của chúng. Ví dụ, tiện ích và chi phí dự kiến của việc sử dụng mô hình X so với mô hình Y để tạo ra một câu trả lời cho một ngữ cảnh cụ thể là gì? Tiện ích dự kiến của việc tìm kiếm một mảnh thông tin cụ thể trong cơ sở dữ liệu tài liệu được lập chỉ mục so với cuộc gọi API đến CRM là gì? LLM của bạn không bắt đầu có manh mối. Và có lý do chính đáng – các dấu vết lịch sử của các đặc điểm xác suất này hiếm khi được tìm thấy trong tự nhiên và không được bao gồm trong dữ liệu đào tạo LLM. Chúng cũng có xu hướng cụ thể cho môi trường công cụ và dữ liệu mà hệ thống AI sẽ hoạt động, không giống như kiến thức chung mà LLM có thể có được. Và ngay cả khi LLM có thể dự đoán tiện ích và chi phí, việc suy luận về chúng để chọn hành động thay thế hiệu quả nhất là một việc suy luận quyết định logic, không thể được giả định là được thực hiện một cách đáng tin cậy bởi các dự đoán token tiếp theo của LLM.

Vậy những thành phần còn thiếu cho công nghệ lập kế hoạch AI là gì? Chúng ta cần các mô hình lập kế hoạch có thể học hỏi từ kinh nghiệm và mô phỏng để mô hình hóa rõ ràng các hành động thay thế và các xác suất tiện ích và chi phí tương ứng cho một nhiệm vụ cụ thể trong một môi trường công cụ và dữ liệu cụ thể. Chúng ta cần một Ngôn ngữ Định nghĩa Kế hoạch (PDL) có thể được sử dụng để thể hiện và suy luận về các hành động thay thế và xác suất này. Chúng ta cần một bộ máy thực hiện có thể thực hiện một cách quyết định và hiệu quả một kế hoạch được định nghĩa trong PDL.

Một số người đã làm việc chăm chỉ để thực hiện lời hứa này. Cho đến khi đó, hãy tiếp tục xây dựng các chuỗi tĩnh. Chỉ cần đừng gọi chúng là “đại diện” thôi.