Tại sao các tác nhân AI vượt qua QA nhưng vẫn thất bại trong sản xuất

Học liên tục đang trở thành kỷ luật kỹ thuật để cải thiện các tác nhân sau khi triển khai, mà không làm hỏng những gì đã hoạt động.

Một tác nhân AI có thể vượt qua mọi đánh giá trước khi ra mắt và vẫn thất bại trong sản xuất một tuần sau đó. Đó không phải là một mâu thuẫn. Bộ đánh giá phản ánh những gì nhóm đã biết để kiểm tra trước khi ra mắt. Sản xuất là nơi các trường hợp thiếu sót xuất hiện: cách diễn đạt lạ, thiếu ngữ cảnh, các trường hợp cạnh của công cụ, người dùng thiếu kiên nhẫn, các chính sách và quy trình làm việc mâu thuẫn.

Tác nhân được sửa bởi người dùng mọi lúc. Nó làm thất vọng người dùng. Sau đó, phiên làm việc kết thúc, nhật ký được lưu trữ và người dùng tiếp theo gặp hệ thống cơ bản giống nhau.

Đây là lý do tại sao học liên tục đang trở thành trung tâm của kỹ thuật tác nhân. Nó không phải là một tính năng của một sản phẩm. Nó là một loại phương pháp để làm cho các tác nhân cải thiện từ kinh nghiệm trong khi bảo tồn những gì đã hoạt động. Nghiên cứu học liên tục cổ điển khung hình vấn đề như học tập theo thời gian mà không quên mất thảm họa. Các tác nhân làm cho vấn đề rộng hơn. Điều thay đổi có thể là một mô hình, nhưng nó cũng có thể là một lời nhắc, một công cụ, một kỹ năng, một quy trình làm việc hoặc bộ nhớ.

Sự khác biệt đó quan trọng, vì hầu hết các thất bại của tác nhân không được giải quyết bằng cách đào tạo mô hình.

Phản xạ tinh chỉnh quá hẹp

Khi các nhóm nói về việc làm cho một hệ thống AI tốt hơn, kế hoạch mặc định thường nghe như thế này: thu thập thất bại, gắn nhãn trả lời tốt hơn, tinh chỉnh mô hình. Sự trực giác đó là dễ hiểu. Tinh chỉnh giám sát, Tối ưu hóa Ưu tiên Trực tiếp, Tối ưu hóa Chính sách Nhóm Liên quan và các phương pháp hiệu quả về tham số như LoRA là những công cụ hữu ích khi mô hình chính nó cần thay đổi.

Nhưng nhiều thất bại trong sản xuất không phải là thất bại về trọng lượng mô hình. Chúng là thất bại của hệ thống.

Tác nhân có thể dựa vào bộ nhớ cũ, bỏ qua một xác nhận cần thiết, gọi một công cụ với một đối số sai hoặc định tuyến một trường hợp qua một quy trình làm việc sai. Thường thì, vấn đề không phải là khả năng của mô hình cơ sở. Đó là ngữ cảnh, bộ nhớ, giao diện công cụ hoặc quy trình làm việc bao quanh nó.

Một tác nhân hiện đại có nhiều lớp. Mô hình suy luận và tạo ra. Lớp vỏ xung quanh nó định nghĩa các lời nhắc, công cụ, kỹ năng, mã, định tuyến và quy trình làm việc. Bộ nhớ mang các事 thực và các thủ tục đã học qua các phiên làm việc. Học liên tục là kỷ luật của việc quyết định lớp nào nên thay đổi, làm thế nào để thay đổi nhỏ và làm thế nào để xác minh rằng thay đổi thực sự giúp ích.

Đôi khi, sửa chữa đúng là một ghi nhớ bộ nhớ. Đôi khi đó là một chỉnh sửa lời nhắc. Đôi khi đó là một lớp vỏ công cụ, một quy tắc định tuyến hoặc một bản vá quy trình làm việc. Tinh chỉnh nên vẫn có sẵn, nhưng nó không nên là câu trả lời đầu tiên cho mọi thất bại.

Các điểm chuẩn hữu ích, nhưng sản xuất hiếm khi đưa cho bạn một

Có một số công việc thú vị về tối ưu hóa chính nó. Các phương pháp như GEPA, Meta-Harness và các phương pháp tối ưu hóa lời nhắc hoặc quy trình làm việc liên quan khác coi tác nhân như một hệ thống có thể bị biến đổi và kiểm tra. Chúng có thể đề xuất chỉnh sửa lời nhắc hoặc các thành phần khác của lớp vỏ, chạy các ứng cử viên và giữ lại các phiên bản có điểm số tốt hơn.

Đó là hướng đi đúng. Nó di chuyển cải thiện ra khỏi khung hẹp của “cập nhật trọng lượng” và vào khung rộng hơn của “cải thiện tác nhân”.

Nhưng có một điều bắt: những phương pháp này thường giả định một điểm chuẩn. Chúng cần một nhiệm vụ có thể được chạy lại và một đánh giá viên cho biết ứng cử viên A có tốt hơn ứng cử viên B hay không. Không có điều đó, tối ưu hóa trở thành việc đoán mò với công cụ tốt hơn.

Điều đó không phải là những gì mà hầu hết các nhóm có trong sản xuất.

Điều họ có là nhật ký. Họ có dấu vết, sửa lỗi của người dùng, vé hỗ trợ, sự kiện thumbs-down, ghi chú eskalation và phản hồi chuyên gia偶尔. Những tín hiệu đó có giá trị, nhưng chúng không phải là một điểm chuẩn. Chúng cho bạn biết điều gì đó đã xảy ra. Chúng không tự động cho bạn biết làm thế nào để phát lại nó, thành công nên trông như thế nào hoặc làm thế nào để chấm điểm một sửa chữa được đề xuất.

Khoảng trống đó là nơi nhiều nỗ lực học liên tục bị đình trệ. Nhóm có kinh nghiệm, nhưng không phải là một môi trường học tập.

Nhật ký không phải là bài học

Một nhật ký sản xuất ghi lại một đường dẫn qua một tương tác. Người dùng đã yêu cầu một chuyến bay. Tác nhân đã tìm kiếm. Người dùng nói rằng ngày là sai. Đó là bằng chứng của một thất bại, nhưng nó không đủ để học tập.

Nhật ký không định nghĩa phản事 thực. Tác nhân có nên yêu cầu xác nhận? Tác nhân có nên suy luận ngày từ ngữ cảnh trước đó? Tác nhân có nên gọi một công cụ khác? Tác nhân có nên từ chối tiến hành cho đến khi sự mơ hồ được giải quyết? Một con người có thể biết câu trả lời sau khi đọc dấu vết, nhưng hệ thống không nhận được cấu trúc đó miễn phí.

Để học liên tục hoạt động, một thất bại thô cần phải được chuyển thành một môi trường có thể phát lại. Điều đó có nghĩa là một nhiệm vụ mà tác nhân có thể đối mặt lại, một người dùng hoặc mô拟器 tái tạo mẫu liên quan, công cụ mà tác nhân có thể gọi và các đánh giá viên định nghĩa thành công. Đánh giá viên có thể kiểm tra câu trả lời cuối cùng, các cuộc gọi công cụ, một ranh giới chính sách, độ trễ, chi phí hoặc tất cả những điều trên.

Đây là phần ít可见 của công việc, nhưng nó là phần làm cho cải thiện thực sự. Một khi thất bại trở thành một môi trường có thể phát lại, bạn có thể hỏi một câu hỏi cụ thể: liệu thay đổi được đề xuất thực sự sửa chữa hành vi?

Không có bước đó, các nhóm hầu như chỉ vá từ bộ nhớ.

David Silver và Richard Sutton đã mô tả một kỷ nguyên kinh nghiệm sắp tới, nơi các tác nhân học chủ yếu từ tương tác với thế giới chứ không phải từ dữ liệu tĩnh của con người. Đối với các tác nhân doanh nghiệp, tầm nhìn đó phụ thuộc vào việc chuyển đổi kinh nghiệm sản xuất phức tạp thành môi trường có thể phát lại, chấm điểm và tái sử dụng.

Kinh nghiệm một mình là không đủ. Nó phải được tạo ra để kiểm tra.

Quá trình suy giảm là chi phí ẩn

Ngay cả khi một thất bại trở thành có thể kiểm tra, phần khó nhất vẫn còn: sửa chữa nó mà không làm hỏng điều gì khác.

Bất kỳ ai đã duy trì một tác nhân phức tạp đều đã thấy mẫu này. Bạn thêm một hướng dẫn để tác nhân eskalate yêu cầu hoàn tiền hung hăng. Bây giờ nó eskalate hoàn tiền thường xuyên mà nên được xử lý nhanh chóng. Bạn giảm các cuộc gọi công cụ trong một quy trình làm việc. Bây giờ một quy trình làm việc khác bỏ qua một kiểm tra cần thiết. Bạn sửa một bộ nhớ cũ. Bây giờ tác nhân tổng quát hóa quá mức sự sửa chữa cho một dòng sản phẩm khác.

Mỗi bản vá có ý nghĩa cục bộ. Hệ thống vẫn trôi dạt toàn cầu.

Đây là phiên bản tác nhân của việc quên mất thảm họa. Trong mạng nơ-ron, thuật ngữ thường đề cập đến việc đào tạo mới ghi đè lên các khả năng cũ. Trong các tác nhân, thất bại rộng hơn và thường khó thấy hơn. Quên có thể xảy ra trong lời nhắc, công cụ, bộ nhớ, định tuyến và quy trình làm việc. Nó xuất hiện không phải là một chỉ số sạch trên đường cong đào tạo, mà là người dùng nói: “Điều này đã từng hoạt động.”

Đó là lý do tại sao kiểm soát suy giảm không thể là một bước xem xét cuối cùng. Nó phải nằm trong vòng lặp học tập chính nó.

Mục tiêu không chỉ là tối đa hóa hiệu suất trên thất bại mới nhất. Mục tiêu là cải thiện trường hợp mới trong khi bảo tồn các trường hợp cũ. Mỗi bản vá hoạt động nên trở thành một phần của bộ nhớ ngày càng tăng của tác nhân về những gì phải tiếp tục hoạt động. Trong thực tế, điều đó có nghĩa là các thất bại cũ trở thành các bài kiểm tra suy giảm. Lịch sử của tác nhân trở thành một ràng buộc, không chỉ là một kho lưu trữ.

Đây là nơi học liên tục trở thành giống như kỹ thuật phần mềm nghiêm túc hơn là chỉnh sửa lời nhắc. Một thay đổi không phải là tốt vì nó nghe tốt hơn. Nó tốt vì nó cải thiện một hành vi được đo lường và không suy giảm các hành vi mà hệ thống đã kiếm được.

Cái gì thực tế học liên tục yêu cầu

Một vòng lặp học liên tục sẵn sàng sản xuất cần bốn thuộc tính.

Trước hết, thất bại phải có thể phát lại. Một thất bại một lần là một giai thoại. Một môi trường có thể phát lại, được đánh giá là một bài kiểm tra. Cho đến khi tác nhân có thể đối mặt với cùng một mẫu lại, không ai có thể chứng minh rằng bản vá hoạt động.

Thứ hai, chẩn đoán phải là toàn diện. Bản vá có thể thuộc về mô hình, nhưng nó cũng có thể thuộc về bộ nhớ, lời nhắc, lớp công cụ hoặc quy trình làm việc. Bản vá tốt nhất thường là thay đổi nhỏ nhất và bền vững nhất giải thích thất bại.

Thứ ba, học tập phải là suốt đời. Tác nhân không nên cải thiện tuần này bằng cách im lặng hủy bỏ hành vi khó khăn của tuần trước. Những thành công trước đó nên trở thành các ràng buộc trong quá trình tối ưu hóa, không phải là những điều bất ngờ sau khi triển khai.

Thứ tư, vòng lặp phải hiệu quả. Nếu mỗi cải thiện yêu cầu một dự án đào tạo hàng quý, hệ thống sẽ không bao giờ theo kịp sản xuất. Vòng lặp phải thử các bản vá rẻ trước, chỉ eskalate khi cần và giữ xác minh gần với thay đổi.

Không có điều đó có nghĩa là các tác nhân nên cập nhật mình một cách mù quáng. Nó có nghĩa ngược lại. Cải thiện nên trở thành có thể đo lường được. Mỗi thay đổi nên có một bài kiểm tra, một điểm số trước và sau, và một kiểm tra suy giảm.

Đó là những gì biến học liên tục từ một khát vọng mơ hồ thành một kỷ luật kỹ thuật.

Tương lai của các tác nhân sẽ không được định nghĩa chỉ bởi các cửa sổ ngữ cảnh lớn hơn, các mô hình cơ sở mạnh hơn hoặc nhiều công cụ hơn. Những điều đó sẽ quan trọng. Nhưng câu hỏi quan trọng hơn đối với các doanh nghiệp là những gì xảy ra sau khi triển khai.

Khi tác nhân thất bại vào ngày mai, hệ thống có thể chuyển thất bại đó thành một bài kiểm tra không? Nó có thể định tuyến bản vá đến lớp đúng không? Nó có thể chứng minh bản vá giúp được không? Nó có thể chứng minh không có gì khác bị hỏng không?

Nếu câu trả lời là không, tác nhân không thực sự học từ sản xuất. Nó đang tích lũy rủi ro.

Các tác nhân quan trọng tiếp theo sẽ làm điều gì đó tốt hơn. Họ sẽ tích lũy.