Tại sao các đại lý AI trong doanh nghiệp gặp phải vấn đề về kiến thức, không phải về công nghệ

Năm ngoái, S&P Global báo cáo rằng tỷ lệ các công ty từ bỏ hầu hết các sáng kiến AI của họ đã tăng hơn gấp đôi, từ 17% lên 42%. Trước đó, Gartner đã công bố một dự báo về các dự án AI đại lý: 40% trong số chúng sẽ bị hủy bỏ vào cuối năm 2027.

Theo McKinsey & Company, gần một nửa số công ty đang thử nghiệm với các đại lý AI. Nhưng bao nhiêu công ty đã vượt qua giai đoạn thử nghiệm và đang hoạt động thực sự? Khoảng một trong mười.

Ngành công nghiệp không thiếu giải thích: ảo giác mô hình, thiếu quản trị, chi phí GPU cao và thiếu chuyên gia. Tất cả những điều này đều là những thách thức thực sự. Nhưng sau ba năm làm việc với các hệ thống quản lý kiến thức và đại lý AI, tôi ngày càng thấy một mô hình khác: các công ty truyền tải dữ liệu không đầy đủ cho các đại lý của họ.

Là một Tiến sĩ Khoa học Giáo dục, tôi xem đây là một vấn đề về chuyển giao kiến thức. Nếu một người không thể giải thích cách họ đưa ra quyết định, logic của họ không thể được chuyển giao cho một nhân viên mới – hoặc thậm chí cho một đại lý AI. Hãy cùng khám phá tại sao điều này xảy ra và làm thế nào để giải quyết nó.

Nơi kiến thức về cách một công ty hoạt động thực sự nằm

Hỏi một công ty lớn nơi kiến thức của nhân viên được lưu trữ, và bạn sẽ nghe một danh sách dài: Confluence, SharePoint, nền tảng LMS, bot FAQ, lưu trữ Slack. Có vẻ như đây chính là ngăn xếp mà một hệ thống RAG có thể sử dụng để thu thập mọi thứ nó cần. Nhưng một yếu tố quan trọng đang thiếu – kiến thức sống trong đầu người. Kiến thức mà không ai từng viết ra.

Tại sao đây là một vấn đề?

Bởi vì để một đại lý AI tiếp quản một phần của quy trình làm việc – hiểu ngữ cảnh, chọn hành động và thực hiện nhiệm vụ đến khi hoàn thành – nó cần không chỉ truy cập vào cơ sở kiến thức, mà còn cần logic ra quyết định được sử dụng bởi một chuyên gia giàu kinh nghiệm.

Hãy tưởng tượng một đại lý hỗ trợ mới nhận được yêu cầu: khách hàng tuyên bố họ đã trả tiền cho một dịch vụ, nhưng truy cập chưa được kích hoạt. Kịch bản bao gồm một tập hợp các bước tiêu chuẩn kết thúc bằng việc yêu cầu khách hàng chờ. Tuy nhiên, đại lý nhận thấy tình huống này không bình thường: khách hàng đã liên hệ với hỗ trợ hai lần và có một số trường hợp tương tự trong hệ thống trong vòng một giờ qua. Họ liên hệ với một đồng nghiệp giàu kinh nghiệm hơn, người giải thích rằng họ đã thấy điều này trước đây và vấn đề có thể là một sự cố tại điểm giao giữa cổng thanh toán, ngân hàng và hệ thống kích hoạt nội bộ – vì vậy trường hợp này nên được chuyển lên một bộ phận khác.

Đối với một đại lý AI, logic này là vô hình. Nó có thể có quyền truy cập vào kịch bản, lịch sử vé và trạng thái thanh toán nếu các nguồn dữ liệu này được kết nối, nhưng nó không biết các tín hiệu mà một vận hành viên giàu kinh nghiệm coi là quyết định. Không phải là các chuyên gia cố ý giấu kiến thức này. Họ đơn giản là không thể chính thức hóa nó hoặc chia nó thành các bước: những tùy chọn nào đã bị loại bỏ, tại sao một hành động cụ thể được chọn và tại điểm nào rõ ràng rằng kịch bản tiêu chuẩn không áp dụng. Các nhà khoa học nhận thức gọi hiện tượng này là kiến thức ẩn – kiến thức ngầm mà thậm chí người nắm giữ nó có thể không hoàn toàn nhận thức được.

Đây là lý do tại sao nút thắt không xuất hiện ở cấp độ truy cập vào tài liệu, mà ở giai đoạn chuyển đổi kinh nghiệm của chuyên gia thành định dạng phù hợp để đào tạo một đại lý AI.

Làm gì về nó

Để một đại lý AI hoạt động hiệu quả, không đủ để chỉ kết nối một LLM với cơ sở kiến thức của công ty, vì các quyết định thành công thường dựa trên kiến thức ẩn. Trước tiên, một lớp kiến thức phải được tạo, bao gồm các tiêu chí ra quyết định có cấu trúc.

Trong quản lý kiến thức, quá trình này được gọi là chính thức hóa – chuyển đổi kiến thức ẩn thành kiến thức rõ ràng. Nói cách khác, một công ty cần hiểu không chỉ những gì một chuyên gia làm, mà còn cách họ suy nghĩ. Điều này thường được thực hiện thông qua một loạt các cuộc phỏng vấn sâu với một chuyên gia hàng đầu. Cùng với họ nên có người có kỹ năng đặt câu hỏi phù hợp: một nhà phương pháp luận, kỹ sư kiến thức hoặc chuyên gia thiết kế hướng dẫn. Nhiệm vụ của họ không phải là viết ra một “hướng dẫn dựa trên những gì chuyên gia nói”, mà là tái tạo các tiêu chí cho việc lựa chọn giữa các tùy chọn, chia nhỏ các trường hợp biên và đưa ra những sai lầm điển hình mà chuyên gia đã xử lý tự động.

Ở đây, AI có thể giúp đáng kể: chuyển录 các cuộc phỏng vấn, nhóm các trường hợp tương tự, chuyển đổi lời giải thích của chuyên gia thành các kịch bản dự thảo và tạo ra các tình huống để xác thực. Tuy nhiên, cấu trúc cuối cùng vẫn cần được chuyên gia xem xét và phê duyệt.

Kết quả nên là một tập hợp kiến thức hoạt động. Nó có thể được sử dụng trong hai hướng đồng thời – để đào tạo nhân viên mới và để cấu hình một đại lý AI. Cả hai kịch bản đều dựa trên cùng một nền tảng: kinh nghiệm có cấu trúc từ các chuyên gia hàng đầu.

Giải pháp thay thế là tiếp tục dựa trên giả định rằng RAG trên Confluence sẽ tự động tái tạo logic mà không bao giờ được ghi chép. Trong thực tế, điều này hầu như không bao giờ hoạt động: hệ thống có thể thu hồi một tài liệu liên quan, nhưng nó sẽ không học cách đưa ra quyết định trong các tình huống mà hành động chính xác phụ thuộc vào ngữ cảnh và kinh nghiệm.

Làm thế nào để kiểm tra rằng một đại lý đã sẵn sàng để làm việc

Bạn đã chuyển đổi kiến thức của chuyên gia thành các kịch bản và cấu hình cho đại lý. Nhưng có một khoảng trống giữa các câu trả lời hợp lý của đại lý và hiệu suất hoạt động thực sự – và khoảng trống này chỉ trở nên rõ ràng trong quá trình xác thực. Tại giai đoạn này, điều quan trọng là phải xác định xem bạn đã thực sự thu thập tất cả kiến thức cần thiết.

Một cách tiếp cận thực tế là kiểm tra dựa trên kịch bản. Bạn đưa cho đại lý các trường hợp thực tế từ công việc hàng ngày của một chuyên gia: khách hàng tranh cãi về một khoản phí, một email bất thường đến hoặc một yêu cầu xuất hiện mà không phù hợp với kịch bản cơ bản. Kết quả không nên được đánh giá bởi một LLM khác, mà bởi chính chuyên gia đã giúp xây dựng tập hợp kiến thức. Nếu đại lý đi theo một con đường khác với chuyên gia giàu kinh nghiệm, điều đó không luôn luôn có nghĩa là mô hình yếu. Hơn thường, nó cho thấy một quy tắc quan trọng, một trường hợp ngoại lệ hoặc một ví dụ đang thiếu. Trong trường hợp đó, quá trình quay trở lại bước đầu: nhà phương pháp luận làm rõ logic với chuyên gia, tập hợp kiến thức được cập nhật, hướng dẫn được tinh chỉnh và kiểm tra được lặp lại.

Chu kỳ này không phải là một bước tùy chọn, mà là một giai đoạn xác định sự khác biệt giữa một đại lý chỉ “demonstrates potential” và một đại lý thực sự thực hiện công việc. Đây là một phần chậm và không ấn tượng của quá trình: nó không tạo ra một bản demo ấn tượng và đòi hỏi sự tham gia của các chuyên gia. Nhưng những người đi qua nó một cách hệ thống sẽ kết thúc với các đại lý thực sự giảm tải công việc thường xuyên cho các chuyên gia. Những người bỏ qua nó, trong vòng sáu tháng thường tìm thấy mình trong số liệu thống kê của Gartner, dự đoán rằng 40% dự án sẽ bị hủy bỏ.

AI đại lý không thất bại vì công nghệ – các mô hình hiện đại đã có khả năng thực hiện các nhiệm vụ phức tạp. Nó thất bại vì các công ty “cho ăn” nó kiến thức không đầy đủ. Vào năm 2024-2025, điều này vẫn có thể được giải thích bởi giai đoạn thử nghiệm. Vào năm 2026, sai lầm này đã có chi phí cao.