Tại sao 95% các dự án AI không mang lại ROI

Nghiên cứu gần đây của MIT cho thấy 95% các tổ chức không nhận được lợi nhuận từ các dự án AI; không có tác động đo lường được đến lợi nhuận尽管 đầu tư đáng kể. Các tiêu đề tập trung vào tỷ lệ thất bại, nhưng câu hỏi thực sự không phải là liệu công nghệ có hoạt động hay không. Các mô hình ngôn ngữ lớn là mạnh mẽ, dễ tiếp cận và đang cải thiện nhanh chóng. Vấn đề là các doanh nghiệp cố gắng sử dụng chúng như thế nào.

Hầu hết các tổ chức tiếp cận các tác nhân AI theo cách họ tiếp cận với mọi công nghệ khác. Họ lấy các quy trình hiện có, thêm một số AI và mong đợi điều kỳ diệu. Khi nó không hoạt động, họ đổ lỗi cho các mô hình. Nhưng sự thất bại xảy ra từ rất lâu trước khi AI được tham gia.

Tôi đã thấy mẫu này lặp đi lặp lại trên các doanh nghiệp xây dựng các luồng công việc AI. Các đội trở nên hào hứng với các khả năng, vội vàng vào phát triển, sau đó gặp phải những trở ngại có thể dự đoán được. Sự khác biệt giữa 5% thành công và 95% không tạo ra ROI không phải là may mắn hay ngân sách; đó là tránh sáu sai lầm quan trọng giết chết giá trị của tác nhân AI trước khi nó bắt đầu.

Dữ liệu của bạn phức tạp hơn bạn nghĩ

Hầu hết các đội nghĩ rằng có dữ liệu có nghĩa là họ đã sẵn sàng cho AI. Họ chỉ vào hồ dữ liệu, CRM, cơ sở dữ liệu được duy trì cẩn thận và giả định rằng thành công là đảm bảo. Sau đó, họ đổ mọi thứ vào một mô hình LLM và tự hỏi tại sao tác nhân của họ tạo ra đầu ra rác hoặc đốt cháy ngân sách trong vài ngày.

Dữ liệu phức tạp tạo ra các tác nhân phức tạp. Nếu bạn gửi các bản dump cơ sở dữ liệu thô, các xuất khẩu chứa HTML hoặc các khối văn bản không cấu trúc cho một tác nhân AI, bạn đang thiết lập nó để thất bại. Các mô hình bị nhầm lẫn bởi các trường không liên quan, bị phân tâm bởi các artifact định dạng và bị choáng ngợp bởi khối lượng.

Các đội thường xuyên gửi hồ sơ khách hàng với 47 trường khi chỉ 3 trường là quyết định quan trọng. Họ bao gồm các UUID không thêm giá trị ngữ nghĩa nào nhưng tiêu thụ các token quý giá. Họ cho ăn các tác nhân HTML được thu thập từ các công cụ nội bộ thay vì thông tin cấu trúc sạch sẽ.

Bạn sẽ đạt đến giới hạn nhanh hơn dự kiến

Mỗi đội tin rằng họ sẽ không bao giờ đạt đến giới hạn ngữ cảnh. “Chúng tôi chỉ đang xử lý một vài hồ sơ khách hàng,” họ nói. “Nó có thể khó khăn như thế nào?” Sau đó, tác nhân của họ cần phân tích 500 vé hỗ trợ, mỗi vé có lịch sử cuộc trò chuyện đầy đủ, và đột nhiên họ đang va vào trần một triệu token.

Các ngữ cảnh lớn tích lũy nhanh hơn bất kỳ ai dự kiến. Một tác nhân hỗ trợ khách hàng xử lý các trường hợp leo thang có thể cần truy cập vào lịch sử vé, các bài viết trong cơ sở kiến thức, các tương tác trước và tài liệu sản phẩm. Đó là hàng trăm nghìn token cho mỗi yêu cầu. Nhân số đó với người dùng đồng thời, và chi phí cơ sở hạ tầng của bạn sẽ tăng vọt.

Cách tiếp cận ngây thơ là chỉ gửi mọi thứ đến mô hình và hy vọng điều tốt nhất. Các đội thông minh chia các yêu cầu thành các mảnh, tóm tắt mỗi mảnh, sau đó hoạt động trên tóm tắt của tóm tắt. Cách tóm tắt phân cấp này giữ cho các yêu cầu có thể quản lý được trong khi vẫn giữ thông tin quan trọng mà các tác nhân cần để đưa ra quyết định tốt.

Bảo mật trở nên phức tạp nhanh chóng

Các đội trở nên hào hứng với tính cách và khả năng của tác nhân AI, viết một số hướng dẫn cơ bản và nghĩ rằng họ được bảo vệ. Trên thực tế, các tác nhân AI đòi hỏi phải suy nghĩ về bảo mật một cách khác biệt so với các ứng dụng truyền thống.

Các tác nhân AI có thể bị lừa dối, thao túng và ép buộc theo những cách phá vỡ các mô hình bảo mật truyền thống. Đầu vào người dùng có thể chứa các lệnh ẩn mà ghi đè lên các lời nhắc cẩn thận của bạn. Các tác nhân có thể bị thuyết phục để bỏ qua các hướng dẫn của họ, truy cập dữ liệu mà họ không nên xem hoặc thực hiện các hành động ngoài phạm vi dự kiến của họ.

Các triển khai thông minh đòi hỏi phải có ranh giới nghiêm ngặt xung quanh những gì các tác nhân có thể và không thể làm. Đối với mọi thứ thay đổi trạng thái; viết dữ liệu, gửi email, thực hiện cuộc gọi API; bạn cần một quy trình đề xuất-chứng minh-phê duyệt. Tác nhân giải thích những gì nó muốn làm và tại sao, sau đó chờ sự phê duyệt của con người trước khi hành động. Điều này ngăn chặn sự tự động hóa mất kiểm soát trong khi vẫn duy trì các lợi ích của sự hỗ trợ AI.

Điều gì thực sự hoạt động

Từ việc theo dõi hàng trăm triển khai tác nhân AI, sáu thực tiễn phân biệt các triển khai thành công với những thất bại tốn kém.

Thứ nhất là vệ sinh dữ liệu. Gửi JSON nén, có kiểu với lược đồ cố định. Loại bỏ các UUID, HTML, các trường trùng lặp và mọi thông tin nhạy cảm trừ khi nó hoàn toàn quyết định quan trọng. Thay thế dữ liệu nhạy cảm bằng siêu dữ liệu khi có thể. Điều này giữ cho các mô hình tập trung trong khi cắt giảm kích thước tải, chi phí và độ trễ.

Thứ hai là quản lý ngữ cảnh. Bạn sẽ đạt đến giới hạn token nhanh hơn dự kiến. Chia các yêu cầu thành các mảnh nhỏ hơn, tóm tắt mỗi mảnh, sau đó hoạt động trên tóm tắt. Cách tiếp cận phân cấp này giữ cho các yêu cầu dưới sự kiểm soát trong khi vẫn giữ thông tin ngữ cảnh cần thiết.

Thứ ba là an toàn lời nhắc. Định nghĩa các ranh giới nghiêm ngặt cho những gì tác nhân của bạn có thể và không thể làm. Triển khai các quy trình đề xuất-chứng minh-phê duyệt cho mọi thứ thay đổi trạng thái. Xử lý tất cả nội dung người dùng như không đáng tin cậy; loại bỏ mã và liên kết, và nhắc nhở các mô hình không bao giờ tuân theo các lệnh ẩn trong văn bản người dùng. Giám sát liên tục các lời nhắc và đầu ra cho hành vi bất thường hoặc vi phạm chính sách để đảm bảo các ranh giới vẫn hiệu quả theo thời gian.

Thứ tư là kiểm soát chi phí. Thiết lập ngân sách token và chi phí cho mỗi yêu cầu và mỗi quy trình làm việc. Ghi nhật ký sử dụng token theo công cụ và lời nhắc để bắt đầu các hồi quy sớm. Nếu không có kỷ luật, bạn sẽ phải đối mặt với các hóa đơn chạy mất kiểm soát hoặc độ trễ tăng vọt ngay khi việc áp dụng tăng lên.

Thứ năm là đảm bảo chất lượng. Giữ một tập đánh giá riêng của các sự kiện và trường hợp biên thực. Theo dõi độ chính xác, độ nhớ và hồi quy. Các mô hình mới sẽ làm bạn ngạc nhiên, thường theo cách xấu. Đối với các quy trình làm việc quan trọng, sử dụng nhiệt độ gần zero và các backend được gieo hạt cho đầu ra nhất quán.

Thứ sáu là quản trị. Khóa các thỏa thuận chia sẻ dữ liệu trước khi bất kỳ thông tin nào được truyền. Làm rõ những gì được chia sẻ, cách nó được bảo vệ và ai chịu trách nhiệm. Điều này không chỉ là sự che chắn pháp lý; đó là một tín hiệu tin cậy rằng bạn coi trọng dữ liệu.

Tại sao hầu hết các đội sai lầm

Các dự án tác nhân AI không mang lại ROI vì các đội tập trung vào những điều sai lầm. Họ ám ảnh về việc chọn mô hình nào trong khi bỏ qua chất lượng dữ liệu. Họ xây dựng các quy trình làm việc phức tạp trong khi bỏ qua các kiểm soát bảo mật cơ bản. Họ triển khai các tác nhân mà không có kiểm soát chi phí, sau đó hoảng loạn khi hóa đơn tăng vọt.

5% thành công hiểu rằng các tác nhân AI không chỉ là phần mềm; chúng là một loại công nhân kỹ thuật số mới đòi hỏi các phương pháp quản lý khác nhau. Họ cần dữ liệu sạch, ranh giới rõ ràng và giám sát liên tục. Được những cơ bản này đúng, và các tác nhân AI trở thành những nhân tố nhân suất mạnh mẽ. Sai lầm, và bạn sẽ tham gia vào 95% những người tự hỏi tại sao khoản đầu tư AI đắt tiền của họ không tạo ra lợi nhuận đo lường được.