Tại Sao 95% Dự Án Sáng Kiến Trí Tuệ Nhân Tạo Giao Đặt Zero ROI

Nghiên cứu gần đây của MIT đã phát hiện ra rằng 95% các tổ chức không nhận được lợi nhuận từ các sáng kiến trí tuệ nhân tạo; không có tác động đo lường được đến lợi nhuận và lỗ尽管 đầu tư đáng kể. Các tiêu đề tập trung vào tỷ lệ thất bại, nhưng câu hỏi thực sự không phải là liệu công nghệ có hoạt động hay không. Các mô hình ngôn ngữ lớn mạnh, dễ tiếp cận và cải thiện nhanh chóng. Vấn đề là các doanh nghiệp cố gắng sử dụng chúng như thế nào.

Hầu hết các tổ chức tiếp cận các tác nhân trí tuệ nhân tạo theo cùng cách họ tiếp cận với mọi công nghệ khác. Họ lấy các quy trình hiện có, gắn thêm một số trí tuệ nhân tạo và mong đợi điều kỳ diệu. Khi nó không hoạt động, họ đổ lỗi cho các mô hình. Nhưng sự thất bại xảy ra từ lâu trước khi trí tuệ nhân tạo được tham gia.

Tôi đã thấy mẫu này lặp đi lặp lại trên các doanh nghiệp xây dựng luồng công việc trí tuệ nhân tạo. Các đội trở nên hào hứng về các khả năng, vội vàng vào phát triển, sau đó gặp phải các chướng ngại vật có thể dự đoán được. Sự khác biệt giữa 5% thành công và 95% tạo ra zero ROI không phải là may mắn hoặc ngân sách; đó là tránh sáu sai lầm quan trọng giết chết giá trị của tác nhân trí tuệ nhân tạo trước khi nó bắt đầu.

Dữ liệu của bạn lộn xộn hơn bạn nghĩ

Hầu hết các đội nghĩ rằng có dữ liệu có nghĩa là họ đã sẵn sàng cho trí tuệ nhân tạo. Họ chỉ vào hồ dữ liệu của họ, CRM của họ, cơ sở dữ liệu được bảo trì cẩn thận và giả định rằng thành công là đảm bảo. Sau đó, họ đổ mọi thứ vào một LLM và tự hỏi tại sao tác nhân của họ tạo ra đầu ra rác hoặc đốt cháy ngân sách của họ trong vài ngày.

Dữ liệu lộn xộn tạo ra các tác nhân lộn xộn. Nếu bạn gửi các bản dump cơ sở dữ liệu thô, xuất HTML, hoặc các khối văn bản không cấu trúc cho một tác nhân trí tuệ nhân tạo, bạn đang thiết lập nó để thất bại. Các mô hình bị nhầm lẫn bởi các trường không liên quan, bị phân tâm bởi các hiện象 định dạng và bị choáng ngợp bởi khối lượng lớn.

Các đội thường gửi hồ sơ khách hàng với 47 trường khi chỉ có 3 trường quyết định quan trọng. Họ bao gồm UUID không thêm giá trị ngữ nghĩa nào nhưng tiêu thụ các token quý giá. Họ cho ăn các tác nhân HTML được thu thập từ các công cụ nội bộ thay vì thông tin sạch, cấu trúc.

Bạn sẽ đạt đến giới hạn nhanh hơn dự kiến

Mỗi đội tin rằng họ sẽ không bao giờ đạt đến giới hạn ngữ cảnh. “Chúng tôi chỉ đang xử lý một vài hồ sơ khách hàng,” họ nói. “Nó có thể khó khăn như thế nào?” Sau đó, tác nhân của họ cần phân tích 500 vé hỗ trợ, mỗi vé có lịch sử cuộc trò chuyện đầy đủ, và đột nhiên họ đang va vào trần token triệu.

Các ngữ cảnh lớn tích lũy nhanh hơn bất kỳ ai dự kiến. Một tác nhân hỗ trợ khách hàng xử lý các trường hợp leo thang có thể cần truy cập vào lịch sử vé, các bài viết trong cơ sở kiến thức, các tương tác trước đó và tài liệu sản phẩm. Đó là dễ dàng hàng trăm nghìn token mỗi yêu cầu. Nhân số này với người dùng đồng thời, và chi phí cơ sở hạ tầng của bạn sẽ tăng vọt.

Cách tiếp cận ngây thơ là chỉ gửi mọi thứ đến mô hình và hy vọng điều tốt nhất. Các đội thông minh chia yêu cầu thành các mảnh, tóm tắt mỗi mảnh, sau đó hoạt động trên tóm tắt của tóm tắt. Sự tóm tắt phân cấp này giữ cho các yêu cầu có thể quản lý được trong khi bảo tồn thông tin quan trọng mà các tác nhân cần để đưa ra quyết định tốt.

Bảo mật trở nên phức tạp nhanh chóng

Các đội trở nên hào hứng về tính cách và khả năng của tác nhân trí tuệ nhân tạo của họ, viết một số hướng dẫn cơ bản và nghĩ rằng họ được bảo vệ. Trong thực tế, các tác nhân trí tuệ nhân tạo đòi hỏi một cách suy nghĩ bảo mật cơ bản khác với các ứng dụng truyền thống.

Các tác nhân trí tuệ nhân tạo có thể bị lừa dối, thao túng và ép buộc theo những cách phá vỡ các mô hình bảo mật truyền thống. Đầu vào người dùng có thể chứa các lệnh ẩn mà ghi đè lên các lời nhắc cẩn thận của bạn. Các tác nhân có thể bị thuyết phục để bỏ qua các hướng dẫn của họ, truy cập vào dữ liệu mà họ không nên xem hoặc thực hiện các hành động ngoài phạm vi dự kiến của họ.

Các triển khai thông minh đòi hỏi các ranh giới nghiêm ngặt xung quanh những gì các tác nhân có thể và không thể làm. Đối với bất cứ điều gì thay đổi trạng thái; viết dữ liệu, gửi email, thực hiện cuộc gọi API; bạn cần một quy trình đề xuất-chứng minh-phê duyệt. Tác nhân giải thích những gì nó muốn làm và tại sao, sau đó chờ phê duyệt của con người trước khi hành động. Điều này ngăn chặn sự tự động hóa mất kiểm soát trong khi duy trì các lợi ích của sự hỗ trợ trí tuệ nhân tạo.

Điều gì thực sự hoạt động

Từ việc theo dõi hàng trăm triển khai tác nhân trí tuệ nhân tạo, sáu thực hành phân biệt các triển khai thành công với các thất bại tốn kém.

Thứ nhất là vệ sinh dữ liệu. Gửi JSON nén, có kiểu với lược đồ cố định. Loại bỏ UUID, HTML, các trường trùng lặp và bất kỳ thông tin nhạy cảm nào trừ khi nó tuyệt đối quan trọng cho quyết định. Thay thế dữ liệu nhạy cảm bằng siêu dữ liệu khi có thể. Điều này giữ cho các mô hình tập trung trong khi cắt giảm kích thước tải, chi phí và độ trễ.

Thứ hai là quản lý ngữ cảnh. Bạn sẽ đạt đến giới hạn token nhanh hơn dự kiến. Chia yêu cầu thành các mảnh nhỏ hơn, tóm tắt mỗi mảnh, sau đó hoạt động trên tóm tắt. Cách tiếp cận phân cấp này giữ cho các yêu cầu dưới sự kiểm soát trong khi bảo tồn ngữ cảnh cần thiết.

Thứ ba là an toàn lời nhắc. Định nghĩa các ranh giới nghiêm ngặt cho những gì tác nhân của bạn có thể và không thể làm. Triển khai các quy trình đề xuất-chứng minh-phê duyệt cho bất cứ điều gì thay đổi trạng thái. Xử lý tất cả nội dung người dùng như không đáng tin cậy; loại bỏ mã và liên kết, và nhắc nhở các mô hình không bao giờ theo các lệnh ẩn trong văn bản người dùng. Theo dõi liên tục các lời nhắc và đầu ra cho hành vi bất thường hoặc vi phạm chính sách để đảm bảo các ranh giới vẫn hiệu quả theo thời gian.

Thứ tư là kiểm soát chi phí. Thiết lập ngân sách token và chi phí cho mỗi yêu cầu và mỗi luồng công việc. Ghi nhật ký sử dụng token theo công cụ và lời nhắc để bắt các hồi quy sớm. Nếu không có kỷ luật, bạn sẽ đối mặt với các hóa đơn chạy mất kiểm soát hoặc độ trễ tăng vọt ngay khi việc áp dụng tăng trưởng.

Thứ năm là đảm bảo chất lượng. Giữ một tập đánh giá riêng của các sự kiện thực và các trường hợp biên. Theo dõi độ chính xác, độ nhớ và hồi quy. Các mô hình mới sẽ làm bạn ngạc nhiên, thường theo những cách tồi tệ. Đối với các luồng công việc quan trọng, sử dụng nhiệt độ gần zero và các backend có hạt giống cho đầu ra nhất quán.

Thứ sáu là quản trị. Khóa các thỏa thuận chia sẻ dữ liệu trước khi bất kỳ thông tin nào được truyền. Làm rõ những gì được chia sẻ, cách nó được bảo vệ và ai chịu trách nhiệm. Điều này không chỉ là sự che chắn pháp lý; nó là một tín hiệu tin cậy rằng bạn coi trọng dữ liệu.

Tại sao hầu hết các đội sai lầm

Các dự án tác nhân trí tuệ nhân tạo không mang lại ROI vì các đội tập trung vào những điều sai lầm. Họ ám ảnh về mô hình nào để sử dụng trong khi bỏ qua chất lượng dữ liệu. Họ xây dựng các luồng công việc phức tạp trong khi bỏ qua các kiểm soát bảo mật cơ bản. Họ triển khai các tác nhân mà không có kiểm soát chi phí, sau đó hoảng loạn khi hóa đơn tăng vọt.

5% thành công hiểu rằng các tác nhân trí tuệ nhân tạo không chỉ là phần mềm; chúng là một loại công nhân kỹ thuật số mới đòi hỏi các thực hành quản lý khác nhau. Họ cần dữ liệu sạch, ranh giới rõ ràng và giám sát liên tục. Làm đúng những điều cơ bản này, và các tác nhân trí tuệ nhân tạo trở thành các nhân tố nhân suất mạnh mẽ. Làm sai, và bạn sẽ tham gia vào 95% những người tự hỏi tại sao khoản đầu tư trí tuệ nhân tạo đắt tiền của họ tạo ra zero ROI có thể đo lường được.