Vấn đề tin cậy của Trí tuệ nhân tạo mà không ai muốn nói đến

Chuyện kể thống trị về sự tin cậy của Trí tuệ nhân tạo (AI) rất đơn giản: các mô hình bị ảo giác. Do đó, để các công ty có thể tận dụng tối đa chúng, các mô hình phải được cải thiện. Nhiều tham số hơn. Dữ liệu đào tạo tốt hơn. Học tăng cường nhiều hơn. Sự liên kết nhiều hơn.

Và yet, ngay cả khi các mô hình tiên phong trở nên mạnh mẽ hơn, cuộc tranh luận về sự tin cậy từ chối biến mất. Các nhà lãnh đạo doanh nghiệp vẫn do dự khi cho phép các tác nhân thực hiện các hành động có ý nghĩa trong các hệ thống cốt lõi. Các hội đồng quản trị vẫn hỏi: “Chúng ta có thể tin tưởng nó không?”

Nhưng ảo giác không phải là vấn đề chính của mô hình. Chúng là vấn đề về ngữ cảnh. Chúng ta yêu cầu các hệ thống AI hoạt động trên cơ sở hạ tầng doanh nghiệp mà không cung cấp cho chúng sự hiển thị cấu trúc cần thiết để lý luận an toàn. Sau đó, chúng ta đổ lỗi cho mô hình khi nó đoán.

Khoảng cách tin cậy thực sự không nằm trong các trọng số mà nằm trong lớp thông tin.

Một Bác sĩ phẫu thuật không có hình ảnh

Hãy tưởng tượng một bác sĩ phẫu thuật không có hình ảnh. Không có MRI. Không có chụp CT. Không có hình ảnh hóa thực tế của mô xung quanh. Chỉ có kiến thức chung về giải phẫu và một con dao mổ. Ngay cả bác sĩ phẫu thuật giỏi nhất cũng sẽ bị buộc phải suy đoán. Để ước tính. Để dựa vào lý luận xác suất.

Đó là những gì các tác nhân AI doanh nghiệp đang làm hiện nay.

Khi một hệ thống AI được yêu cầu sửa đổi một quy trình làm việc, cập nhật một quy tắc ERP hoặc kích hoạt tự động hóa trên các công cụ, nó hiếm khi có một biểu đồ phụ thuộc đầy đủ về môi trường. Nó không biết trường “không sử dụng” nào cung cấp năng lượng cho một bảng điều khiển hạ lưu. Nó không thấy tự động hóa nào tham chiếu đến quy tắc xác thực đó. Nó không thể mô phỏng đáng tin cậy tác động thứ hai.

Nó làm những gì các mô hình ngôn ngữ lớn được đào tạo để làm: nó dự đoán. Dự đoán không phải là sự hiểu biết. Và dự đoán mà không có ngữ cảnh cấu trúc trông giống như ảo giác.

Chúng ta tiếp tục đặt ra cuộc tranh luận sai

Cộng đồng AI đã bị khóa trong một cuộc trò chuyện về sự tin cậy tập trung vào mô hình. Các bài báo về luật tỷ lệ. Nghiên cứu về sự thúc đẩy suy nghĩ. Các kỹ thuật tăng cường thu hồi. Các tiêu chuẩn đánh giá.

Tất cả đều cần thiết. Tất cả đều có giá trị. Nhưng hãy để ý đến điều gì đang thiếu: thảo luận về cấu trúc hệ thống doanh nghiệp.

Sự tin cậy trong ngữ cảnh doanh nghiệp không chỉ đơn giản có nghĩa là “mô hình tạo ra văn bản chính xác.” Nó có nghĩa là “hệ thống thực hiện các thay đổi an toàn, có thể theo dõi và dự đoán.”

Đó là một yêu cầu cơ bản khác.

Khi OpenAI và Anthropic xuất bản các đánh giá về hiệu suất mô hình, họ đo lường độ chính xác trên các nhiệm vụ lý luận, điểm chuẩn mã hóa hoặc hồi nhớ kiến thức. Những tín hiệu này hữu ích. Tuy nhiên, chúng không đo lường khả năng của một tác nhân AI an toàn sửa đổi một hệ thống doanh thu trực tiếp với 15 năm nợ tự động hóa tích lũy.

Vấn đề không phải là liệu mô hình có thể viết mã chính xác về mặt cú pháp; mà là liệu AI hiểu môi trường mà mã đó được triển khai.

Các hệ thống sống tích lũy entropy

Các hệ thống doanh nghiệp không phải là cơ sở dữ liệu tĩnh. Chúng là các hệ thống sống. Mỗi tích hợp mới để lại dấu vết. Mỗi chiến dịch giới thiệu một trường. Mỗi “sửa chữa nhanh” giới thiệu một lớp tự động hóa bổ sung. Theo thời gian, các lớp này tương tác theo những cách mà không một người nào hiểu đầy đủ.

Đây là một chức năng của sự phát triển. Các hệ thống thích nghi phức tạp tự nhiên tích lũy entropy. Nghiên cứu từ Trường Sloan của MIT đã lâu nay nhấn mạnh cách bất đối xứng thông tin trong các tổ chức tích lũy rủi ro hoạt động. Trong khi đó, Gartner ước tính rằng chất lượng dữ liệu kém khiến các tổ chức mất trung bình $12,9 triệu mỗi năm.

Bây giờ hãy tưởng tượng chèn các tác nhân tự động vào môi trường đó mà không giải quyết trước sự không minh bạch cấu trúc của nó.

Chúng ta không nên ngạc nhiên khi kết quả cảm thấy không thể đoán trước. Tác nhân không phải là ác ý hoặc ngu dốt. Nó bị mù. Nó xây dựng trong bóng tối.

Sự thu hồi không đủ

Một số người sẽ lập luận rằng sự thu hồi tăng cường (RAG) giải quyết vấn đề này. Cung cấp cho mô hình quyền truy cập vào tài liệu. Cho nó mô tả lược đồ. Kết nối nó với các API.

Điều đó giúp.

Nhưng tài liệu không phải là cấu trúc.

Một tệp PDF giải thích cách một quy trình làm việc “nên” hoạt động không giống như một biểu đồ thời gian thực về cách nó thực sự tương tác với 17 tự động hóa khác.

Thực tế doanh nghiệp hiếm khi khớp với tài liệu doanh nghiệp.

Một nghiên cứu năm 2023 được công bố trên Communications of the ACM phát hiện rằng tài liệu lỗi thời là một yếu tố đóng góp chính cho sự thất bại trong bảo trì phần mềm. Các hệ thống phát triển nhanh hơn so với các câu chuyện của chúng.

Vì vậy, ngay cả khi chúng tôi cung cấp cho các tác nhân AI tài liệu, chúng tôi thường cung cấp cho chúng một bản đồ một phần hoặc lý tưởng hóa.

Các bản đồ một phần vẫn tạo ra những sai lầm tự tin.

Lớp tác nhân là lớp an toàn thực sự

Chúng ta có xu hướng nghĩ về an toàn như đào tạo liên kết, hàng rào bảo vệ, kiểm tra đỏ và bộ lọc chính sách. Tất cả đều quan trọng. Nhưng trong các ngữ cảnh doanh nghiệp, an toàn là ngữ cảnh. Đó là biết:

• Cái gì phụ thuộc vào trường này?
• Cái gì tự động hóa tham chiếu đến đối tượng này?
• Các báo cáo hạ lưu nào sẽ bị hỏng?
• Ai sở hữu quy trình này?
• Khi nào nó được sửa đổi lần cuối?
• Các thay đổi lịch sử nào đã xảy ra trước khi cấu hình hiện tại?

Không có lớp này, một tác nhân AI cơ bản là即興 trong một hộp đen. Với lớp này, nó có thể mô phỏng tác động trước khi hành động. Sự khác biệt giữa ảo giác và sự tin cậy thường là sự hiển thị.

Tại sao mô hình đang bị đổ lỗi

Tại sao, thì, cuộc tranh luận lại tập trung rất nhiều vào các mô hình? Bởi vì các mô hình có thể đọc được. Chúng ta có thể đo lường sự phức tạp. Chúng ta có thể so sánh điểm chuẩn. Chúng ta có thể xuất bản các đường cong tỷ lệ. Chúng ta có thể tranh luận về chất lượng dữ liệu đào tạo.

Cấu trúc thông tin trong các doanh nghiệp rất, rất bẩn hơn. Nó đòi hỏi sự phối hợp chức năng chéo. Nó đòi hỏi kỷ luật quản trị. Nó buộc các tổ chức phải đối mặt với sự phức tạp tích lũy của các hệ thống của chính họ.

Nó dễ dàng hơn khi nói “mô hình không sẵn sàng” hơn là thừa nhận “cơ sở hạ tầng của chúng tôi không minh bạch.”

Nhưng khi các tác nhân AI chuyển từ tạo nội dung sang thực hiện hoạt động, việc định khung này trở nên nguy hiểm.

Nếu chúng ta coi sự tin cậy chỉ là vấn đề của mô hình, chúng ta sẽ tiếp tục triển khai các tác nhân vào các môi trường mà chúng không thể nhận thức có ý nghĩa.

Tự chủ đòi hỏi ngữ cảnh

Thử nghiệm gần đây của Anthropic với các đội phát triển phần mềm đa tác nhân cho thấy các hệ thống AI có thể phối hợp trên các nhiệm vụ phức tạp khi được cung cấp ngữ cảnh cấu trúc và bộ nhớ bền. Tiền tuyến khả năng đang tiến bộ nhanh chóng. Nhưng loại tự chủ này mà không có nhận thức về môi trường là giòn.

Xe tự lái không chỉ dựa vào mạng nơ-ron mạnh mẽ. Nó phụ thuộc vào lidar, máy ảnh, hệ thống lập bản đồ và cảm nhận môi trường thời gian thực. Mô hình là một lớp trong một ngăn xếp nhận thức rộng lớn hơn.

AI doanh nghiệp cần có thứ tương đương với lidar. Không chỉ truy cập API. Không chỉ tài liệu. Nhưng một sự hiểu biết động, cấu trúc về các phụ thuộc hệ thống.

Cho đến khi điều đó tồn tại, các cuộc tranh luận về ảo giác sẽ tiếp tục chẩn đoán sai nguyên nhân.

Rủi ro ẩn: Quá tự tin

Có một rủi ro tinh vi khác trong việc định khung hiện tại.

Khi các mô hình được cải thiện, đầu ra của chúng trở nên lưu loát hơn, thuyết phục hơn, có thẩm quyền hơn.

Sự lưu loát khuếch đại sự tự tin quá mức.

Khi một tác nhân sửa đổi một hệ thống mà không có ngữ cảnh đầy đủ, sự thất bại không ngay lập tức rõ ràng. Nó có thể xuất hiện vài tuần sau đó dưới dạng một sự không nhất quán trong báo cáo, một khoảng trống tuân thủ hoặc một lỗi dự báo doanh thu. Bởi vì mô hình xuất hiện có năng lực, các tổ chức có thể đánh giá quá cao sự an toàn hoạt động của nó. Chế độ thất bại thực sự là tính toán sai có thể xảy ra.

Và tính toán sai có thể xảy ra phát triển mạnh trong bóng tối.

Định khung lại câu hỏi về sự tin cậy

Thay vì hỏi: “Mô hình có đủ tốt không?” Chúng ta nên hỏi: “Tác nhân có đủ ngữ cảnh cấu trúc để hành động an toàn không?” Thay vì đo lường độ chính xác của điểm chuẩn, chúng ta nên đo lường sự hiển thị môi trường. Thay vì tranh luận về số lượng tham số, chúng ta nên kiểm tra sự không minh bạch của hệ thống.

Phong cảnh tiếp theo của sự tin cậy AI không chỉ là các mô hình lớn hơn. Đó là các lớp ngữ cảnh giàu hơn.

Điều này bao gồm:

• Biểu đồ phụ thuộc của các hệ thống doanh nghiệp
• Theo dõi thay đổi thời gian thực
• Mapping quyền sở hữu
• Nhận thức cấu hình lịch sử
• Mô phỏng tác động trước khi thực hiện

Không có gì trong số này là hấp dẫn. Không có gì trong số này xu hướng trên mạng xã hội. Nhưng đây là nơi sự tin cậy sẽ được giành chiến thắng.

Xây dựng với đèn sáng

Các nhà lãnh đạo doanh nghiệp đúng khi yêu cầu sự tin cậy trước khi cấp quyền cho các tác nhân hoạt động.

Con đường phía trước không phải là chờ đợi một mô hình không bị ảo giác.

Nó là đầu tư vào cơ sở hạ tầng hiển thị mà làm cho hành động thông minh có thể.

Mục tiêu? Giảm điểm mù.

Khi các tác nhân hoạt động với nhận thức cấu trúc, tỷ lệ ảo giác giảm không phải vì mô hình đã thay đổi, mà vì bề mặt đoán giảm.

Dự đoán trở thành lý luận. Lý luận trở thành mô phỏng. Mô phỏng trở thành thực hiện an toàn.

Sự thay đổi không thể tránh khỏi

Trong năm năm tới, ngăn xếp AI sẽ phân chia. Một lớp sẽ tập trung vào khả năng mô hình: độ sâu lý luận, lưu loát đa phương thức và hiệu quả chi phí. Lớp khác sẽ tập trung vào cấu trúc thông tin / ngữ cảnh: đồ thị hệ thống, thông minh siêu dữ liệu và khuôn khổ quản trị.

Các tổ chức coi sự tin cậy chỉ là một bài tập chọn mô hình sẽ gặp khó khăn.

Các tổ chức coi sự tin cậy là một thuộc tính kiến trúc sẽ di chuyển nhanh hơn với ít rủi ro hơn.

Tranh luận về ảo giác sẽ trông cổ điển trong hồi tưởng.

Câu chuyện thực sự sẽ là về sự hiển thị.

AI không vốn dĩ là bất cẩn.

Nó đang hoạt động trong một phòng tối.

Cho đến khi chúng ta giải quyết vấn đề đó, chúng ta không xây dựng các hệ thống thông minh. Chúng ta đang xây dựng các bộ dự đoán mạnh mẽ trong các môi trường không minh bạch.

Và điều đó có nghĩa là, mặc dù tất cả tiến bộ, AI vẫn đang xây dựng trong bóng tối.