Tại Sao Các Dự Án Trí Tuệ Nhân Tạo Của Doanh Nghiệp Đứng Vững Trước Sản Xuất: Đó Là Vấn Đề Của Lớp Bảo Vệ, Không Phải Mô Hình

Mô hình không bao giờ là phần khó. Từ bên trong xây dựng, sản xuất được giành hoặc mất trong lớp xung quanh nó: thu thập, cố định, định tuyến và đánh giá.

Mỗi cuộc khảo sát lớn về trí tuệ nhân tạo doanh nghiệp hiện nay mô tả cùng một rào cản: các tổ chức có thể truy cập vào các mô hình, chạy các thử nghiệm và trình diễn một thứ gì đó ấn tượng, và sau đó gần như không có gì trong số đó đạt đến sản xuất. Các báo cáo mô tả khoảng cách đó từ bên ngoài, thông qua các giám đốc điều hành trả lời các câu hỏi. Đây là cái nhìn từ phía bên kia: từ bên trong các bản xây dựng, nơi các thử nghiệm hoặc đạt đến sản xuất hoặc im lặng chết.

Khoảng cách mà mọi người đang đo lường

Các con số đã trở nên quen thuộc. Báo cáo Trạng thái Trí tuệ nhân tạo của Deloitte cho thấy rằng việc truy cập vào trí tuệ nhân tạo hiện nay gần như phổ biến, nhưng chỉ khoảng một phần tư các tổ chức đạt được 40% các thí nghiệm vào sản xuất, và khoảng một trong năm báo cáo quản trị trưởng thành cho các tác nhân tự động. Dự án NANDA của MIT đã nói rõ hơn: trên hàng trăm triển khai, đa số không tạo ra lợi nhuận tài chính có thể đo lường được. Gartner đã dự đoán rằng một tỷ lệ lớn các dự án trí tuệ nhân tạo sẽ bị bỏ rơi sau giai đoạn chứng minh khái niệm, với lý do chất lượng dữ liệu kém, chi phí tăng cao và giá trị kinh doanh không rõ ràng.

Đặt các phát hiện này lại với nhau và một hình dạng duy nhất xuất hiện. Điểm nghẽn không phải là việc truy cập vào các mô hình có khả năng. Vấn đề đó đã được giải quyết. Điểm nghẽn là khoảng cách giữa một mô hình hoạt động trong một trình diễn và một hệ thống hoạt động trong sản xuất, mọi lúc, cho mọi người dùng, dưới tải thực, với hậu quả thực sự khi sai.

Một lưu ý đáng giá cần nói rõ: nhiều thử nghiệm không bao giờ được vận hành vì lý do không liên quan đến kỹ thuật: không có trường hợp kinh doanh thực sự, không có dữ liệu có thể sử dụng, không có người bảo trợ điều hành, hoặc chi phí tổng thể mà không ai mô hình hóa. Đặt những điều đó sang một bên. Những gì tiếp theo là về tập hợp lớn và khó chịu của các thử nghiệm có thể đạt đến sản xuất, trình diễn thuyết phục, và có trường hợp sử dụng thực sự đằng sau chúng, và vẫn đứng vững trên đường đến sản xuất. Đối với những thử nghiệm đó, yếu tố quyết định gần như không bao giờ là mô hình.

Điều mà dữ liệu khảo sát không thể cho bạn biết là gì thực sự đóng khoảng cách đó. Câu trả lời đó không sống trong một câu hỏi. Nó sống trong các quyết định kỹ thuật được thực hiện sau khi trình diễn gây ấn tượng với mọi người và trước khi hệ thống được tin cậy với người dùng thực.

Mẫu: giải pháp quyết định gần như không bao giờ là mô hình

Trên các dự án trí tuệ nhân tạo doanh nghiệp mà chúng tôi có thể nói, một mẫu nhất quán được giữ: khi một thử nghiệm bị kẹt cuối cùng đạt đến sản xuất, thay đổi mà đưa nó đến đó hiếm khi là một mô hình tốt hơn. Đó là lớp xung quanh mô hình: cách thông tin được thu thập và cố định, cách đầu ra được kiểm tra trước khi nó đến người dùng, cách công việc được định tuyến đến mô hình phù hợp chứ không phải mô hình mạnh nhất, và cách toàn bộ hệ thống được đánh giá liên tục.

Chúng tôi gọi đây là lớp bảo vệ. Một tác nhân, về mặt thực tế, là một mô hình có quyền truy cập vào các công cụ, và lớp bảo vệ là mọi thứ điều khiển cách mô hình đó thu thập ngữ cảnh, sử dụng các công cụ đó, và được kiểm soát bởi những gì nó tạo ra: thu thập, kiểm tra cố định, định tuyến mô hình, rào chắn, và đánh giá. Những thành phần này không hoạt động trong sự cô lập. Bạn phải kết hợp chúng, có chủ đích, cho một trường hợp sử dụng cụ thể. Kỷ luật kết hợp này là nơi thực sự giành hoặc mất khả năng sản xuất.

Điều này làm lại bẫy khái niệm chứng minh. Các đội đứng vững vì họ tiếp tục tối ưu hóa phần đã hoạt động. Họ hoán đổi một mô hình mới hơn, tái thiết kế các lời nhắc, và chờ đợi phiên bản tiếp theo, trong khi các điểm thất bại thực sự ngồi một lớp ra, trong các phần của hệ thống mà trình diễn không bao giờ căng thẳng.

Cố định, không phải mô hình thông minh hơn, là điều làm cho một tác nhân an toàn đủ để vận hành

Hãy xem xét một trợ lý tư vấn và khuyến nghị chúng tôi xây dựng trong lĩnh vực bảo hiểm, một lĩnh vực mà một câu trả lời tự tin sai không phải là một lỗi mà là một trách nhiệm pháp lý. Cảm giác đầu tiên trong các trường hợp như vậy là với đến mô hình có khả năng nhất có sẵn và giả định rằng khả năng mua an toàn. Nó không làm như vậy. Một mô hình thông thạo hơn tạo ra những ảo giác thuyết phục hơn, điều mà trong một ngữ cảnh được quản lý là tồi tệ hơn, không phải tốt hơn.

Điều làm cho hệ thống có thể vận hành được là lớp bảo vệ: một thiết kế thu thập chỉ từ các nguồn được quản lý, an toàn cho người thuê; kiểm tra cố định xác minh các yêu cầu tạo ra so với các nguồn đó trước khi bất cứ điều gì đến người dùng; và một bước xác minh sẽ từ chối chứ không khẳng định điều gì không được hỗ trợ. Kết quả là giảm 80 đến 90 phần trăm ảo giác so với baseline LLM, với độ chính xác cố định trên 95 phần trăm, trong khi giữ độ trễ P95 dưới hai giây, vì vậy lớp an toàn không bao giờ làm cho hệ thống cảm thấy chậm.

Bài học ngược lại cho bất kỳ ai vẫn đang kết hợp an toàn với lựa chọn mô hình: lớp cố định và xác minh là quản trị. Các tài liệu chính sách và ủy ban phê duyệt quan trọng, nhưng chúng không ngăn chặn mô hình tạo ra một sự kiện tại thời điểm suy luận. Một lớp bảo vệ thu thập và xác minh làm được. Trong các triển khai của chúng tôi, lớp kỹ thuật cố định là cơ chế quản trị thực sự: nơi “trí tuệ nhân tạo không được tạo ra” không còn là một nguyên tắc mà trở thành một thuộc tính được thực thi của hệ thống.

Định tuyến mô hình, không phải lựa chọn mô hình, là nơi chi phí trí tuệ nhân tạo được quyết định

Nơi thứ hai mà các thử nghiệm chết là khi xem xét ngân sách. Một hệ thống có thể hoạt động đẹp và vẫn bị hủy bỏ khi kinh tế học mỗi token, nhân với hàng nghìn người dùng và hàng chục trường hợp sử dụng, trở thành một vấn đề sở hữu tổng thể mà không ai mô hình hóa trước.

Ở đây cũng vậy, cảm giác đầu tiên, chọn một mô hình mạnh và định tuyến mọi thứ qua nó, là sai lầm. Hầu hết các khối lượng công việc doanh nghiệp là một hỗn hợp: một tỷ lệ lớn các yêu cầu là thông thường, và một tỷ lệ nhỏ là thực sự khó. Gửi mọi yêu cầu đến một mô hình tiền phong có nghĩa là trả tiền cho mô hình tiền phong cho công việc phân loại mà một mô hình nhỏ hơn, rẻ hơn xử lý hoàn hảo.

Trong một cuộc di chuyển chúng tôi chạy từ một API LLM của bên thứ ba sang Amazon Bedrock , lợi ích đến từ việc tái kiến trúc lớp mô hình chứ không phải hoán đổi mô hình. Định tuyến mỗi nhiệm vụ đến tầng mô hình phù hợp, kết hợp với các kiểm soát chi phí và quản trị bản địa của Bedrock, đã cung cấp giảm 42 phần trăm chi phí cơ sở hạ tầng trí tuệ nhân tạo và 60 phần trăm tạo nội dung tuân thủ nhanh hơn, mà không cần xây dựng lại ứng dụng.

Mở rộng nguyên tắc này và nó sẽ nhân lên. Một kiến trúc cố vấn phân tầng, các mô hình rẻ tiền phân loại và xử lý phần lớn yêu cầu, mô hình tiền phong được dành cho các trường hợp thực sự cần chúng, biến định tuyến từ một lần tiết kiệm thành một tiết kiệm cấu trúc.

Mẫu này đã thúc đẩy chi phí trí tuệ nhân tạo doanh nghiệp xuống 60 đến 80 phần trăm cho các hoạt động của tác nhân, và lên đến 85 phần trăm trong một số triển khai. Điểm là không phải là tỷ lệ phần trăm tiêu đề; nó là chi phí của một hệ thống trí tuệ nhân tạo được thiết lập bởi kiến trúc của nó, không phải bởi mô hình bạn đã chọn.

Tại sao điều này không thể thấy được trong dữ liệu khảo sát

Không có điều gì trong số này xuất hiện sạch sẽ trong một cuộc khảo sát, vì các cuộc khảo sát hỏi các giám đốc điều hành về kết quả, không phải các kỹ sư về cơ chế. “Liệu thử nghiệm của bạn đã đạt đến sản xuất?” là một câu hỏi có/không mà một giám đốc điều hành có thể trả lời. “Cụ thể cái gì đã đưa nó đến đó?” là một câu hỏi chỉ nhóm xây dựng có thể trả lời, và câu trả lời gần như không bao giờ là “chúng tôi tìm thấy một mô hình tốt hơn.” Nó gần như luôn là một số phiên bản của “chúng tôi sửa lớp xung quanh mô hình.”

Sự không phù hợp này giải thích sự tồn tại kỳ lạ của bẫy khái niệm chứng minh. Ngành công nghiệp tiếp tục chẩn đoán một vấn đề mô hình và mua các giải pháp mô hình, trong khi ràng buộc thực sự ngồi trong thu thập, cố định, định tuyến và đánh giá: các đường ống không được trưng bày mà không có trình diễn và không được quảng cáo trong việc ra mắt mô hình nền tảng.

Nó cũng giải thích tại sao quản trị và tốc độ giao hàng không phải là những điều đối lập như chúng được cho là. Câu chuyện chung coi quản trị như phanh trên việc vận hành. Trong kinh nghiệm của chúng tôi, nó gần hơn với điều ngược lại: công việc cố định và xác minh mà làm cho một hệ thống có thể quản trị được là cùng công việc làm cho nó đáng tin cậy đủ để đặt trước người dùng thực. Thực hiện tại lớp bảo vệ, quản trị không phải là điều làm chậm quá trình xây dựng. Nó là điều cho phép xây dựng vận hành.

Điều này có nghĩa là gì nếu thử nghiệm của bạn đang đứng vững

Nếu bạn có một dự án trí tuệ nhân tạo đang ngồi trong tình trạng chứng minh khái niệm, điều hữu ích nhất bạn có thể làm là chống lại cảm giác nhìn vào mô hình đầu tiên. Mô hình là phần có khả năng đã đủ tốt. Thay vào đó, hãy nhìn vào lớp xung quanh nó:

• Thu thập và cố định: hệ thống có trả lời từ các nguồn được quản lý, có thể xác minh, hay đang tạo ra từ đào tạo của nó?
• Xác minh: có bất cứ điều gì kiểm tra đầu ra trước khi người dùng nhìn thấy nó, hay sự tự tin của mô hình đi thẳng qua?
• Định tuyến: mọi yêu cầu có trả tiền cho mô hình tiền phong, hay công việc được khớp với mô hình rẻ nhất có thể làm tốt?
• Đánh giá: chất lượng có được đo liên tục so với các tiêu chuẩn của riêng bạn, hay nó được xác nhận một lần trong trình diễn và không bao giờ lại?

Các tổ chức vượt qua từ thử nghiệm đến sản xuất vào năm 2026 không phải là những tổ chức có quyền truy cập vào các mô hình tốt nhất. Mọi người đều có điều đó. Họ là những người hiểu rằng mô hình không bao giờ là phần khó. Họ đã đặt nỗ lực kỹ thuật của mình vào lớp bảo vệ, nơi sản xuất thực sự được giành hoặc mất.