Tại Sao Trí Tuệ Nhân Tạo Doanh Nghiệp Thất Bại Ở Vạch Đích – Và Làm Thế Nào Để Sửa Đổi

Mặc dù có nhiều tiếng vang về trí tuệ nhân tạo, nhưng hầu hết các dự án trí tuệ nhân tạo doanh nghiệp không bao giờ vượt qua giai đoạn thử nghiệm. Theo nghiên cứu gần đây của IDC, 88% dự án chứng minh khái niệm (POC) trí tuệ nhân tạo không thể mở rộng thành sản xuất đầy đủ. Đó là một sự sụt giảm lớn, và một dấu hiệu rõ ràng rằng có điều gì đó không hoạt động. Nhiều dự án này gần như đạt đến vạch đích, với một mô hình được đào tạo để đáp ứng các tiêu chuẩn do nhóm đặt ra, và sau đó không được phát hành hoặc áp dụng bởi người dùng cuối.

Vậy, điều gì đang xảy ra sai? Trong nhiều trường hợp, nó liên quan đến ba vấn đề lớn:

1. Các nhóm trí tuệ nhân tạo doanh nghiệp đang dựa vào các công cụ chẩn đoán và tiêu chuẩn bề mặt mà không bắt được các khoảng trống hiệu suất chính
2. Mô hình được đào tạo để đáp ứng các tiêu chuẩn chuẩn hóa thay vì giải quyết các vấn đề thực tế
3. Chi phí mở rộng mô hình lên quy mô lớn quá cao so với khả năng áp dụng của công ty

Trong bài viết này, chúng tôi sẽ phân tích từng vấn đề này – và những gì cần thiết để đưa dự án trí tuệ nhân tạo vượt qua vạch đích và vào tay người dùng với quy mô lớn.

Vấn Đề #1: Chẩn Đoán Tiêu Chuẩn Bỏ Qua Các Vấn Đề Hiệu Suất Chính

Một lý do chính khiến các dự án trí tuệ nhân tạo vấp ngã sau giai đoạn chứng minh khái niệm là các công cụ chẩn đoán và tiêu chuẩn nội bộ thường không đủ sâu để đánh giá hiệu suất của mô hình và có xu hướng bỏ qua các vấn đề ảnh hưởng đến khả năng sử dụng, độ tin cậy và áp dụng. Các nhóm có thể kiểm tất cả các hộp trên giấy, nhưng những kiểm tra đó không luôn phản ánh cách mô hình sẽ hoạt động trong thế giới thực.

Lấy ví dụ này: Một nhóm trí tuệ nhân tạo có một mô hình đã vượt qua mọi kiểm tra nội bộ với điểm tuyệt đối. Nó đạt tất cả các chỉ số độ chính xác và ngưỡng an toàn, và họ đang chuẩn bị cho việc phát hành. Nhưng khi họ có một bên thứ ba đánh giá mô hình cho trường hợp sử dụng dự kiến để phản ánh cách người dùng thực sự sẽ tương tác với hệ thống, họ đã tìm thấy một điểm mù lớn. Mô hình có khả năng trả lời evasive chín lần cao hơn khi được hỏi các câu hỏi theo một cách nhất định. Ví dụ, nó sẽ trả lời chính xác cho “Ai là tổng thống của Mỹ?” nhưng coi “Bạn có thể cho tôi biết về tổng thống không?” là một rủi ro an toàn và từ chối trả lời.

Vấn đề không nằm ở kiến thức cốt lõi của mô hình – mà ở cách nó giải thích ý định dựa trên cách diễn đạt. Nhóm đã tối ưu hóa an toàn đến mức vô tình chặn các câu hỏi bình thường, hợp lý.

Vấn Đề #2: Mô Hình Được Tối Ưu Hóa Cho Các Tiêu Chuẩn Không Phản Ánh Thế Giới Thực

Một chướng ngại vật khác phổ biến đối với trí tuệ nhân tạo doanh nghiệp là các nhóm đào tạo mô hình để đáp ứng các tiêu chuẩn ngành thay vì nhu cầu thực tế. Trên giấy, một mô hình có thể trông hàng đầu, đạt điểm cao trong các đánh giá chuẩn cho độ chính xác, liên quan hoặc an toàn. Nhưng trong thực tế, nó có thể gặp khó khăn trong việc cung cấp kết quả nhất quán, hữu ích mà không cần sự can thiệp của người dùng.

Điều này xảy ra khi các nhóm tối ưu hóa mô hình để thực hiện tốt các nhiệm vụ cụ thể, hẹp. Mô hình trở nên xuất sắc trong các trường hợp kiểm tra đó nhưng gặp khó khăn khi đối mặt với các đầu vào thực tế ít cấu trúc hơn, đa dạng hơn. Kết quả là người dùng cần “nói ngôn ngữ của mô hình” thông qua kỹ thuật prompt để nhận được câu trả lời chính xác. Nếu sản phẩm trí tuệ nhân tạo của bạn phụ thuộc vào người dùng cuối tạo ra các prompt chính xác, bạn đã giới thiệu ma sát làm chậm việc áp dụng và làm suy yếu tính hữu ích của nó.

Loại đào tạo tập trung vào tiêu chuẩn này cũng có thể dẫn đến overfitting. Mô hình trở nên quá tinh chỉnh để thực hiện tốt trên các tập dữ liệu đánh giá mà mất đi tính tổng quát hóa. Nó có thể vượt qua mọi kiểm tra nội bộ nhưng vẫn không đạt được khi triển khai trong thế giới thực, đặc biệt nếu các trường hợp sử dụng thực tế khác chút nào so với những gì nó được đào tạo.

Nếu bạn muốn có một giải pháp trí tuệ nhân tạo doanh nghiệp thành công, mô hình của bạn cần hoạt động trong thế giới thực – không chỉ trong phòng thí nghiệm.

Vấn Đề #3: Mở Rộng Áp Dụng Trí Tuệ Nhân Tạo Có Nghĩa Là Mở Rộng Chi Phí Tính Toán

Lý do thứ ba khiến nhiều dự án chứng minh khái niệm trí tuệ nhân tạo không thể mở rộng là tài chính: các nhóm thường đánh giá thấp chi phí chạy và duy trì mô hình trong sản xuất. Trong quá trình phát triển, dễ dàng bỏ qua nhu cầu tính toán của một mô hình lớn, đặc biệt khi kiểm tra được thực hiện trên các tập dữ liệu nhỏ hoặc trong môi trường sử dụng hạn chế. Nhưng một khi được triển khai, những chi phí đó có thể tăng vọt.

Trí tuệ nhân tạo cấp doanh nghiệp đòi hỏi tài nguyên tính toán đáng kể, không chỉ để cung cấp phản hồi theo thời gian thực mà còn cho việc tinh chỉnh, giám sát, ghi nhật ký và đào tạo lại. Nếu những chi phí này không được tính đến từ sớm, trường hợp kinh doanh cho giải pháp có thể sụp đổ khi sử dụng thực tế bắt đầu. Điều gì từng giống như một mô hình đầy hứa hẹn trong một kiểm tra được kiểm soát có thể nhanh chóng trở nên không bền vững khi hàng nghìn người dùng bắt đầu tương tác với hệ thống hàng ngày.

Đánh Bại Các Chướng Ngại Vật Cuối Cùng Để Đạt Được Trí Tuệ Nhân Tạo Doanh Nghiệp Thành Công

Để tránh những cạm bẫy phổ biến khiến nhiều dự án trí tuệ nhân tạo doanh nghiệp bị trật đường ray, các nhóm cần đi vượt ra ngoài cuốn sách thông thường. Dưới đây là cách nhóm trí tuệ nhân tạo của bạn có thể xây dựng một thứ gì đó thực sự hoạt động – và mở rộng.

Trước hết, hãy đưa một bên thứ ba vào để đánh giá mô hình của bạn. Kiểm tra nội bộ quan trọng, nhưng thường quá rộng. Một cặp mắt mới, kết hợp với một khuôn khổ đánh giá tùy chỉnh cho trường hợp sử dụng của bạn, có thể tiết lộ các vấn đề mà nhóm của bạn có thể bỏ qua, đặc biệt khi nói đến cách người dùng thực sẽ tương tác với hệ thống.

Thứ hai, hãy đảm bảo bạn đang kiểm tra với các prompt thực tế. Hầu hết các tiêu chuẩn kiểm tra trên “dữ liệu sạch” không phản ánh thế giới thực, ít nhất là cách người dùng cuối cụ thể của bạn sẽ tương tác với mô hình của bạn. Kiểm tra mô hình của bạn trên các đầu vào lộn xộn, mơ hồ hoặc diễn đạt kỳ lạ sẽ giúp bạn hiểu cách mô hình của bạn thực sự hoạt động sau khi triển khai và cho phép bạn bắt các vấn đề có thể rơi qua khe hở và ảnh hưởng đến việc áp dụng.

Thứ ba, hãy xem lại các giao thức an toàn của bạn. Dễ dàng quá mức trong việc thiết lập hàng rào. Mặc dù an toàn quan trọng, nó không nên khiến mô hình của bạn khó sử dụng. Nếu mô hình tắt trên các câu hỏi đơn giản, vô hại, bạn đang trao đổi khả năng sử dụng cho một cảm giác an toàn sai lầm.

Cuối cùng, hãy theo dõi chi phí tính toán của bạn. Nếu mục tiêu áp dụng của bạn bao gồm hàng nghìn người dùng và hàng triệu yêu cầu, những chi phí đó có thể phồng lên nhanh chóng. Một giải pháp là xem xét các mô hình nhỏ hơn. Boosted.ai đã làm điều đó – họ chuyển sang một mô hình ngôn ngữ nhỏ tùy chỉnh và cắt giảm chi phí tính toán của họ xuống 90% trong khi cải thiện tốc độ và hiệu suất. Kết quả theo thời gian thực, trải nghiệm người dùng tốt hơn và không cần phần cứng đắt tiền.

Bằng cách giải quyết các vấn đề về đánh giá, khả năng sử dụng và khả năng mở rộng từ đầu, các nhóm có thể đưa dự án trí tuệ nhân tạo của mình đến thành công lâu dài. Điều không chỉ là về việc làm cho nó hoạt động trong phòng thí nghiệm – mà là làm cho nó hoạt động trong thế giới thực.