Vì sao chi phí token không cho biết AI doanh nghiệp có đang hoạt động hiệu quả hay không

AI doanh nghiệp đang trải qua một chu kỳ quen thuộc. Ban đầu, các tổ chức dốc toàn lực, tìm đến những mô hình lớn nhất và mạnh nhất vì công nghệ đầy hứa hẹn còn hóa đơn thì chưa đến. Khi hóa đơn đến, phản ứng cũng dễ đoán không kém: các nhóm bắt đầu hạn chế quyền truy cập, giảm thử nghiệm và tìm kiếm những mô hình ít tốn kém hơn.

Ali Ghodsi, đồng sáng lập kiêm CEO của Databricks, mô tả giai đoạn đầu của chu kỳ này là “tối đa hóa token”, khi việc tiêu thụ nhiều token hơn được xem là bằng chứng cho thấy có tiến triển. Giai đoạn quan trọng hơn là “tối đa hóa giá trị”, tức là hiểu khoản chi đó tạo ra điều gì và hướng nguồn lực vào những công việc thiết yếu.

Đây không đơn thuần là một tên gọi mới cho việc tối ưu hóa chi phí. Tối ưu hóa chi phí đặt ra câu hỏi làm thế nào để một tổ chức chi tiêu ít hơn, còn tối đa hóa giá trị đặt ra câu hỏi làm thế nào để thu được nhiều hơn từ khoản chi đó. Sự khác biệt này sẽ ngày càng quan trọng khi AI chuyển từ những thử nghiệm riêng lẻ sang hoạt động thường nhật của doanh nghiệp.

Mô hình lớn nhất không phải lúc nào cũng là lựa chọn phù hợp nhất

Nhiều tổ chức bắt đầu chương trình AI bằng cách dùng mô hình mạnh nhất hiện có cho gần như mọi tác vụ. Cách tiếp cận này hợp lý trong giai đoạn thử nghiệm ban đầu, khi các nhóm đang tìm hiểu công nghệ có thể làm được gì và năng lực của mô hình quan trọng hơn tính dự đoán được.

Tuy nhiên, khi quy mô triển khai tăng lên, việc dùng mô hình tiên tiến nhất cho mọi yêu cầu trở nên khó biện minh về mặt chi phí. Một số tổ chức phản ứng bằng cách hạn chế quyền truy cập hoặc yêu cầu các nhóm làm ít hơn, nhưng những hạn chế trên diện rộng có thể kìm hãm cả các thử nghiệm hữu ích lẫn phần lãng phí thực sự.

Một cách tiếp cận chín muồi hơn đang dần hình thành. Các nhóm bắt đầu giao những công việc thường lệ cho các mô hình nhỏ hơn, chuyên biệt, đồng thời dành các mô hình mạnh hơn cho những tác vụ đòi hỏi suy luận phức tạp hoặc có rủi ro thất bại cao. Theo thời gian, một số tổ chức cũng có thể triển khai mô hình trong hạ tầng của chính mình để kiểm soát tốt hơn chi phí, hiệu năng và dữ liệu nhạy cảm.

Câu hỏi quan trọng không phải là mô hình lớn hay nhỏ tốt hơn. Điều cần xem xét là mô hình có phù hợp với công việc hay không và kết quả có xứng đáng với tổng chi phí để tạo ra nó hay không.

Token cho thấy mức độ hoạt động, không cho thấy giá trị

Hầu hết bảng điều khiển AI doanh nghiệp đều tập trung vào mức tiêu thụ. Chúng cho biết đã dùng bao nhiêu token, mô hình nào xử lý chúng và tổ chức đã chi bao nhiêu. Những con số đó cần thiết, nhưng không cho biết công việc có tạo ra kết quả hữu ích hay không.

Một nhóm tiêu thụ số token gấp đôi không nhất thiết tạo ra giá trị gấp đôi. Nhóm đó có thể đang xử lý công việc khó hơn, dùng một mô hình mạnh hơn mức cần thiết hoặc phụ thuộc vào một tác tử liên tục thử lại những tác vụ thất bại. Một khối lượng công việc có chi phí mô hình cao vẫn có thể là khoản đầu tư rất hiệu quả nếu giúp ngăn sự cố gián đoạn, giải quyết vấn đề của khách hàng hoặc trả lại cho nhân viên hàng giờ thời gian quý báu.

Vấn đề tương tự đã tồn tại trong lĩnh vực khả năng quan sát suốt nhiều năm, chỉ khác là thay token bằng gigabyte. Ban đầu, các nhóm thu thập mọi thứ vì khả năng quan sát tối đa dường như là chiến lược an toàn nhất. Khi hóa đơn lưu trữ và xử lý tăng lên, họ bắt đầu lấy mẫu dữ liệu, rút ngắn thời gian lưu giữ và loại bỏ ngữ cảnh để kiểm soát chi phí.

Trong cả hai trường hợp, phản ứng trước chi phí gia tăng thường là làm ít đi. Thay vào đó, các tổ chức cần có khả năng xác định hoạt động nào có giá trị, hoạt động nào lãng phí và hoạt động nào có thể được thực hiện hiệu quả hơn mà không làm giảm chất lượng kết quả.

Chi phí thực sự không chỉ nằm ở suy luận

Một lần gọi mô hình hiếm khi là toàn bộ khối lượng công việc AI. Trước khi đưa ra câu trả lời, một tác tử có thể truy xuất tài liệu, truy vấn cơ sở dữ liệu, tìm kiếm dữ liệu đo từ xa, gọi dịch vụ bên ngoài và tạo thêm hoạt động trong ứng dụng hoặc hạ tầng.

Hãy xem xét một tác tử đang điều tra lý do độ trễ thanh toán tăng lên sau một lần triển khai. Tác tử có thể kiểm tra nhật ký, so sánh chỉ số, xem dấu vết, truy xuất hồ sơ triển khai và phân tích các dịch vụ phụ thuộc. Nếu giả thuyết đầu tiên không đúng, tác tử có thể điều chỉnh khoảng thời gian, tìm kiếm bằng tên dịch vụ khác và lần theo một số nguyên nhân thay thế.

Vì vậy, một chỉ dẫn của con người có thể tạo ra hàng trăm thao tác do máy tạo. Những thao tác đó tiêu tốn năng lực tính toán, tài nguyên lưu trữ cho việc đọc và ghi, dung lượng mạng và hạn mức API của bên thứ ba; thế nhưng, các khoản này có thể không xuất hiện trên bảng điều khiển chi tiêu cho mô hình của tổ chức.

Điều này có nghĩa là một mô hình có vẻ ít tốn kém vẫn có thể vận hành một quy trình làm việc đắt đỏ. Một mô hình mạnh hơn có thể tốn nhiều hơn cho mỗi lần gọi nhưng đi đến kết luận đúng chỉ sau ít bước hơn, nhờ đó cần ít lần thử lại và ít hạ tầng hỗ trợ hơn. Cách duy nhất để so sánh là theo dõi toàn bộ tác vụ.

Kết nối hoạt động, chi phí và kết quả

Để tối đa hóa giá trị, các tổ chức cần kết nối ba loại thông tin vốn thường được đo lường riêng biệt.

Thứ nhất là hoạt động của AI, bao gồm việc lựa chọn mô hình, mức tiêu thụ token, độ trễ, các lệnh gọi công cụ, số lần thử lại và các nhánh xử lý song song. Thứ hai là chi phí hạ tầng và tài chính phát sinh từ hoạt động đó, bao gồm năng lực tính toán, lưu trữ, sử dụng mạng, tải cơ sở dữ liệu và phí API bên ngoài. Thứ ba là kết quả, cho biết công việc có được hoàn thành thành công hay không và liệu có ai thấy kết quả đó hữu ích hay không.

Không phải kết quả nào cũng cần được quy đổi thành một số tiền chính xác. Một thước đo thực tế có thể là đủ, chẳng hạn như câu trả lời có được chấp nhận hay không, có ai phải làm lại công việc hay không, sự cố có được khắc phục nhanh hơn hay không, hoặc quy trình tự động có hoàn tất mà không cần can thiệp hay không.

Ví dụ, một cuộc điều tra sự cố tạo ra hàng trăm truy vấn vẫn có thể đáng công nếu giúp các kỹ sư khôi phục một dịch vụ trọng yếu sớm hơn 30 phút. Ngược lại, một quy trình nhỏ hơn nhiều vẫn có thể gây lãng phí nếu tạo ra báo cáo mà chẳng ai đọc. Chỉ riêng mức tiêu thụ token không thể phân biệt hai trường hợp này.

Khi có thể liên kết hoạt động với kết quả, các tổ chức sẽ đưa ra quyết định có chủ đích về nơi nên dùng các mô hình tiên tiến nhất, nơi các mô hình nhỏ hơn đã đủ đáp ứng và nơi cần thiết kế lại quy trình.

Minh bạch không đồng nghĩa với từ bỏ quyền kiểm soát

Muốn hiểu được giá trị của AI cần có quyền truy cập vào những ngữ cảnh nhạy cảm. Lời nhắc, nội dung mô hình tạo ra, mã nguồn, thông tin khách hàng và dữ liệu đo từ xa của hệ thống sản xuất đều có thể thuộc cùng một quy trình.

Các tổ chức không nên phải xuất thông tin này sang một dịch vụ bên ngoài chỉ để hiểu các hệ thống AI của mình đang hoạt động ra sao. Lời nhắc và ngữ cảnh trong môi trường sản xuất giúp việc đo lường trở nên hữu ích có thể cũng chính là những thông tin mà các nhóm bảo mật, quyền riêng tư và tuân thủ không thể cho phép rời khỏi môi trường của tổ chức.

Do đó, lãnh đạo doanh nghiệp nên tìm hiểu dữ liệu AI và dữ liệu giám sát của họ được xử lý ở đâu, ai có thể truy cập, dữ liệu được lưu giữ trong bao lâu và liệu việc phân tích có thể diễn ra trong ranh giới bảo mật hiện có của tổ chức hay không. Quản trị hiệu quả phụ thuộc vào khả năng quan sát, nhưng khả năng đó không được tạo ra một vấn đề mới về kiểm soát dữ liệu.

Việc thực hiện phân tích gần với dữ liệu nền cũng giúp liên kết hoạt động AI với các ứng dụng, cơ sở hạ tầng và quy trình kinh doanh mà nó tác động dễ dàng hơn. Cái nhìn toàn diện đó giúp các nhóm hiểu không chỉ họ đã chi bao nhiêu mà còn thu lại được giá trị gì từ khoản chi ấy.

Tối ưu hóa giá trị, không phải sản lượng

Những tổ chức thành công trong giai đoạn tiếp theo của AI doanh nghiệp không nhất thiết là những tổ chức sử dụng nhiều token nhất hoặc chi ít tiền nhất. Đó sẽ là những tổ chức có thể nhận biết mô hình và khối lượng công việc nào tạo ra kết quả có ý nghĩa, rồi dùng hiểu biết đó để định hướng việc triển khai.

Điều này đòi hỏi phải vượt ra khỏi các bảng thông tin chi phí mô hình riêng lẻ. Các nhóm cần theo dõi toàn bộ hành trình, từ yêu cầu của người dùng qua các lệnh gọi mô hình, công cụ và cơ sở hạ tầng cho đến kết quả cuối cùng, đồng thời bảo đảm thông tin nhạy cảm vẫn nằm dưới sự kiểm soát phù hợp của tổ chức.

Tối đa hóa token là một giai đoạn hữu ích vì nó khuyến khích thử nghiệm và cho thấy AI có thể làm được gì. Tối đa hóa giá trị là kỷ luật cần được áp dụng tiếp theo, kết hợp khả năng quan sát, chi phí và kết quả để các tổ chức có thể tiếp tục thử nghiệm mà không mất quyền kiểm soát chi tiêu hoặc dữ liệu.

AI doanh nghiệp không cần phải thu hẹp quy mô chỉ vì những hóa đơn đầu tiên đã đến. Thay vào đó, việc triển khai cần có chủ đích hơn: mức độ nỗ lực phải tương xứng với độ khó, mô hình phải phù hợp với nhiệm vụ và chi tiêu phải tương xứng với giá trị đo lường được.