Phỏng vấn

Sadeepa Wijesekara, Phó chủ tịch phụ trách Private Cloud AI tại HPE – Loạt bài phỏng vấn

Antoine Tardif
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Điểm chínhKinh tế học AI chỉ trở thành một ngành học kinh doanh khi các thử nghiệm mở rộng thành…
Xem thêm
  • Kinh tế học AI chỉ trở thành một ngành học kinh doanh khi các thử nghiệm mở rộng thành sản xuất và bộ phận tài chính tham gia vào cuộc thảo luận.
  • Chi phí trên mỗi token đo lường mức tiêu thụ trong khi chi phí trên mỗi kết quả kinh doanh cho thấy liệu khoản đầu tư có thực sự hợp lý hay không.
  • Các quy trình làm việc tác tử có thể làm tăng mức tiêu thụ token một cách đáng kể ngay cả khi giá suy luận tiếp tục giảm.

Sadeepa Wijesekara là Phó chủ tịch phụ trách Private Cloud AI tại Hewlett Packard Enterprise (HPE), nơi ông lãnh đạo hoạt động phát triển phần mềm và nền tảng AI doanh nghiệp dành cho môi trường đám mây riêng. Ông tập trung hỗ trợ các tổ chức triển khai AI an toàn trên quy mô lớn, đồng thời gắn các quyết định về hạ tầng với nhu cầu kinh doanh. Ông tiếp cận bài toán kinh tế của AI trong môi trường sản xuất từ góc độ kỹ thuật, bao gồm quản lý khối lượng công việc, lựa chọn mô hình và chi phí duy trì độ tin cậy của các hệ thống ngày càng tự chủ.

Hewlett Packard Enterprise (HPE) cung cấp công nghệ doanh nghiệp trong các lĩnh vực AI, đám mây, mạng, điện toán và lưu trữ. Danh mục Private Cloud AI hỗ trợ các tổ chức triển khai khối lượng công việc AI trên hạ tầng do họ kiểm soát, kết hợp với đám mây lai và các dịch vụ bên ngoài. Trong cuộc phỏng vấn này, Wijesekara lý giải vì sao cần đánh giá chi tiêu cho AI dựa trên kết quả kinh doanh, cách quy trình làm việc dựa trên tác tử làm thay đổi mức tiêu thụ, cũng như các yếu tố tài chính và vận hành định hình quyết định về mô hình, điều phối và hạ tầng.

HPE đã mở rộng việc ứng dụng AI trên hơn 70.000 nhân viên. Trải nghiệm đó đã giúp ông hiểu được điều gì về thời điểm bài toán kinh tế của AI không còn chỉ là mối quan tâm của bộ phận CNTT mà trở thành một lĩnh vực rộng hơn trong hoạt động kinh doanh?

Bài toán kinh tế của AI trở thành một lĩnh vực rộng hơn trong hoạt động kinh doanh khi các công ty chuyển từ thử nghiệm sang triển khai trong thực tế. Một dự án thí điểm có thể cho thấy AI có thực hiện được một nhiệm vụ hay không, nhưng cũng có thể che khuất những điểm kém hiệu quả vì số người dùng còn ít. Khi số người dùng tăng từ 10 lên 10.000, doanh nghiệp phải cân nhắc chi phí, độ trễ và độ tin cậy, đồng thời hiểu rõ giá trị mà AI tạo ra. Lúc đó, các cuộc thảo luận cần có sự tham gia của bộ phận tài chính và những lãnh đạo chịu trách nhiệm về các quy trình kinh doanh được AI hỗ trợ. Bộ phận CNTT có thể đo lường tài nguyên mà một ứng dụng tiêu thụ, nhưng lãnh đạo doanh nghiệp cần xác định liệu kết quả đạt được có xứng đáng với khoản đầu tư đó hay không.

Nhiều tổ chức vẫn chú trọng quá mức vào các chỉ số như chi phí trên mỗi token khi đánh giá AI tạo sinh. Vì sao ông cho rằng chi phí trên mỗi kết quả kinh doanh là thước đo có ý nghĩa hơn, và trên thực tế, doanh nghiệp nên tính chỉ số này như thế nào?

Chi phí trên mỗi token cho biết doanh nghiệp đã sử dụng bao nhiêu AI, nhưng không cho biết mức sử dụng đó có tạo ra kết quả hữu ích hay không. Trước tiên, các công ty nên xác định kết quả kinh doanh cần đạt được, rồi tính tổng chi phí để tạo ra kết quả đó. Mô hình chỉ là một phần trong tổng chi phí, bên cạnh phần mềm, lưu trữ, truyền dữ liệu, quản trị và nhân lực. So sánh các khoản chi phí này với giá trị tạo ra trong một quy trình kinh doanh cụ thể sẽ giúp doanh nghiệp đánh giá rõ hơn liệu khoản đầu tư có hiệu quả về mặt kinh tế hay không.

Khi AI chuyển từ các trợ lý ảo cá nhân sang những hệ thống dựa trên tác tử và đa tác tử có thể thực hiện chuỗi nhiệm vụ dài, mức tiêu thụ có thể tăng mạnh đến đâu, ngay cả khi chi phí suy luận cơ bản tiếp tục giảm?

Mức tiêu thụ có thể tăng rất nhanh vì một yêu cầu của người dùng có thể kích hoạt nhiều công việc hơn đáng kể ở phía sau. Trong quá trình xử lý qua nhiều bước trước khi đưa ra kết quả, một tác tử có thể truy xuất thông tin và gọi các công cụ. Trong một ví dụ so sánh tiêu biểu của HPE, một lượt trao đổi cơ bản với chatbot sử dụng khoảng 400 token, trong khi một yêu cầu RAG dựa trên tác tử sử dụng khoảng 21.500 token. Ngay cả khi giá token giảm, tổng mức tiêu thụ vẫn có thể tăng mạnh khi AI đảm nhận những công việc phức tạp hơn.

Các công ty nên đánh giá thế nào để xác định một trường hợp sử dụng AI thực sự tạo ra giá trị kinh tế, thay vì chỉ cải thiện các chỉ số năng suất hoặc tạo ra những màn trình diễn ấn tượng?

Trước khi mở rộng quy mô, cần gắn trường hợp sử dụng với một luận chứng kinh doanh có các KPI rõ ràng. Các công ty cần hiểu quy trình kinh doanh đó tốn kém bao nhiêu và chi phí thay đổi thế nào khi đưa AI vào. Họ cũng cần phân biệt giữa việc cải thiện một hoạt động với việc cải thiện kết quả kinh doanh. Thời gian tiết kiệm được sẽ có ý nghĩa hơn khi giúp giải quyết thêm vấn đề của khách hàng, giảm sai sót hoặc hoàn thành những công việc trước đây bị bỏ ngỏ. Việc đánh giá cần tính đến chất lượng kết quả cũng như mọi khâu rà soát bổ sung hoặc công việc phải làm lại. Một màn trình diễn thành công chứng minh năng lực; những cải thiện có thể đo lường trong quy trình kinh doanh mới là căn cứ để quyết định mở rộng ứng dụng. Trong một số trường hợp, phân tích này có thể cho thấy AI không phải là giải pháp phù hợp.

Định tuyến mô hình và điều phối AI ngày càng được nhắc đến như những cách kiểm soát chi phí. Doanh nghiệp có thể khai thác được bao nhiêu giá trị bằng cách linh hoạt lựa chọn giữa các mô hình nhỏ hơn, mô hình tiên tiến nhất, mô hình chuyên biệt và phần mềm truyền thống tùy theo nhiệm vụ?

Việc lựa chọn mô hình phù hợp với từng nhiệm vụ mang lại rất nhiều giá trị. Chúng tôi nhận thấy các công ty đưa những khối lượng công việc rất khác nhau vào cùng một mô hình tiên tiến đắt đỏ vì ban đầu họ ưu tiên nhanh chóng đưa AI vào hoạt động. Điều đó có thể vẫn kiểm soát được khi chỉ có một số ít người dùng, nhưng chi phí tăng nhanh khi mức độ ứng dụng mở rộng. Mô hình tiên tiến có thể phù hợp với những yêu cầu suy luận phức tạp, trong khi một mô hình nhỏ hơn có thể đủ đáp ứng các nhiệm vụ thường lệ. Mô hình chuyên biệt có thể phù hợp hơn với một lĩnh vực cụ thể, còn những nhiệm vụ có thể dự đoán và dựa trên quy tắc có thể được xử lý hiệu quả hơn bằng phần mềm truyền thống. Công nghệ điều phối giúp kết hợp những lựa chọn này trong một quy trình, sử dụng mô hình có năng lực cao hơn khi nhiệm vụ đòi hỏi. Khi các mô hình có trọng số mở ngày càng mạnh hơn, doanh nghiệp cũng có thêm cơ hội chạy một số khối lượng công việc trên hạ tầng của mình thay vì trả phí cho các mô hình bên ngoài. Ở quy mô doanh nghiệp, những quyết định định tuyến này có thể tạo ra khác biệt đáng kể về chi phí mà vẫn duy trì chất lượng doanh nghiệp yêu cầu.

Khi nào bài toán kinh tế của việc chạy các khối lượng công việc AI chuyển từ thuê năng lực tính toán qua API hoặc trên đám mây công cộng sang sở hữu hoặc kiểm soát nhiều hơn hạ tầng nền tảng? Doanh nghiệp nên cân nhắc những biến số nào khi đưa ra quyết định đó?

Tôi hình dung vấn đề này như chuyện thuê hay mua. Thuê có thể là lựa chọn hợp lý khi các công ty đang thử nghiệm hoặc khi nhu cầu biến động đáng kể. Khi mức sử dụng tăng lên và trở nên dễ dự đoán hơn, việc sở hữu hoặc kiểm soát nhiều hơn hạ tầng có thể bắt đầu mang lại hiệu quả kinh tế. Sở hữu hạ tầng cũng tạo cơ hội tiến hành thêm các thử nghiệm AI trong những giai đoạn mức sử dụng thấp, giúp tận dụng tốt hơn khoản đầu tư đã bỏ ra. Các công ty cần cân nhắc đặc điểm của khối lượng công việc, cũng như chi phí năng lượng, quản lý và duy trì hệ thống luôn cập nhật. Với nhiều doanh nghiệp lớn, cách tiếp cận phù hợp có thể sẽ kết hợp cả hạ tầng riêng lẫn dịch vụ bên ngoài, tùy theo khối lượng công việc.

HPE đang mở rộng hạ tầng AI riêng khi các doanh nghiệp đưa ngày càng nhiều khối lượng công việc vào vận hành thực tế. Theo ông, AI riêng có lợi thế kinh tế lớn nhất ở đâu so với việc sử dụng AI hoàn toàn thông qua các dịch vụ đám mây công cộng?

AI riêng có thể mang lại lợi thế kinh tế đáng kể đối với các khối lượng công việc duy trì liên tục, khi các công ty có thể sử dụng hiệu quả năng lực mà họ sở hữu. Trong một phân tích của HPE với các giả định cụ thể về khối lượng công việc, chi phí của HPE Private Cloud AI được ước tính vào khoảng 45 USD mỗi giờ cho mỗi nút, so với khoảng 102 USD đối với cấu hình đám mây thuê tương đương. Kết quả này sẽ khác nhau tùy theo khối lượng công việc và cần được tính toán lại cho từng môi trường. AI riêng cũng mang đến cho các công ty một mô hình tài chính khác, giúp hạ tầng trở thành tài sản tạo ra giá trị cho tổ chức.

Các tác nhân AI phát sinh những chi phí vượt xa khâu suy luận, bao gồm truy xuất dữ liệu, gọi công cụ, giám sát, bảo mật và quản trị. Khi lập ngân sách triển khai AI tác nhân ở quy mô lớn, tổ chức nhiều khả năng sẽ đánh giá thấp những khoản chi phí nào?

Tôi cho rằng các công ty có thể sẽ đánh giá thấp khối lượng công việc cần thiết để duy trì độ tin cậy, tính bảo mật và tính hữu ích của các tác nhân theo thời gian. Ngoài khâu suy luận, còn có các chi phí liên quan đến việc truy xuất và chuẩn bị dữ liệu, truy cập công cụ bên ngoài và chuyển thông tin giữa các hệ thống. Các lần gọi công cụ lặp lại hoặc những lần thử không thành công có thể làm tăng chi phí mà vẫn không hoàn thành được nhiệm vụ. Các công ty cũng cần dự trù ngân sách cho việc đánh giá kết quả, giám sát hành vi của tác nhân, quản lý quyền truy cập và duy trì các biện pháp kiểm soát bảo mật cũng như quản trị. Việc giám sát của con người cũng cần được tính đến, bao gồm thời gian dành cho việc xem xét các trường hợp ngoại lệ hoặc sửa lỗi. Muốn hiểu chi phí để hoàn thành thành công một nhiệm vụ, cần nắm rõ toàn bộ quy trình đó.

Ông đã nhấn mạnh tầm quan trọng của việc theo dõi mức tiêu thụ AI gắn với từng trường hợp kinh doanh cụ thể. Một khuôn khổ đo lường nội bộ hiệu quả cần có những gì, và các tổ chức nên thường xuyên đánh giá lại đến mức nào để xác định liệu một ứng dụng AI có còn xứng đáng với các chi phí tính toán và vận hành liên tục hay không?

Khuôn khổ này cần liên kết trực tiếp mức sử dụng với trường hợp kinh doanh. Các công ty cần biết ứng dụng nào đang tiêu tốn tài nguyên và ứng dụng đó được kỳ vọng tạo ra kết quả gì. Tại HPE, chúng tôi theo dõi các KPI và chi phí đơn vị cơ sở cho từng trường hợp sử dụng để đo lường liệu ứng dụng có mang lại kết quả như mong đợi hay không. Tôi cũng muốn thấy việc đo lường được thực hiện ở cấp từng phòng ban và quy trình kinh doanh, để giám đốc tài chính có thể hiểu một quy trình hiện tốn bao nhiêu so với khi có AI. Đây cần là một quá trình liên tục vì mức sử dụng và hiệu quả kinh tế của ứng dụng có thể thay đổi theo thời gian. Các công ty cũng nên đánh giá lại khi mô hình, giá cả hoặc quy trình làm việc thay đổi đáng kể, bởi những thay đổi đó có thể ảnh hưởng đến cả chi phí lẫn giá trị của ứng dụng.

Nhìn về ba đến năm năm tới, khi AI được tích hợp vào hầu hết các quy trình kinh doanh, ông dự đoán bài toán kinh tế của AI doanh nghiệp sẽ phát triển như thế nào? Việc quản lý mức tiêu thụ AI rồi đây có giống những phương pháp như FinOps trên đám mây hay các tổ chức sẽ cần một mô hình vận hành hoàn toàn mới?

Tôi nghĩ kinh tế học về AI sẽ phát triển dựa trên các nguyên tắc của FinOps, chẳng hạn như khả năng nắm rõ chi phí, phân bổ chi phí và trách nhiệm giải trình, đồng thời mở rộng các nguyên tắc này để đo lường chất lượng và giá trị công việc mà AI thực hiện. Khi các tác nhân đảm nhận nhiều bước hơn trong một quy trình nghiệp vụ, các công ty sẽ cần hiểu chi phí để hoàn thành thành công quy trình đó, bao gồm cả những lần thử lại, sự can thiệp của con người và việc kết quả có đáp ứng tiêu chuẩn yêu cầu hay không. Tôi cho rằng đây sẽ trở thành trách nhiệm chung của bộ phận CNTT, tài chính và vận hành doanh nghiệp. Chúng ta vẫn đang ở giai đoạn đầu trong việc thiết lập những phương pháp nhất quán để so sánh giữa các tổ chức và ngành nghề. Về lâu dài, tôi muốn thấy các thước đo tiêu chuẩn giúp công ty hiểu được mức độ hiệu quả trong hoạt động ứng dụng AI và phản ánh điều đó trong báo cáo lãi lỗ (P&L).

Cảm ơn bạn đã tham gia cuộc phỏng vấn rất thú vị. Độc giả muốn tìm hiểu thêm về AI trên đám mây riêng, hạ tầng doanh nghiệp và việc mở rộng quy mô khối lượng công việc AI có thể truy cập HPE.

Antoine là một nhà lãnh đạo có tầm nhìn và đối tác sáng lập của Unite.AI, được thôi thúc bởi niềm đam mê bền bỉ trong việc định hình và thúc đẩy tương lai của AI và công nghệ robot. Là doanh nhân đã thành lập nhiều công ty, ông tin rằng AI sẽ làm thay đổi xã hội sâu sắc như điện năng và thường hào hứng nói về tiềm năng của các công nghệ đột phá và trí tuệ nhân tạo tổng quát (AGI).

Với vai trò là một nhà tương lai học, ông dành tâm huyết khám phá cách những đổi mới này sẽ định hình thế giới. Ông cũng là người sáng lập Securities.io, một nền tảng tập trung đầu tư vào các công nghệ tiên tiến đang định nghĩa lại tương lai và tái định hình toàn bộ các ngành.