Nikunj Bajaj, đồng sáng lập kiêm CEO TrueFoundry – Loạt phỏng vấn

Trước khi thành lập TrueFoundry, anh đã làm nghiên cứu học máy, phát triển AI vận hành thực tế tại Facebook (META ) và các hệ thống đề xuất quy mô lớn. Những trải nghiệm nào trực tiếp thúc đẩy anh xây dựng một công ty hạ tầng AI cho doanh nghiệp, và anh cảm thấy vấn đề nào chưa được giải quyết vào thời điểm đó?

Tại Meta, chúng tôi coi học máy là một trường hợp đặc biệt của phần mềm và GenAI là một trường hợp đặc biệt của học máy. Từ đó hình thành một ngăn xếp công nghệ theo chiều dọc, với phần mềm ở dưới cùng, học máy ở giữa và GenAI ở trên cùng. Trong cấu trúc này, nếu tôi là nhà phát triển học máy, các mô hình tôi xây dựng sẽ tuân theo cùng cách triển khai với phần mềm còn lại, giúp việc mở rộng quy mô hệ thống trở nên rất đơn giản.

Tuy nhiên, phần lớn doanh nghiệp lại triển khai các ngăn xếp song song, tức là có các ngăn xếp riêng cho phần mềm, học máy và GenAI. Khi có những ngăn xếp song song như vậy, việc mở rộng quy mô trở nên phức tạp hơn do phải bàn giao công việc giữa lĩnh vực học máy và lĩnh vực phần mềm.

Đội ngũ chúng tôi luôn làm việc ở giao điểm giữa xây dựng mô hình học máy và hạ tầng học máy. Nhờ góc nhìn riêng đó, chúng tôi thấy có thể đưa những ngăn xếp theo chiều dọc tương tự vào doanh nghiệp và điều chỉnh cho phù hợp với yêu cầu cụ thể của họ. Vào cuối năm 2021, chúng tôi cũng đưa ra giả thuyết rằng học máy đang tiến gần đến bước ngoặt, và khi bước ngoặt ấy xảy ra, nhiều công ty hơn sẽ cần một ngăn xếp tích hợp theo chiều dọc để triển khai và mở rộng các hệ thống này một cách hiệu quả. Đó là điều cuối cùng dẫn chúng tôi đến việc thành lập TrueFoundry, và giả thuyết của chúng tôi đã đúng. Việc ứng dụng AI tăng tốc sau khi ChatGPT ra mắt vào cuối năm 2022.

Khi hệ thống AI chuyển từ thử nghiệm sang hoạt động hằng ngày, cách các tổ chức cần suy nghĩ về độ tin cậy và sự cố đã thay đổi như thế nào?

Mức độ hệ trọng của GenAI cao hơn đáng kể so với các hệ thống học máy truyền thống. Khi những hệ thống này được đưa vào vận hành thực tế, các tổ chức phải đối mặt với mức độ mơ hồ và tính bất định cao hơn nhiều vì LLM vốn có bản chất ngẫu nhiên. Các hệ thống tác nhân được xây dựng trên nền tảng đó còn làm tăng thêm sự mơ hồ.

Hơn nữa, sự cố không còn chỉ có hai trạng thái. Thay vì hệ thống đơn giản là hỏng hoặc không hỏng, nhiều vấn đề xuất hiện dưới dạng lỗi một phần hoặc suy giảm âm thầm. Theo thời gian, hệ thống có thể phản hồi chậm hơn, chất lượng giảm hoặc có hành vi không chính xác. Trong nhiều trường hợp, những dạng suy giảm này khó phát hiện hơn và đôi khi còn gây hại hơn việc ngừng hoạt động hoàn toàn.

Các tổ chức cần nhìn nhận độ tin cậy không chỉ qua thời gian hệ thống hoạt động liên tục mà còn qua sự suy giảm hiệu năng theo thời gian.

TrueFailover ra mắt giữa làn sóng gián đoạn dịch vụ đám mây và AI được chú ý rộng rãi. Những sự kiện gần đây nào cho thấy rõ độ tin cậy của AI đã chuyển từ một yếu tố có thì tốt thành yêu cầu kiến trúc cốt lõi?

Một khách hàng trong lĩnh vực y tế của chúng tôi xử lý các yêu cầu liên quan đến đơn thuốc của bệnh nhân theo thời gian thực, trong đó thời gian đáp ứng rất quan trọng. Khách hàng này gặp gián đoạn do mô hình bị lỗi. Các quy trình của họ tạo ra hàng nghìn đô la doanh thu mỗi giây, và sự cố đã làm gián đoạn một số quy trình thiết yếu đó. Vì đây là một trong những khách hàng đầu tiên của TrueFailover, chúng tôi đã có thể giúp họ khôi phục nhanh chóng và hạn chế tác động của sự cố.

Những sự cố như vậy đặt ra một câu hỏi quan trọng: khi mức độ hệ trọng của các hệ thống GenAI ngày càng tăng, tại sao quá trình khôi phục vẫn chủ yếu được thực hiện thủ công? Điều này củng cố quan điểm rằng cần xây dựng hệ thống với giả định sự cố sẽ xảy ra và thiết kế để chúng tự động khắc phục. Độ tin cậy cũng phải được tích hợp vào chính ngăn xếp AI thông qua các cổng AI, vốn có thể cung cấp khả năng định tuyến tập trung, quan sát hệ thống, các cơ chế bảo vệ và chuyển đổi mô hình thông minh giữa các nhà cung cấp.

Nhiều lần AI ngừng hoạt động vẫn được mô tả như những trục trặc kỹ thuật nhỏ. Theo anh, khi hệ thống AI ngừng hoạt động, những tổn thất thực sự về kinh tế và con người bắt đầu xuất hiện ở đâu?

AI trong doanh nghiệp đã phát triển đến mức những trục trặc này không còn chỉ ảnh hưởng đến các quy trình nội bộ. Ngày nay, gián đoạn và suy giảm tác động trực tiếp, ngay lập tức đến cách công chúng nhìn nhận doanh nghiệp và lợi nhuận, vì các ứng dụng đang vận hành đã trực tiếp phục vụ khách hàng. Sự chuyển dịch từ thử nghiệm nội bộ sang các ứng dụng phục vụ công chúng, nơi các hệ quả có thể rất nghiêm trọng, là lý do nhu cầu về sự quan tâm và giám sát của lãnh đạo cấp cao ngày càng tăng.

Khi hệ thống AI được tích hợp sâu hơn vào các quy trình vận hành, gián đoạn không còn chỉ là vấn đề kỹ thuật. Chúng ngày càng gây ra những hậu quả trực tiếp đối với hoạt động kinh doanh, khách hàng và danh tiếng.

Trong những môi trường có vai trò thiết yếu như nhà thuốc, hoạt động chăm sóc sức khỏe hoặc hỗ trợ khách hàng, thời gian AI ngừng hoạt động có thể nhanh chóng chuyển thành rủi ro vận hành hoặc danh tiếng đến mức nào?

Trong những môi trường có vai trò thiết yếu, rủi ro gia tăng gần như ngay lập tức vì các hệ thống này hỗ trợ những quy trình diễn ra theo thời gian thực, đòi hỏi đáp ứng kịp thời. Ngay cả một gián đoạn ngắn cũng có thể làm dừng các quy trình trọng yếu, chậm cung cấp dịch vụ hoặc gián đoạn các hệ thống phía sau phụ thuộc vào những đầu ra đó, tạo ra tác động vận hành dây chuyền trên toàn tổ chức.

Trong các lĩnh vực như y tế, tác động không chỉ dừng ở gián đoạn vận hành mà còn ảnh hưởng đến trải nghiệm khách hàng và kết quả cung cấp dịch vụ. Nếu bệnh nhân không thể lĩnh thuốc theo đơn đúng lúc, hậu quả thực tế có thể xảy ra. Đây không chỉ là vấn đề đối với bệnh nhân mà còn có thể làm tổn hại danh tiếng của nhà thuốc hoặc đơn vị chăm sóc sức khỏe. Trong những môi trường thiết yếu, nơi niềm tin đóng vai trò quan trọng, việc duy trì hệ thống hoạt động là yêu cầu tối quan trọng. Vì vậy, các tổ chức ngày càng nhận ra rằng hệ thống AI phải được thiết kế với giả định sự cố sẽ xảy ra, và các cơ chế khôi phục cần tự động kích hoạt để giảm thiểu rủi ro.

Anh từng nói nhiều nhóm thiết kế kiến trúc chú trọng năng lực hơn là tính liên tục trong vận hành. Vì sao trước đây khả năng chống chịu sự cố thường có mức ưu tiên thấp hơn trong thiết kế hệ thống AI?

Điều này chủ yếu xuất phát từ các cơ chế khuyến khích trong tổ chức. Những năng lực mới dễ nhận thấy và gây hào hứng. Chúng mở ra các bản trình diễn, tính năng và khả năng mới của sản phẩm mà lãnh đạo có thể nhìn thấy ngay.

Theo định nghĩa, tính liên tục trong vận hành không được chú ý khi mọi thứ đang hoạt động tốt. Do đó, các cơ chế khen thưởng thường thiên về việc đưa ra tính năng mới hơn là bảo đảm không có gì hỏng hóc. Kết quả là các tổ chức thường đầu tư mất cân đối, dành nhiều hơn cho phát triển năng lực so với việc xây dựng khả năng chống chịu sự cố.

Khi doanh nghiệp ngày càng phụ thuộc vào các mô hình và API bên ngoài, những điểm dễ tổn thương mới nào xuất hiện trong ngăn xếp AI mà các nhà lãnh đạo có thể chưa nhận thức đầy đủ?

LLM về bản chất là tài nguyên dùng chung, và doanh nghiệp không sở hữu chúng như sở hữu hạ tầng truyền thống. Ngoài ra, các hệ thống thiết yếu đối với hoạt động kinh doanh của doanh nghiệp đang chạy trên những hệ thống bên ngoài chưa được kiểm chứng đầy đủ qua thời gian. Bản thân LLM phát triển rất nhanh, nghĩa là không thể quy trách nhiệm cho nhà cung cấp mô hình về những vấn đề như độ trễ hoặc hiệu năng mô hình giảm nhẹ, vì họ đang liên tục lặp lại và cải tiến nghiên cứu với tốc độ rất cao.

Vì LLM là tài nguyên dùng chung, độ trễ có thể tăng vọt khi một người dùng khác thực hiện một hành động cụ thể. Bản chất của LLM làm phát sinh nhiều điểm có thể xảy ra sự cố như vậy, và doanh nghiệp trong thế giới mới này đơn giản là không có toàn quyền kiểm soát. Khi không có toàn quyền kiểm soát, điều tốt nhất doanh nghiệp có thể làm là tạo đủ khả năng dự phòng trong hệ thống để xây dựng một hệ thống có sức chống chịu.

Không tập trung vào sản phẩm cụ thể, các tổ chức nên xem xét lại kiến trúc AI như thế nào để mặc định rằng sự cố sẽ xảy ra, thay vì coi gián đoạn là trường hợp ngoại lệ hiếm gặp?

Các tổ chức nên quay lại những nguyên tắc nền tảng của thiết kế hệ thống phân tán. Các hệ thống phần mềm vốn được xây dựng với giả định rằng thành phần mạng và máy tính sẽ hỏng, thậm chí toàn bộ một khu vực có thể ngừng hoạt động.

Hệ thống AI cũng không nên khác. Chúng ta nên giả định nhà cung cấp mô hình sẽ gặp vấn đề về độ trễ, suy giảm hoặc gián đoạn, và tích hợp khả năng dự phòng để các ứng dụng vẫn chống chịu được nhiều kịch bản sự cố khác nhau.

Anh có cho rằng khả năng chống chịu sự cố của AI sẽ trở thành yếu tố quyết định khi lựa chọn nền tảng và nhà cung cấp, tương tự cách thời gian hoạt động liên tục và khả năng dự phòng đã định hình các quyết định về hạ tầng đám mây?

Khi ngày càng nhiều hệ thống AI được đưa vào vận hành thực tế, khả năng chống chịu sự cố sẽ trở thành yêu cầu tối thiểu. Nếu nhà cung cấp không thể đưa ra biểu đồ và số liệu về thời gian hoạt động liên tục cũng như khả năng chống chịu tổng thể, họ thậm chí sẽ không được cân nhắc. Khi khả năng chống chịu trở thành kỳ vọng cơ bản đối với mọi nhà cung cấp, các yếu tố quyết định sẽ chuyển sang trải nghiệm người dùng, tối ưu hóa hiệu năng, khả năng quan sát và những năng lực cấp cao hơn của sản phẩm. Theo thời gian, các thành phần như cổng AI và khả năng tự động chuyển đổi dự phòng khi xảy ra sự cố sẽ trở thành nền móng cốt lõi của hạ tầng AI doanh nghiệp.

Nhìn về phía trước, AI “sẵn sàng đưa vào vận hành thực tế” thực sự có nghĩa là gì trong một thế giới nơi người ta kỳ vọng AI luôn sẵn sàng, chứ không chỉ thỉnh thoảng hữu ích?

Hệ thống AI sẵn sàng đưa vào vận hành thực tế cần có khả năng quan sát, kiểm soát và khôi phục. Cả ba yêu cầu đều phải được đáp ứng.

Để có khả năng quan sát AI trong môi trường vận hành thực tế, các nhóm cần nhìn sâu vào hành vi mô hình, độ trễ, tỷ lệ lỗi, mức sử dụng token, độ trôi và các dạng sự cố. Nếu thiếu khả năng quan sát tốt, sẽ rất khó phát hiện sự suy giảm trước khi người dùng bắt đầu nhận thấy.

Khả năng kiểm soát hệ thống bao gồm điều tiết lưu lượng, giới hạn tần suất yêu cầu, các cơ chế bảo vệ, thực thi chính sách và định tuyến thông minh giữa các mô hình và nhà cung cấp. Đây là nơi cổng AI trở thành nền tảng, đóng vai trò lớp điều khiển tập trung để thực thi các cơ chế bảo vệ, bảo đảm quản trị nhất quán và cho phép chuyển đổi mô hình linh hoạt khi hiệu năng hoặc độ tin cậy giảm.

Cuối cùng, để có thể khôi phục, hệ thống cần được xây dựng với giả định các thành phần có thể hỏng một phần hoặc hoàn toàn, dù do nhà cung cấp ngừng hoạt động, chất lượng mô hình suy giảm, giới hạn tần suất yêu cầu hay dữ liệu đầu vào bất ngờ từ các bên có ý đồ xấu. Cơ chế tự động chuyển đổi dự phòng và tự khắc phục phải được tích hợp ngay trong kiến trúc, thay vì dựa vào các quy trình thực hiện thủ công chỉ được kích hoạt sau khi có vấn đề.

Đó là hướng đi chúng tôi đang theo đuổi tại TrueFoundry. Những nhà cung cấp định nghĩa sự sẵn sàng vận hành thực tế theo cách này, kết hợp khả năng quan sát, kiểm soát tập trung và khôi phục tự động, sẽ giành được niềm tin lâu dài của khách hàng và có thể tiếp tục giải quyết các vấn đề mới khi chúng xuất hiện.

Cảm ơn anh về cuộc phỏng vấn tuyệt vời. Độc giả muốn tìm hiểu thêm có thể truy cập TrueFoundry.