Christian Stano, Field CTO tại Anyscale — Loạt bài phỏng vấn

Christian Stano, Field CTO tại Anyscale, đã xây dựng sự nghiệp tại giao điểm của cơ sở hạ tầng AI quy mô lớn, nền tảng học máy và tính toán phân tán. Trước khi gia nhập Anyscale, anh đã lãnh đạo bộ phận nền tảng AI/ML tại Attentive, nơi anh đã mở rộng cơ sở hạ tầng hỗ trợ cá nhân hóa cho hơn nửa tỷ người đăng ký và giúp thúc đẩy việc áp dụng các hệ thống tính toán thống nhất dựa trên Ray, cải thiện tốc độ phát triển trong khi giảm chi phí hoạt động. Trước đó trong sự nghiệp, anh đã làm việc trong lĩnh vực an ninh mạng, kiến trúc đám mây và các sáng kiến AI trong lĩnh vực công tại các tổ chức như Coalfire và Deloitte, nơi anh đã đóng góp vào một trong những nền tảng học máy đầu tiên của Bộ Quốc phòng Hoa Kỳ. Kinh nghiệm của anh bao gồm kỹ thuật nền tảng AI, MLOps, cơ sở hạ tầng được thiết kế cho đám mây, hỗ trợ nhà phát triển và mở rộng tổ chức, mang lại cho anh kinh nghiệm sâu sắc trong việc giúp các doanh nghiệp triển khai AI ở quy mô sản xuất.

Anyscale là công ty đứng sau Ray, khuôn khổ tính toán phân tán mã nguồn mở được sử dụng rộng rãi để mở rộng các tác vụ AI và Python trên các cụm CPU và GPU. Được thành lập bởi những người ban đầu tạo ra Ray từ RISELab của UC Berkeley, công ty tập trung vào việc đơn giản hóa việc triển khai, điều phối và quản lý cơ sở hạ tầng AI quy mô lớn cho huấn luyện, suy luận, xử lý dữ liệu và tác vụ của các tác nhân AI. Nền tảng của công ty cho phép các tổ chức chạy các hệ thống AI phân tán trên môi trường đám mây và tại chỗ trong khi cung cấp khả năng quan sát, quản lý và tối ưu hóa hiệu suất được thiết kế cho các ứng dụng AI hiện đại. Ray đã trở thành một lớp cốt lõi trong ngăn xếp cơ sở hạ tầng AI mới nổi, giúp các nhà phát triển mở rộng tác vụ từ một máy đơn đến hàng nghìn nút với các thay đổi tối thiểu đối với mã Python hiện có.

Bạn đã làm việc trong lĩnh vực an ninh mạng, nền tảng ML trong lĩnh vực công và hệ thống cá nhân hóa siêu quy mô. Những đặc điểm chung nào bạn thường thấy khi các tổ chức cố gắng chuyển từ các thử nghiệm AI sang sản xuất?

Trong các ngành công nghiệp, ba đặc điểm thường lặp lại. Đầu tiên, các nhóm không có một con đường được vạch ra đáng tin cậy từ phát triển đến sản xuất. Họ có thể xây dựng một mô hình trong môi trường notebook, nhưng không có cách tiêu chuẩn hóa để đưa nó vào sản xuất. Mỗi lần triển khai trở thành một trường hợp riêng lẻ, và mỗi lần thất bại là một điều bất ngờ. Thứ hai, cơ sở hạ tầng không thể mở rộng theo nhu cầu. Hệ thống hoạt động trong một thử nghiệm sẽ bị sập khi bạn cung cấp cho nó các khối lượng dữ liệu thực hoặc lưu lượng truy cập thực. Thứ ba, các nhóm không nắm được tình hình. Họ thiếu khả năng quan sát để biết hệ thống của họ đang hoạt động như thế nào, ở đâu chúng sẽ bị hỏng và khi nào cần can thiệp.

Cả ba đều bắt nguồn từ cùng một thách thức cốt lõi — các nhóm không có hiểu biết vững chắc về cách mở rộng bằng việc phân tán công việc sang nhiều máy hơn. Họ cố gắng giải quyết mọi thứ cùng một lúc thay vì chủ động xác định thứ tự các bước. Tôi nghĩ về nó như ba giai đoạn: làm cho hệ thống chạy được, hoàn thiện nó, rồi tăng tốc. Đây không phải các cột mốc chỉ đi qua một lần, mà là những giai đoạn được lặp lại. Bạn luôn ưu tiên giữa những gì bị hỏng ngay bây giờ và những gì sẽ bị hỏng tiếp theo. Các nhóm thành công biết họ đang ở giai đoạn nào và không vội chuyển sang bước tiếp theo khi nền tảng chưa vững.

Tại Anyscale, chúng tôi thấy các nhóm đến ở mọi giai đoạn. Một số vẫn đang cố gắng làm cho nó hoạt động — họ cần một con đường đáng tin cậy từ phát triển đến sản xuất. Các nhóm khác đã có lộ trình đó nhưng đang bị nhấn chìm trong sự phức tạp của hoạt động và cần hoàn thiện hệ thống. Và nhiều nhóm tìm đến chúng tôi vì họ đã xây dựng một thứ gì đó hoạt động, nhưng không thể đẩy nó lên quy mô mà doanh nghiệp đòi hỏi. Một lớp tính toán thống nhất giúp ở mỗi giai đoạn, nhưng điểm bắt đầu phụ thuộc vào vấn đề cấp bách nhất.

Tại Attentive, bạn đã giúp mở rộng các hệ thống AI hỗ trợ hàng trăm triệu người dùng. Những nút thắt kiến trúc hoặc tổ chức lớn nhất bạn phải vượt qua để đạt được quy mô đó là gì?

Nút thắt lớn nhất là đường cong S của sự phức tạp cơ sở hạ tầng. Khi chúng tôi đẩy các mô hình của mình để kết hợp nhiều dữ liệu hơn và phục vụ nhiều khách hàng hơn, chúng tôi đã đạt đến một điểm giới hạn tính toán khi ngay cả những nút lớn nhất đã được tăng năng lực theo chiều dọc cũng báo lỗi hết bộ nhớ, còn cách mở rộng ngang đơn giản cũng không đủ. Cơ sở hạ tầng tính toán của chúng tôi không thể theo kịp quy mô của dữ liệu.

Phản ứng tự nhiên là thêm nhiều công cụ để khắc phục các giới hạn. Đây là cách làm quen thuộc của tôi từ kinh nghiệm trước đây. Mỗi công cụ giải quyết một vấn đề cụ thể nhưng thêm sự phức tạp về hoạt động. Quy trình xử lý ML của chúng tôi có nguy cơ trở thành một tập hợp tích hợp chắp vá, và mỗi trường hợp sử dụng mới có nghĩa là nhiều công việc kết nối hơn, nhiều khả năng xảy ra lỗi hơn, chi phí cao hơn và nhiều công việc phát sinh hơn cho nhóm nền tảng.

Điều cuối cùng giúp chúng tôi mở rộng quy mô là hợp nhất xử lý dữ liệu, huấn luyện, suy luận và cung cấp mô hình trên Ray và Anyscale. Hiệu quả xuất hiện ngay: chi phí hạ tầng giảm mạnh, chu kỳ huấn luyện nhanh hơn đáng kể ngay cả khi khối lượng dữ liệu tăng, cùng khả năng mở rộng mô hình để phục vụ lượng khách hàng lớn hơn nhiều bậc độ lớn.

Điều gì đã thúc đẩy quyết định của bạn để tham gia Anyscale tại giai đoạn này, và bạn nhìn thấy vai trò của Field CTO định hình việc áp dụng AI trong doanh nghiệp như thế nào?

Kinh nghiệm của tôi khi đưa Anyscale vào Attentive đã thay đổi căn bản cách tiếp cận của tôi trong việc xây dựng các nền tảng ML. Trước đó, một phần đáng kể chi phí phát triển nền tảng đến từ việc kết nối các hệ thống rời rạc. Với Anyscale, chúng tôi đã có thể loại bỏ nhiều phần chi phí đó và thay vào đó tập trung vào trải nghiệm của nhà phát triển, độ tin cậy và hiệu suất. Sự thay đổi đó đã có tác động lớn đến cả năng suất của nhóm và kết quả hệ thống. Việc tham gia Anyscale là một cơ hội để làm việc trên vấn đề đó toàn thời gian và giúp các tổ chức khác trải qua quá trình chuyển đổi tương tự. Trong vai trò Field CTO, tôi chủ yếu chuyển những bài học thực tế đó thành những phương pháp mà khách hàng của chúng tôi có thể áp dụng lặp lại khi mở rộng AI.

Nhiều doanh nghiệp vẫn còn mắc kẹt trong giai đoạn “thử nghiệm” của AI. Từ quan điểm của bạn, điều gì cụ thể bị hỏng khi các công ty cố gắng mở rộng các thí nghiệm ban đầu này thành các hệ thống sản xuất?

Khi các công ty chuyển từ các thí nghiệm AI sang sản xuất, thứ gặp trục trặc hiếm khi chỉ là mô hình, mà là hệ thống và hoạt động vận hành xung quanh. Trong một số trường hợp, các nhóm sớm đạt đến giới hạn cơ sở hạ tầng và không thể huấn luyện hoặc cung cấp mô hình ở quy mô mong muốn. Vì vậy, họ phải giới hạn số khách hàng hoặc trường hợp sử dụng mà mô hình phục vụ. Thường gặp hơn là các vấn đề xuất hiện trong sản xuất thông qua những trường hợp đặc biệt bất ngờ hoặc thay đổi dữ liệu. Một trong những điểm thất bại phổ biến nhất là bộ nhớ: khi kích thước dữ liệu, phân bố hoặc loại dữ liệu thay đổi, các tác vụ hết bộ nhớ và thất bại. Những vấn đề này khó dự đoán và thậm chí khó tự động phục hồi hơn. Thực tế là thất bại là không thể tránh khỏi khi vận hành AI trong thực tế. Mục tiêu không phải là tránh nó hoàn toàn, mà là phát hiện nhanh, hiểu nó và xây dựng các hệ thống tự phục hồi để giải quyết nó trước khi nó ảnh hưởng đến doanh nghiệp.

Ray, khuôn khổ tính toán phân tán được tạo bởi nhóm đứng sau Anyscale, đang thu hút sự chú ý như một nền tảng cho các tác vụ AI. Tại sao việc thực thi phân tán đang trở thành một lớp quan trọng trong cơ sở hạ tầng AI hiện đại?

Thực thi phân tán và quản lý tác vụ đã trở thành yếu tố then chốt cho các quy trình xử lý AI. Các tác vụ AI hiện đại vốn có tính song song và đòi hỏi nhiều tài nguyên. Huấn luyện, suy luận và xử lý dữ liệu đều yêu cầu phối hợp một lượng lớn nhiệm vụ trên CPU và GPU, thường là động. Trong môi trường tính toán hiện nay, sự phức tạp của việc quản lý các công việc này trên tài nguyên khan hiếm là một gánh nặng hoạt động khổng lồ. Các hệ thống truyền thống không được thiết kế cho mức độ phức tạp hoặc quy mô này. Các khuôn khổ như Ray là quan trọng vì chúng cho phép các nhóm mở rộng tác vụ một cách liền mạch từ một máy đơn đến hàng nghìn nút bằng cách tự động hóa sự phối hợp cơ bản. Sự thay đổi này phản ánh một bước chuyển lớn hơn hướng tới hạ tầng tính toán được thiết kế ngay từ đầu cho AI, nơi cơ sở hạ tầng được thiết kế cụ thể cho đặc điểm của các tác vụ AI thay vì được điều chỉnh từ các mô hình cũ hơn.

Khi nhiều công ty hơn áp dụng Ray thông qua nền tảng Anyscale, bạn thấy sự khác biệt gì giữa các tổ chức tiêu chuẩn hóa một cách tiếp cận thống nhất so với những tổ chức kết nối các công cụ rời rạc?

Sự khác biệt giữa các nền tảng thống nhất và các công cụ rời rạc cuối cùng phụ thuộc vào sự tập trung và hiệu quả. Khi các nhóm dựa vào nhiều hệ thống không kết nối, họ dành một lượng thời gian đáng kể để kết nối các hệ thống đó, quản lý sự không nhất quán và phản hồi với các sự cố trên các môi trường khác nhau. Điều này tạo ra chi phí hoạt động và làm chậm quá trình thử nghiệm. Ngược lại, một cách tiếp cận thống nhất cho phép các nhóm tập trung nỗ lực của họ vào việc cải thiện một hệ thống duy nhất, điều này dẫn đến độ tin cậy tốt hơn, hiệu suất mạnh mẽ hơn và trải nghiệm thuận tiện hơn cho nhà phát triển. Nó cũng đơn giản hóa công tác trực xử lý sự cố và gỡ lỗi vì các mẫu nhất quán và dễ hiểu hơn. Kết quả không chỉ là hiệu quả kỹ thuật, mà còn là sự rõ ràng của tổ chức.

Dựa trên kinh nghiệm xây dựng các nền tảng ML từ đầu đến cuối, bạn đánh giá trải nghiệm của nhà phát triển (DevEx) quan trọng như thế nào trong việc tăng tốc việc áp dụng AI trên các nhóm?

Trải nghiệm của nhà phát triển là một trong những lĩnh vực có ảnh hưởng lớn nhất để tăng tốc việc áp dụng AI. Khi các nhóm nền tảng đầu tư vào việc làm cho các hệ thống dễ sử dụng hơn thông qua quy trình làm việc chuẩn hóa, mẫu có sẵn và việc giảm trở ngại từ hạ tầng, họ khuếch đại năng suất của mọi kỹ sư trong tổ chức. Điều này đặc biệt quan trọng trong AI, nơi tốc độ thay đổi cực kỳ nhanh và các nhóm cần phải lặp lại nhanh chóng để duy trì tính cạnh tranh. Cải thiện trải nghiệm của nhà phát triển trực tiếp mang lại thử nghiệm nhanh hơn, thời gian đưa vào vận hành ngắn hơn và cuối cùng là tác động kinh doanh lớn hơn. Các công cụ lập trình có AI hỗ trợ khuếch đại những nguyên tắc DevEx cơ bản này. Xét trên nhiều phương diện, đây là cách dễ mở rộng nhất để tăng tốc toàn bộ tổ chức.

Hiệu quả về chi phí đang trở thành một mối quan tâm lớn khi các tác vụ AI mở rộng. Những cách giảm chi phí hạ tầng nào thường bị doanh nghiệp bỏ qua dù không làm giảm hiệu suất?

Khi các tác vụ AI mở rộng, quản lý chi phí trở nên quan trọng và phức tạp hơn. Một trong những thách thức bị bỏ qua nhiều nhất là việc chi phí có thể tăng vọt nhanh chóng do sự kém hiệu quả, đặc biệt là với cơ sở hạ tầng dựa trên GPU. Các cụm lớn có thể khởi động hàng nghìn nút, và nếu tài nguyên không được quản lý hoặc tắt đúng cách, chi phí sẽ tích lũy nhanh chóng. Điều này tạo ra một dạng mở rộng tài nguyên mất kiểm soát đặc thù của AI, nơi sử dụng tính toán tăng nhanh hơn so với khả năng theo dõi hoặc kiểm soát của các nhóm. Để giải quyết vấn đề này, cần có sự kết hợp giữa quản trị chặt chẽ, khả năng nắm bắt tình hình và tự động hóa, chẳng hạn như tự động mở rộng, tự động kết thúc và quản lý tài nguyên tập trung. Ở quy mô lớn, hiệu quả về chi phí không chỉ là một mối quan tâm hoạt động, mà còn là một phần cơ bản của thiết kế hệ thống.

Bạn đã làm việc trên mọi thứ, từ các kho đặc trưng cho mô hình (feature stores) đến các hệ thống suy luận thời gian thực. Bạn nghĩ sự cân bằng giữa các tác vụ AI theo lô và thời gian thực đang thay đổi như thế nào?

Sự cân bằng giữa các tác vụ AI theo lô và thời gian thực không thay đổi cơ bản — nó vẫn là một câu hỏi về yêu cầu kinh doanh. Xử lý theo lô thường có hiệu quả về chi phí hơn và dễ vận hành hơn, khiến nó phù hợp với nhiều trường hợp sử dụng. Các hệ thống thời gian thực thì cần thiết khi độ trễ ảnh hưởng trực tiếp đến trải nghiệm của người dùng hoặc kết quả kinh doanh, chẳng hạn như trong các ứng dụng trò chuyện hoặc phát hiện gian lận. Cả hai phương pháp sẽ tiếp tục cùng tồn tại, và chìa khóa cho các tổ chức là xây dựng các nền tảng có thể hỗ trợ cả hai một cách hiệu quả. Quyết định cuối cùng phụ thuộc vào sự cân bằng giữa chi phí, độ trễ và độ tin cậy.

Nhìn về tương lai, một nền tảng AI doanh nghiệp trưởng thành trông như thế nào trong 2-3 năm — và các công cụ như Ray và nền tảng như Anyscale phù hợp với tương lai đó như thế nào?

Trong vài năm tới, các nền tảng AI doanh nghiệp trưởng thành sẽ được định nghĩa bởi một số đặc điểm chính. Chúng sẽ dựa trên cơ sở hạ tầng thống nhất hỗ trợ toàn bộ vòng đời AI, từ xử lý dữ liệu đến huấn luyện đến suy luận, thay vì một tập hợp các công cụ rời rạc. Chúng sẽ có hoạt động vận hành liên tục vững chắc sau khi triển khai, với khả năng quan sát hệ thống do các tác nhân tự động hóa, độ tin cậy và khả năng gỡ lỗi nhanh. Chi phí sẽ có thể dự báo và được quản lý có hệ thống, cho phép các tổ chức mở rộng một cách bền vững. Và có lẽ quan trọng nhất, chúng sẽ cho phép tốc độ phát triển cao, giúp các nhóm dễ dàng chuyển từ ý tưởng sang sản xuất nhanh chóng. Các nền tảng như Ray và Anyscale đóng vai trò trung tâm trong tương lai này bằng cách cung cấp nền móng được thiết kế cho AI giúp đạt được mức độ quy mô và hiệu quả này.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời. Độc giả muốn tìm hiểu thêm có thể truy cập Anyscale.