Bing Xu, Người sáng lập và CEO của INT21 – Chuỗi Phỏng vấn

Bing Xu, Người sáng lập và CEO của INT21, là một kỹ sư hạ tầng AI và doanh nhân với kinh nghiệm sâu rộng trong tối ưu hoá GPU, hệ thống học máy và các tác nhân AI tự trị. Trước khi thành lập INT21 vào năm 2026, ông Xu là Kỹ sư Đặc biệt tại NVIDIA, nơi ông làm việc về phát triển phần mềm dựa trên tác nhân và tạo ra nhiều thế hệ tác nhân lập trình, bao gồm công việc phía sau VibeTensor và AVO. Ông gia nhập NVIDIA sau khi công ty này mua lại HippoML, công ty khởi nghiệp về suy luận GPU mà ông đã sáng lập và lãnh đạo với vai trò CEO. Trước đó, ông Xu từng là Kỹ sư Phần mềm Cấp cao tại Meta, nơi ông tạo ra AITemplate và giúp cải thiện hiệu suất suy luận GPU trên các khối lượng công việc sản xuất, và đã giữ các vị trí kỹ thuật và nghiên cứu tại OctoML, Facebook AI, Apple và Turi. Sự nghiệp của ông luôn tập trung vào việc cải thiện phần mềm và hạ tầng nền tảng cho các hệ thống AI hiện đại.

INT21 đang xây dựng hạ tầng AI tự cải thiện được thiết kế để sử dụng các đàn tác nhân tự trị nhằm liên tục phát triển, kiểm thử, đánh giá và tối ưu phần mềm vận hành các tải công việc AI. Trọng tâm hiện tại của họ là Inference Engine Factory, sử dụng các tác nhân chuyên biệt để khám phá các chiến lược tối ưu hoá song song và xây dựng các động cơ suy luận hoàn chỉnh bao gồm các kernel CUDA và PTX, driver và hạ tầng phục vụ, với hiệu năng được xác thực trực tiếp trên phần cứng mục tiêu. Công nghệ của công ty được xây dựng trên SwarmOS, một nền tảng đám mây gốc cho phép số lượng lớn tác nhân phối hợp quanh các mục tiêu kỹ thuật có thể đo lường được đồng thời lưu giữ bằng chứng và bài học giữa các thế hệ. INT21 ban đầu đã chứng minh cách tiếp cận này qua PTX Kernel Factory, sản xuất và đánh giá các kernel GPU trên phần cứng NVIDIA Hopper và Blackwell; kể từ đó công ty đã chuyển nguồn tính toán sang tối ưu các động cơ suy luận hoàn chỉnh.

Bạn đã thành lập INT21 sau khi liên tục gặp khó khăn trong việc tuyển dụng các kỹ sư hạ tầng chuyên biệt đủ nhanh để xây dựng và tối ưu các hệ thống AI. Điều gì đã thuyết phục bạn rằng giải pháp không chỉ là các công cụ phát triển tốt hơn, mà là các đàn tác nhân tự trị, tự cải thiện có khả năng tự thực hiện công việc này?

Đó là một vấn đề đã được biết rộng rãi: nhu cầu về nhân tài tập trung vào hạ tầng AI trong các chuyên môn khác nhau vượt xa nguồn cung, và tôi đã trải nghiệm thách thức này trực tiếp. Điều đó đã thúc đẩy tôi xem xét các đàn tác nhân tự cải thiện như một lựa chọn. Trong vài năm qua, tôi đã làm việc trên các giải pháp AI tự cải thiện, và công nghệ hiện đang tiến triển với tốc độ nhanh đến mức các hệ thống này thực sự đủ khả năng để xây dựng, vận hành và tối ưu hạ tầng một cách tự động.

Triết lý cốt lõi của INT21 là giống như con người, các tác nhân trở nên thông minh hơn nhờ kiến thức tích lũy. Điều này hoàn toàn khác biệt so với các công cụ phát triển truyền thống, vốn vẫn bị giới hạn bởi số giờ làm việc của con người và những vấn đề họ có thể giải quyết thực tế. Việc sử dụng các đàn tác nhân tự cải thiện đồng nghĩa với việc chúng tôi nhanh hơn, chính xác hơn và hiệu quả hơn trong mỗi chu kỳ sản xuất. Vì các tác nhân của chúng tôi có khả năng và không bị ràng buộc bởi các khung công tác hiện có, chúng tôi có thể xây dựng các giải pháp ngay từ đầu cho từng tải công việc cụ thể.

Trước khi thành lập INT21, bạn đã sáng lập HippoML, công ty đã được NVIDIA mua lại chỉ 14 tháng sau khi ra mắt, và sau đó bạn trở thành Kỹ sư Đặc biệt tại NVIDIA. Những trải nghiệm đó đã dạy bạn gì về những nút thắt trong hạ tầng AI mà cuối cùng đã định hình kiến trúc và sứ mệnh của INT21?

Tại HippoML, chúng tôi chuyên về suy luận AI sinh tạo hiệu năng cao, xây dựng các công cụ tối ưu hoá phần mềm để chạy các mô hình ngôn ngữ lớn nhanh hơn và hiệu quả hơn. Chúng tôi nhận ra rằng không thể mở rộng mà không dựa vào các nhà thầu tài năng từ Đông Âu và các khu vực khác, chỉ để bắt kịp nhu cầu tối ưu suy luận AI.

Sau khi NVIDIA mua lại chúng tôi, tôi bắt đầu xây dựng một phương pháp phát triển dựa trên tác nhân bên trong công ty. Chúng tôi đã công bố nghiên cứu chứng minh rằng phần khung (lớp hạ tầng bao quanh một mô hình) thực sự quyết định hiệu năng của tác nhân, không phải mô hình tự nó. Đó là bằng chứng cho thấy nút thắt thực sự trong hạ tầng AI không phải là tìm kiếm mô hình tốt hơn, mà là tối ưu các hệ thống chạy chúng.

Khi các mô hình cải tiến, hạ tầng xung quanh chúng cũng phải mở rộng tương ứng. Tuy nhiên, các vòng tối ưu hoá do con người điều khiển gặp khó khăn trong việc bắt kịp. Bạn tối ưu một vòng lặp đào tạo cho một kiến trúc mô hình, triển khai nó, sau đó nếu kiến trúc mô hình thay đổi hoặc một thế hệ GPU mới xuất hiện, bạn phải bắt đầu lại. Hiện nay dường như có bản cập nhật mô hình mới mỗi tuần, cách tiếp cận cũ này không bền vững. Nhận thức này đã thuyết phục tôi rằng bước đột phá tiếp theo nằm ở hạ tầng tự cải thiện, và đã dẫn tôi thành lập INT21.

INT21 mô tả cách tiếp cận của mình là “hạ tầng tự cải thiện”, khá khác biệt so với cải thiện tự động đệ quy, nơi các nhà nghiên cứu cố gắng làm cho mô hình AI nền tảng trở nên mạnh hơn. Cách tiếp cận của bạn hoạt động như thế nào, và tại sao bạn tin rằng việc cải thiện các hệ thống xung quanh các mô hình hiện có có thể mang lại lợi ích đáng kể nhanh hơn?

Cách tiếp cận cải thiện tự động đệ quy tập trung vào việc đào tạo các mô hình độc quyền, tập hợp các đội nghiên cứu và huy động vốn khổng lồ. Đó là một hành trình kéo dài hàng thập kỷ, tốn kém, vì bạn yêu cầu mô hình tự suy luận về quá trình đào tạo của chính nó.

Cách tiếp cận của chúng tôi khác. Tại INT21, chúng tôi không cố gắng cải thiện các mô hình tiên tiến bản thân chúng, việc đó sẽ mất năm năm và hàng tỷ đô la vốn. Thay vào đó, chúng tôi xây dựng các đàn tác nhân tối ưu hoá phần khung, lớp hạ tầng nằm giữa mô hình và hiệu năng. Đó là những gì nghiên cứu của tôi tại Nvidia đã chứng minh: phần khung, không phải mô hình, quyết định hiệu năng của tác nhân trong các nhiệm vụ phức tạp. Một tác nhân không cần hiểu khả năng của mô hình tiên tiến để đạt được mức tăng hiệu suất 10%. Nó chỉ cần khám phá không gian thiết kế, đo lường, xác thực và giữ lại những gì hiệu quả.

Một cách để suy nghĩ về hai cách tiếp cận khác nhau là một cách giống như xây dựng một nhà máy điện, trong khi cách còn lại là xây dựng bằng điện đã có sẵn. Chúng tôi có thể di chuyển nhanh hơn và đáp ứng nhu cầu thực tế, cấp bách. Và điều đó có nghĩa là chúng tôi đã thấy những cải thiện đáng kể, có thể đo lường được trong hạ tầng tự cải thiện ngay hôm nay.

INT21 gần đây đã ra mắt Inference Engine Factory, mở rộng khái niệm từ các kernel GPU riêng lẻ sang các động cơ suy luận hoàn chỉnh. Điều này thực sự có nghĩa là gì khi một đàn tác nhân tự động xây dựng và tối ưu một động cơ suy luận, và những phần nào của quy trình này truyền thống yêu cầu chuyên môn con người cao nhất?

Một động cơ suy luận là phần mềm chạy mô hình trên phần cứng. Đó là một hệ thống phức tạp đưa ra hàng chục quyết định thiết kế đồng thời, chẳng hạn như các phép toán nào chạy cùng nhau trong một kernel duy nhất, hoặc cách lên lịch công việc trên các lõi. Các quyết định này liên kết với nhau, vì vậy nếu bạn thay đổi một yếu tố, bạn phải kiểm tra lại mọi thứ khác.

Theo truyền thống, một kỹ sư sẽ tinh chỉnh thủ công tất cả các yếu tố này cho mỗi mô hình. Đối với việc tạo video, âm nhạc và giọng nói, đây là một thách thức vì chúng là các kiến trúc đa giai đoạn, đa quy mô mà không có khung công cụ có sẵn. Các đàn tác nhân của INT21 xây dựng toàn bộ ngăn xếp từ đầu đến cuối, từ các kernel riêng lẻ đến động cơ suy luận hoàn chỉnh. Các ngăn xếp tạo video và âm thanh của chúng tôi không yêu cầu kiểm tra mã bởi con người và vượt trội hơn các giải pháp suy luận hiện đại trong cùng các thiết lập đồng thời.

PTX Kernel Factory của bạn đã tạo ra các triển khai vượt qua các chuẩn hiện có tới 59% trên một số tải công việc nhất định. Về mặt kỹ thuật, các tác nhân đang tìm thấy những cải thiện hiệu suất ở đâu mà các triển khai do con người tối ưu cao hoặc các trình biên dịch thông thường không thể phát hiện?

PTX Kernel Factory của chúng tôi đã vượt qua chuẩn tốt nhất hiện có tới 59% so với KDA (Kimi Linear Attention). Điều này bắt nguồn từ việc các đàn tác nhân tự cải thiện của chúng tôi có thể mở rộng lên hàng nghìn biến thể trong một phần thời gian, một quy trình quá tốn công và chi phí đối với các kỹ sư con người.

Khác biệt là các kernel do con người viết dựa vào các ngôn ngữ đặc thù (DSL), mẫu và trình biên dịch được xây dựng trước cho GPU. DSL hoạt động tốt cho các mẫu phổ biến, nhưng khi gặp một tải công việc mới, như KDA, trình biên dịch đa mục đích thường không thể tối ưu tốt. Các tác nhân của chúng tôi hoàn toàn bỏ qua các abstraction này, nghĩa là chúng không bị ràng buộc bởi các giả định của DSL hay trình biên dịch. Tự do khám phá toàn bộ không gian thiết kế mà không bị khóa vào các mẫu định sẵn chính là nguồn gốc của cải tiến.

Cơ sở hạ tầng do AI tạo ra tạo ra một vấn đề xác minh bất thường: một tối ưu hoá không hữu ích nếu nó nhanh hơn nhưng có lỗi tinh vi. Các đàn tác nhân của bạn kiểm tra, đánh giá, loại bỏ các thất bại và giữ lại các khám phá thành công như thế nào, và vòng phản hồi này quan trọng như thế nào để hệ thống thực sự tự cải thiện thay vì chỉ là một tác nhân mã AI?

Vòng phản hồi là yếu tố then chốt, vì một tối ưu hoá vô giá trị nếu nó chỉ đúng dưới các giả định cụ thể hoặc chỉ cho một phân phối đầu vào nhất định. Tại INT21, chúng tôi đảm bảo vòng phản hồi được thực hiện một cách nghiêm ngặt.

Chúng tôi bắt đầu từ mô hình, các ràng buộc triển khai và chỉ số phục vụ quan trọng. Sau đó, các đàn tác nhân tự cải thiện khám phá đồng thời các cấu hình và lộ trình tối ưu, và đánh giá mỗi ứng cử viên dựa trên tiêu chí đúng đắn và mục tiêu hiệu năng. Chỉ những triển khai hoạt động tốt mới được giữ lại.

Điều làm cho quá trình này thực sự tự cải thiện là dữ liệu xác thực tự nó được cải thiện. Dữ liệu đó được phản hồi lại vào các đàn tác nhân, giúp chúng tinh chỉnh hiểu biết về những gì hiệu quả, và liên tục khép kín vòng phản hồi. Nếu không có sự nghiêm ngặt này, bạn sẽ chỉ có một hệ thống với mã AI trông hợp lý có thể đưa ra nhanh hơn, nhưng với nợ kỹ thuật tích lũy một cách vô hình và làm suy giảm niềm tin vào những gì đang được xây dựng.

Tại NVIDIA, bạn đã làm việc trên các dự án bao gồm VibeTensor và Agentic Variation Operators, nơi các tác nhân tạo ra lượng lớn phần mềm hệ thống và tự động tìm kiếm các tối ưu hoá GPU. Những dự án đó đã tiết lộ gì về các loại vấn đề kỹ thuật mà các tác nhân AI đã có khả năng giải quyết, trong khi nhiều nhà phát triển vẫn cho rằng cần chuyên gia con người?

VibeTensor đã dạy tôi một điều tôi gọi là “Hiệu ứng Frankenstein”. AI thực hiện công việc đúng ở mọi cấp độ, nhưng khi bạn ghép tất cả các phần lại thành một hệ thống, nó vẫn chưa đạt được mức độ mà các chuyên gia con người có thể xây dựng.

Công việc của Agentic Variation Operators lại ngược lại. Nó cho thấy AI có thể vượt trội hơn các chuyên gia con người trong các vấn đề có phạm vi hẹp. Việc tạo kernel là một ví dụ tốt, vì vấn đề này hẹp, có thể đo lường và có một mục tiêu duy nhất.

“Hiệu ứng Frankenstein” chính là điều INT21 đang giải quyết. Các mẫu kỹ thuật từ Inference Engine Factory của chúng tôi vượt trội hơn các động cơ suy luận hiệu năng cao, mã nguồn mở như SGLang và vLLM, vì chúng tôi đã học cách cấu trúc vấn đề một cách đúng đắn. Chúng tôi cung cấp cho các tác nhân các ràng buộc rõ ràng, mục tiêu có thể đo lường và vòng phản hồi chặt chẽ. Các chuyên gia con người vẫn là yếu tố thiết yếu, nhưng thay vì thực hiện công việc tối ưu hoá, họ cung cấp chỉ đạo giá trị và giải thích kết quả. AI tăng cường tác động của chuyên gia bằng cách thực thi nhanh hơn và có hệ thống hơn bất kỳ con người nào có thể làm.

INT21 sử dụng nhiều tác nhân chuyên biệt thay vì dựa vào một tác nhân duy nhất với cửa sổ ngữ cảnh ngày càng lớn. Tại sao bạn cho rằng việc điều phối đa tác nhân là một cách tiếp cận mở rộng hơn cho các vấn đề kỹ thuật phức tạp, và các tác nhân chia công việc, chia sẻ khám phá, và tránh trùng lặp hoặc xung đột với nhau như thế nào?

Một cửa sổ ngữ cảnh lớn hơn cho phép bạn giữ nhiều thông tin cùng lúc, nhưng nó không giúp giải quyết các vấn đề đa chiều mà mọi thứ đều liên kết với nhau. Chúng tôi sử dụng một nền tảng đám mây gốc để chạy các tác nhân chuyên biệt, tất cả đều hướng tới cùng một mục tiêu có thể đo lường. Các tác nhân khám phá song song và liên tục hội tụ về các giải pháp mạnh hơn.

Điều này mở rộng hơn vì một số lý do. Thứ nhất, mỗi tác nhân luôn tập trung. Thứ hai, bạn không yêu cầu một tác nhân duy nhất phải suy luận về mọi thứ cùng lúc, vì vậy quy trình hiệu quả hơn. Cuối cùng, nó phản ánh cách các đội hạ tầng thực tế làm việc, mỗi đội sở hữu miền của mình, nhưng đồng bộ khi các quyết định ảnh hưởng lẫn nhau.

Nếu các đàn tác nhân trở nên có khả năng liên tục tối ưu các kernel, động cơ suy luận, trình biên dịch và các lớp khác của ngăn xếp AI, vai trò của kỹ sư hạ tầng sẽ thay đổi như thế nào? Bạn có mong đợi các hệ thống này chủ yếu giải quyết thiếu hụt kỹ sư chuyên biệt, hay cuối cùng sẽ tự động hoá một phần đáng kể của việc phát triển hạ tầng?

Công việc của một kỹ sư hạ tầng sẽ thay đổi hoàn toàn. Họ không còn phải mài mòn qua mã kernel và tinh chỉnh bộ nhớ nữa. Thay vào đó, họ sẽ đặt mục tiêu, định nghĩa không gian thiết kế, thiết lập ràng buộc và giải thích kết quả.

Theo thời gian, sẽ cần ít kỹ sư hạ tầng hơn để duy trì và cải thiện hệ thống. Tuy nhiên, công việc chiến lược còn lại sẽ trở nên có giá trị hơn, không phải ít hơn. Thực tế, điều này có nghĩa là các tổ chức có thể vận hành hạ tầng AI phức tạp với ít kỹ sư chuyên môn hơn nhiều so với hiện nay. Điều này quan trọng đối với mọi công ty đang cố gắng xây dựng các hệ thống AI sản xuất.

Tầm nhìn dài hạn của bạn là để các đàn tác nhân tự cải thiện hoạt động trên mọi lớp của hạ tầng AI. Nếu tầm nhìn này thành hiện thực, ngăn xếp sẽ trông như thế nào, và liệu chúng ta có thể đạt đến một điểm mà hạ tầng AI liên tục tự viết lại và tối ưu mình khi các mô hình, tải công việc và phần cứng thay đổi không?

Hiện tại, mỗi lớp của ngăn xếp AI tối ưu độc lập, từ các kernel cấp thấp đến các khung nền tảng, đến các giao diện. Nhưng chúng không phối hợp với nhau. Vì vậy, bạn có thể tối ưu một lớp, nhưng sau đó vô tình phá vỡ thứ gì đó ở lớp phía dưới.

Tại INT21, tầm nhìn là các đàn tác nhân có thể tự động phối hợp qua tất cả các lớp này, liên tục điều chỉnh và thích nghi. Khi một mô hình mới xuất hiện, toàn bộ ngăn xếp sẽ tối ưu lại cho nó, để hạ tầng không bao giờ tụt lại so với những gì đang chạy trên đó.

Điều này chưa khả thi, vì các kỹ sư con người không thể di chuyển đủ nhanh. Tuy nhiên, với các đàn tác nhân liên tục tối ưu, hạ tầng tự cải thiện đang nổi lên như một loại máy tính riêng biệt. Hạ tầng có thể thích nghi nhanh như các mô hình và phần cứng thay đổi sẽ chiến thắng. Mọi thứ khác trở thành gánh nặng.

Cảm ơn bạn đã tham gia phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập INT21.