Bing Xu, Người sáng lập và Giám đốc Điều hành của INT21 – Chuỗi phỏng vấn

Bing Xu, Người sáng lập và Giám đốc Điều hành của INT21, là một kỹ sư hạ tầng AI và doanh nhân với kinh nghiệm sâu rộng trong tối ưu hoá GPU, hệ thống học máy và các tác nhân AI tự trị. Trước khi thành lập INT21 vào năm 2026, Xu từng là Kỹ sư Đặc biệt tại NVIDIA, nơi ông làm việc trên phát triển phần mềm dựa trên tác nhân và tạo ra nhiều thế hệ tác nhân lập trình, bao gồm các công trình đứng sau VibeTensor và AVO. Ông gia nhập NVIDIA sau khi công ty này mua lại HippoML, công ty khởi nghiệp về suy luận GPU mà ông sáng lập và lãnh đạo với vai trò CEO. Trước đó, Xu từng là Kỹ sư Phần mềm Cấp cao tại Meta, nơi ông tạo ra AITemplate và giúp cải thiện hiệu suất suy luận GPU trên các khối lượng công việc sản xuất, và đã giữ các vị trí kỹ thuật và nghiên cứu tại OctoML, Facebook AI, Apple và Turi. Sự nghiệp của ông luôn tập trung vào việc cải tiến phần mềm và hạ tầng nền tảng cho các hệ thống AI hiện đại.

INT21 đang xây dựng hạ tầng AI tự cải tiến được thiết kế để sử dụng các đàn tác nhân tự trị nhằm liên tục phát triển, kiểm thử, đánh giá chuẩn và tối ưu hoá phần mềm vận hành các khối tải AI. Hiện tại, trọng tâm của họ là Inference Engine Factory, một hệ thống sử dụng các tác nhân chuyên biệt để khám phá các chiến lược tối ưu hoá song song và xây dựng các engine suy luận hoàn chỉnh bao gồm các kernel CUDA và PTX, driver và hạ tầng phục vụ, với hiệu năng được xác thực trực tiếp trên phần cứng mục tiêu. Công nghệ của công ty được xây dựng trên SwarmOS, một nền tảng đám mây‑native cho phép số lượng lớn tác nhân phối hợp quanh các mục tiêu kỹ thuật có thể đo lường được đồng thời lưu giữ bằng chứng và bài học qua các thế hệ. INT21 ban đầu đã chứng minh cách tiếp cận này qua PTX Kernel Factory, nơi tạo và đánh giá các kernel GPU trên phần cứng NVIDIA Hopper và Blackwell; kể từ đó công ty đã chuyển nguồn tính toán sang tối ưu hoá các engine suy luận hoàn chỉnh.

Bạn đã thành lập INT21 sau khi liên tục gặp khó khăn trong việc tuyển dụng các kỹ sư hạ tầng chuyên môn đủ nhanh để xây dựng và tối ưu hoá các hệ thống AI. Điều gì thuyết phục bạn rằng giải pháp không chỉ là các công cụ phát triển tốt hơn, mà là các đàn tác nhân tự trị, tự cải tiến có khả năng tự thực hiện công việc này?

Đó là một vấn đề đã được biết đến rộng rãi: nhu cầu về nhân tài chuyên về hạ tầng AI trong các chuyên môn khác nhau vượt xa nguồn cung, và tôi đã trải nghiệm thách thức này trực tiếp. Điều đó đã thúc đẩy tôi xem xét các đàn tác nhân tự cải tiến như một lựa chọn. Trong vài năm qua, tôi đã làm việc trên các giải pháp AI tự cải tiến, và công nghệ hiện đang tiến nhanh đến mức các hệ thống này thực sự đủ khả năng để xây dựng, vận hành và tối ưu hoá hạ tầng một cách tự động.

Triết lý cốt lõi của INT21 là giống như con người, các tác nhân trở nên thông minh hơn nhờ kiến thức tích lũy. Điều này hoàn toàn khác biệt so với các công cụ phát triển truyền thống, vốn vẫn bị giới hạn bởi số giờ làm việc và các vấn đề mà con người có thể giải quyết. Việc sử dụng các đàn tác nhân tự cải tiến đồng nghĩa với việc chúng tôi nhanh hơn, chính xác hơn và hiệu quả hơn trong mỗi chu kỳ sản xuất. Vì các tác nhân của chúng tôi có khả năng và không bị ràng buộc bởi các khung công tác hiện có, chúng tôi có thể xây dựng các giải pháp ngay từ đầu cho từng khối tải cụ thể.

Trước khi thành lập INT21, bạn đã sáng lập HippoML, công ty đã được NVIDIA mua lại chỉ 14 tháng sau khi ra mắt, và sau đó bạn trở thành Kỹ sư Đặc biệt tại NVIDIA. Những trải nghiệm đó đã dạy bạn điều gì về các nút thắt trong hạ tầng AI mà cuối cùng đã định hình kiến trúc và sứ mệnh của INT21?

Tại HippoML, chúng tôi chuyên về suy luận AI sinh tạo hiệu năng cao, xây dựng các công cụ tối ưu hoá phần mềm để chạy các mô hình ngôn ngữ lớn nhanh hơn và hiệu quả hơn. Chúng tôi nhận ra rằng không thể mở rộng mà không dựa vào các nhà thầu tài năng từ Đông Âu và các khu vực khác, chỉ để bắt kịp nhu cầu tối ưu hoá suy luận AI.

Sau khi NVIDIA mua lại chúng tôi, tôi bắt đầu xây dựng một phương pháp phát triển dựa trên tác nhân bên trong công ty. Chúng tôi công bố nghiên cứu chứng minh rằng phần “harness” (lớp hạ tầng bao quanh một mô hình) thực sự quyết định hiệu năng của tác nhân, chứ không phải mô hình itself. Điều này cho thấy nút thắt thực sự trong hạ tầng AI không phải là việc tìm kiếm mô hình tốt hơn, mà là tối ưu hoá các hệ thống chạy chúng.

Khi các mô hình cải tiến, hạ tầng xung quanh chúng cũng phải mở rộng tương ứng. Tuy nhiên, các chu kỳ tối ưu hoá do con người thực hiện khó theo kịp. Bạn tối ưu một vòng lặp đào tạo cho một kiến trúc mô hình, triển khai nó, rồi nếu kiến trúc mô hình thay đổi hoặc một thế hệ GPU mới xuất hiện, bạn phải bắt đầu lại. Hiện nay dường như có một bản cập nhật mô hình mới mỗi tuần, cách tiếp cận cũ này không thể duy trì. Nhận thức này đã thuyết phục tôi rằng đột phá tiếp theo nằm ở hạ tầng tự cải tiến, và đã dẫn tôi thành lập INT21.

INT21 mô tả cách tiếp cận của mình là “hạ tầng tự cải tiến”, khá khác với việc cải tiến đệ quy tự thân nơi các nhà nghiên cứu cố gắng làm cho mô hình AI nền tảng mạnh hơn. Cách tiếp cận của bạn hoạt động như thế nào, và tại sao bạn tin rằng cải tiến các hệ thống xung quanh các mô hình hiện có có thể mang lại lợi ích đáng kể sớm hơn?

Cách tiếp cận cải tiến đệ quy tự thân tập trung vào việc đào tạo các mô hình độc quyền, thành lập các đội nghiên cứu và huy động vốn khổng lồ. Đó là một hành trình kéo dài hàng thập kỷ và tốn kém, vì bạn yêu cầu mô hình tự suy luận về quá trình đào tạo của chính nó.

Cách tiếp cận của chúng tôi khác. Tại INT21, chúng tôi không cố gắng cải thiện các mô hình tiên tiến, điều này sẽ mất nhiều năm và hàng tỷ vốn. Thay vào đó, chúng tôi xây dựng các đàn tác nhân để tối ưu hoá phần “harness”, lớp hạ tầng nằm giữa mô hình và hiệu năng. Đó là điều mà nghiên cứu của tôi tại Nvidia đã chứng minh: phần harness, chứ không phải mô hình, quyết định hiệu năng của tác nhân trong các nhiệm vụ phức tạp. Một tác nhân không cần hiểu khả năng của mô hình tiên tiến để đạt được mức tăng hiệu suất 10%. Nó chỉ cần khám phá không gian thiết kế, đo lường, xác thực và giữ lại những gì hiệu quả.

Cách để suy nghĩ về hai phương pháp khác nhau là: một cách giống như xây dựng một nhà máy điện, trong khi cách còn lại là xây dựng bằng điện đã có sẵn. Chúng tôi có thể di chuyển nhanh hơn và đáp ứng nhu cầu thực tế, cấp bách. Điều này đồng nghĩa với việc chúng tôi đã thấy những cải thiện đáng kể, có thể đo lường được trong hạ tầng tự cải tiến ngay hôm nay.

INT21 gần đây đã ra mắt Inference Engine Factory, mở rộng khái niệm từ các kernel GPU riêng lẻ sang các engine suy luận hoàn chỉnh. Điều này thực sự có nghĩa là gì khi một đàn tác nhân tự động xây dựng và tối ưu hoá một engine suy luận, và những phần nào của quá trình này truyền thống đã yêu cầu kiến thức chuyên môn con người sâu rộng nhất?

Một engine suy luận là phần mềm chạy mô hình trên phần cứng. Đó là một hệ thống phức tạp đưa ra hàng chục quyết định thiết kế đồng thời, chẳng hạn như các phép toán nào chạy cùng nhau trong một kernel duy nhất, hoặc cách lên lịch công việc trên các lõi. Các quyết định này liên kết với nhau, vì vậy nếu bạn thay đổi một yếu tố, bạn phải kiểm tra lại mọi thứ khác.

Truyền thống, một kỹ sư sẽ tự tay tinh chỉnh tất cả các yếu tố này cho mỗi mô hình. Đối với việc tạo video, âm nhạc và giọng nói, đây là một thách thức vì chúng là các kiến trúc đa giai đoạn, đa quy mô mà không có khung công cụ có sẵn. Các đàn tác nhân của INT21 xây dựng toàn bộ ngăn xếp từ đầu đến cuối, từ các kernel riêng lẻ tới engine suy luận đầy đủ. Các ngăn xếp tạo video và âm thanh của chúng tôi không cần kiểm duyệt mã bởi con người và vượt trội hơn các giải pháp suy luận hiện đại trong cùng các thiết lập đồng thời.

Your PTX Kernel Factory has produced implementations that outperform existing baselines by as much as 59% on certain workloads. At a technical level, where are the agents finding performance improvements that highly optimized human-written implementations or conventional compilers are missing?

PTX Kernel Factory của chúng tôi đã vượt qua baseline tốt nhất hiện có tới 59% so với KDA (Kimi Linear Attention). Điều này bắt nguồn từ việc các đàn tác nhân tự cải tiến của chúng tôi có thể mở rộng lên hàng nghìn biến thể trong một phần thời gian ngắn, một quy trình quá tốn công và chi phí đối với các kỹ sư con người.

Khác biệt là các kernel do con người viết dựa vào các ngôn ngữ chuyên ngành (DSL), mẫu và trình biên dịch được xây dựng trước cho GPU. DSL hoạt động tốt cho các mẫu phổ biến, nhưng khi gặp một khối tải mới như KDA, trình biên dịch đa năng thường không tối ưu. Các tác nhân của chúng tôi bỏ qua hoàn toàn các trừu tượng này, nghĩa là chúng không bị ràng buộc bởi giả định của DSL hay trình biên dịch. Tự do khám phá toàn bộ không gian thiết kế mà không bị khóa vào các mẫu định sẵn chính là nguồn gốc của cải tiến.

AI-generated infrastructure creates an unusual verification problem: an optimization is not useful if it is faster but subtly incorrect. How do your agent swarms test, benchmark, reject failures, and retain successful discoveries, and how important is this feedback loop to making the system genuinely self-improving rather than simply an AI coding agent?

Vòng phản hồi là yếu tố then chốt, vì một tối ưu hoá vô nghĩa nếu nó chỉ đúng dưới những giả định cụ thể hoặc chỉ cho một phân phối đầu vào nhất định. Tại INT21, chúng tôi đảm bảo vòng phản hồi được thực hiện một cách chặt chẽ.

Chúng tôi bắt đầu từ mô hình, các ràng buộc triển khai và chỉ số phục vụ quan trọng. Sau đó, các đàn tác nhân tự cải tiến đồng thời khám phá các cấu hình và lộ trình tối ưu hoá, và đánh giá mỗi ứng viên dựa trên tiêu chuẩn độ chính xác và mục tiêu hiệu năng. Chỉ những triển khai đáp ứng được yêu cầu mới được giữ lại.

Điều khiến quá trình này thực sự tự cải tiến là dữ liệu xác thực tự nó được cải thiện. Dữ liệu đó được đưa trở lại các đàn tác nhân, giúp chúng tinh chỉnh hiểu biết về những gì hiệu quả và liên tục hoàn thiện vòng phản hồi. Nếu thiếu sự chặt chẽ này, bạn chỉ có một hệ thống với mã AI trông hợp lý, có thể đưa ra nhanh hơn, nhưng sẽ tích tụ nợ kỹ thuật một cách ẩn và làm suy giảm niềm tin vào những gì đang được xây dựng.

At NVIDIA, you worked on projects including VibeTensor and Agentic Variation Operators, where agents generated substantial amounts of system software and autonomously searched for GPU optimizations. What did those projects reveal about the types of engineering problems AI agents are already capable of solving that many developers may still assume require human experts?

VibeTensor đã dạy tôi một điều tôi gọi là “Hiệu ứng Frankenstein”. AI thực hiện công việc đúng ở mọi cấp độ, nhưng khi ghép tất cả các phần lại thành một hệ thống, nó vẫn chưa đạt được mức độ mà các chuyên gia con người có thể xây dựng.

Công việc với Agentic Variation Operators lại ngược lại. Nó cho thấy AI có thể vượt trội hơn các chuyên gia con người trong các vấn đề có phạm vi hẹp. Việc tạo kernel là một ví dụ điển hình, vì vấn đề này hẹp, có thể đo lường và chỉ có một mục tiêu duy nhất.

“Hiệu ứng Frankenstein” chính là vấn đề mà INT21 đang giải quyết. Các mẫu kỹ thuật từ Inference Engine Factory của chúng tôi vượt trội hơn các engine suy luận hiệu năng cao, mã nguồn mở như SGLang và vLLM, vì chúng tôi đã học cách cấu trúc vấn đề một cách đúng đắn. Chúng tôi cung cấp cho các tác nhân các ràng buộc rõ ràng, mục tiêu có thể đo lường và vòng phản hồi chặt chẽ. Các chuyên gia con người vẫn là yếu tố thiết yếu, nhưng thay vì thực hiện công việc tối ưu, họ cung cấp hướng dẫn giá trị và giải thích kết quả. AI tăng cường tác động của chuyên gia bằng cách thực thi nhanh hơn và có hệ thống hơn bất kỳ con người nào có thể làm.

INT21 uses multiple specialized agents rather than relying on a single agent with an increasingly large context window. Why do you see multi-agent orchestration as a more scalable approach to complex engineering problems, and how do the agents divide work, share discoveries, and avoid duplicating or conflicting with one another?

Cửa sổ ngữ cảnh lớn hơn cho phép bạn giữ nhiều thông tin cùng lúc, nhưng không giúp giải quyết các vấn đề đa chiều mà mọi thứ liên kết với nhau. Chúng tôi sử dụng một nền tảng đám mây‑native để chạy các tác nhân chuyên biệt, tất cả đều hướng tới cùng một mục tiêu có thể đo lường được. Các tác nhân khám phá song song và liên tục hội tụ về các giải pháp mạnh hơn.

Điều này mở rộng quy mô vì một số lý do. Thứ nhất, mỗi tác nhân vẫn tập trung vào nhiệm vụ của mình. Thứ hai, bạn không yêu cầu một tác nhân duy nhất phải suy luận về mọi thứ cùng lúc, nên quy trình hiệu quả hơn. Cuối cùng, nó phản ánh cách các đội hạ tầng thực tế làm việc, mỗi đội sở hữu miền của mình, nhưng đồng bộ khi các quyết định ảnh hưởng lẫn nhau.

If agent swarms become capable of continuously optimizing kernels, inference engines, compilers, and other layers of the AI stack, how does the role of the infrastructure engineer change? Do you expect these systems primarily to address the shortage of specialized engineers, or eventually to automate a substantial portion of infrastructure development itself?

Công việc của một kỹ sư hạ tầng sẽ thay đổi hoàn toàn. Họ không còn phải mày mò qua mã kernel và tinh chỉnh bộ nhớ nữa.

Thay vào đó, họ sẽ thiết lập mục tiêu, định nghĩa không gian thiết kế, đưa ra các ràng buộc và giải thích kết quả.

Theo thời gian, sẽ cần ít kỹ sư hạ tầng hơn để duy trì và cải thiện hệ thống. Tuy nhiên, công việc chiến lược còn lại sẽ trở nên có giá trị hơn, chứ không phải ít hơn. Thực tế, điều này có nghĩa là các tổ chức có thể vận hành hạ tầng AI phức tạp với số lượng kỹ sư chuyên môn ít hơn đáng kể so với hiện nay. Điều này quan trọng đối với mọi công ty đang cố gắng xây dựng các hệ thống AI sản xuất.

Your long-term vision is for self-improving agent swarms to operate across every layer of AI infrastructure. What does that stack look like if this vision succeeds, and could we eventually reach a point where AI infrastructure continuously rewrites and optimizes itself as models, workloads, and hardware change?

Hiện tại, mỗi lớp của ngăn xếp AI được tối ưu hoá độc lập, từ các kernel cấp thấp tới các khung nền tảng, tới các giao diện. Tuy nhiên chúng không phối hợp với nhau. Vì vậy bạn có thể tối ưu một lớp, nhưng lại vô tình làm hỏng một phần khác ở downstream.

Tại INT21, tầm nhìn là các đàn tác nhân có thể tự động phối hợp qua tất cả các lớp này, liên tục điều chỉnh và thích nghi. Khi một mô hình mới xuất hiện, toàn bộ ngăn xếp sẽ được tối ưu lại cho nó, để hạ tầng không bao giờ tụt lại so với những gì đang chạy.

Điều này chưa khả thi vì các kỹ sư con người không thể di chuyển đủ nhanh. Tuy nhiên với các đàn tác nhân liên tục tối ưu hoá, hạ tầng tự cải tiến đang nổi lên như một danh mục tính toán riêng biệt. Hạ tầng có thể thích nghi nhanh như các mô hình và phần cứng sẽ thắng cuộc. Những thứ còn lại sẽ trở thành gánh nặng.

Cảm ơn bạn đã tham gia buổi phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập INT21.