Бінґ Сюй, засновник і CEO INT21 – серія інтерв’ю

Bing Xu, засновник і CEO INT21, є інженером AI‑інфраструктури та підприємцем з глибоким досвідом у оптимізації GPU, системах машинного навчання та автономних AI‑агентів. До заснування INT21 у 2026 році Сюй був Distinguished Engineer у NVIDIA, де працював над розробкою програмного забезпечення, керованого агентами, і створив кілька поколінь кодуючих агентів, включаючи роботу над VibeTensor та AVO. Він приєднався до NVIDIA після її придбання HippoML, стартапу з інференції на GPU, який він заснував і очолював як CEO. Раніше Сюй працював Senior Staff Software Engineer у Meta, де створив AITemplate і допоміг підвищити ефективність інференції на GPU у виробничих навантаженнях, а також займав інженерні та дослідницькі позиції в OctoML, Facebook AI, Apple і Turi. Його кар’єра постійно орієнтована на покращення програмного забезпечення та інфраструктури, що лежать в основі сучасних AI‑систем.

INT21 створює самовдоскональну AI‑інфраструктуру, розраховану на використання автономних рою агентів для безперервної розробки, тестування, бенчмаркінгу та оптимізації ПЗ, що живить AI‑навантаження. Наразі головний фокус – Inference Engine Factory, який за допомогою спеціалізованих агентів паралельно досліджує стратегії оптимізації та будує повні інференційні рушії, що охоплюють ядра CUDA і PTX, драйвери та інфраструктуру обслуговування, а продуктивність перевіряється безпосередньо на цільовому обладнанні. Технологія компанії базується на SwarmOS – хмарно‑нативній платформі, що дозволяє великій кількості агентів координуватися навколо вимірюваних інженерних цілей, зберігаючи докази та уроки між поколіннями. INT21 спочатку продемонструвала цей підхід через PTX Kernel Factory, який створював і бенчмаркував GPU‑ядра для апаратури NVIDIA Hopper і Blackwell; з того часу компанія перенаправила обчислювальні ресурси на оптимізацію повних інференційних рушіїв.

Ви заснували INT21 після того, як неодноразово стикалися з труднощами найму спеціалізованих інженерів інфраструктури досить швидко, щоб будувати та оптимізувати AI‑системи. Що переконало вас, що рішенням не є просто кращі інструменти розробника, а автономні, самовдосконалювані рої агентів, здатні виконувати цю роботу самостійно?

Це добре відома проблема: попит на таланти в галузі AI‑інфраструктури у різних спеціалізаціях значно перевищує пропозицію, і я сам стикався з цим. Саме це змусило мене розглянути самовдосконалювані рої агентів як варіант. За останні кілька років я працював над самовдосконалюваними AI‑рішеннями, і технологія розвивається настільки швидко, що ці системи тепер дійсно здатні автономно будувати, запускати та оптимізувати інфраструктуру.

Основна філософія INT21 полягає в тому, що, подібно до людей, агенти стають розумнішими завдяки накопиченому знанню. Це принципово відрізняється від традиційних інструментів розробника, які все ще обмежені кількістю годин, які хтось може працювати, і проблемами, які вони можуть фізично розв’язати. Використання самовдосконалюваних роїв агентів означає, що ми швидші, точніші та ефективніші з кожним виробничим циклом. Оскільки наші агенти не обмежені існуючими фреймворками, ми можемо будувати рішення з нуля для кожного конкретного навантаження.

До INT21 ви заснували HippoML, яку NVIDIA придбала лише за 14 місяців після запуску, а потім стали Distinguished Engineer у NVIDIA. Чого вас навчили ці досвіди про вузькі місця в AI‑інфраструктурі, які зрештою сформували архітектуру та місію INT21?

У HippoML ми спеціалізувалися на високопродуктивній інференції генеративного AI, створюючи інструменти оптимізації ПЗ для швидшого та ефективнішого запуску великих мовних моделей. Ми зрозуміли, що без залучення талановитих підрядників з Східної Європи та інших регіонів нам не вдасться масштабуватись, аби встигати за попитом на оптимізацію інференції.

Після того як NVIDIA нас придбала, я почав будувати підхід до розробки, заснований на агентах, всередині компанії. Ми опублікували дослідження, яке доводило, що саме «гармонізація» (інфраструктурний шар навколо моделі) визначає продуктивність агентів, а не сама модель. Це стало доказом того, що реальним вузьким місцем в AI‑інфраструктурі не є пошук кращих моделей, а оптимізація систем, які їх запускають.

Коли моделі покращуються, інфраструктура навколо них має масштабуватись відповідно. Але цикли оптимізації, керовані людьми, не встигають. Ви оптимізуєте цикл навчання для однієї архітектури, розгортаєте його, а коли архітектура змінюється або з’являється нове покоління GPU, доводиться починати спочатку. У сьогоднішніх умовах, коли щотижня з’являються нові оновлення моделей, такий підхід стає нерентабельним. Це усвідомлення переконало мене, що наступний прорив – у самовдосконалюваній інфраструктурі, що і привело до створення INT21.

INT21 описує свій підхід як «самовдосконалювана інфраструктура», що суттєво відрізняється від рекурсивного самовдосконалення, коли дослідники намагаються зробити саму модель AI більш здатною. Як працює ваш підхід і чому ви вважаєте, що поліпшення систем навколо існуючих моделей може принести значущі вигоди набагато швидше?

Підхід рекурсивного самовдосконалення орієнтується на навчання власних моделей, формування дослідницьких команд і залучення величезного капіталу. Це десятирічна, дороговартісна подорож, бо ви просите модель розмірковувати над власним процесом навчання.

Наш підхід інший. У INT21 ми не намагаємося покращувати передові моделі, що займе роки і мільярди доларів. Ми створюємо рої агентів, які оптимізують «гармонізацію» – інфраструктурний шар між моделлю та продуктивністю. Це те, що мої дослідження в Nvidia довели: саме гармонізація, а не модель, визначає продуктивність агентів у складних завданнях. Агенту не потрібно розуміти можливості передової моделі, щоб знайти 10 % підвищення ефективності. Достатньо досліджувати простір дизайну, вимірювати, валідувати та залишати те, що працює.

Порівняти два підходи можна так: один будує електростанцію, інший – будує на вже існуючій електриці. Ми можемо рухатись швидше і задовольняти реальний та негайний попит. І це означає, що вже сьогодні ми бачимо значні, вимірювані вигоди від самовдосконалюваної інфраструктури.

INT21 нещодавно запустила Inference Engine Factory, розширивши концепцію від окремих GPU‑ядр до повних інференційних рушіїв. Що саме означає, що рій агентів автономно будує та оптимізує інференційний рушій, і які частини цього процесу традиційно вимагали найбільш спеціалізованих людських знань?

Інференційний рушій – це програмне забезпечення, яке запускає модель на апаратурі. Це складна система, що одночасно приймає десятки дизайнерських рішень, наприклад, які операції виконувати разом в одному ядрі або як планувати роботу між ядрами. Ці рішення взаємопов’язані, тому зміна одного вимагає повторного тестування всього іншого.

Традиційно інженер вручну налаштовує все це для кожної моделі. Для генерації відео, музики та мови це особливо складно, бо це багатоступеневі, багатомасштабні архітектури без готових фреймворків. Рої агентів INT21 будують повний стек від окремих ядер до повного інференційного рушія. Наші стекі генерації відео та аудіо не потребують людського перегляду коду і перевершують найсучасніші інференційні рішення за однакових налаштувань конкурентності.

Ваш PTX Kernel Factory створив реалізації, які перевершують існуючі базові лінії до 59 % за певних навантажень. На технічному рівні, де саме агенти знаходять підвищення продуктивності, які пропускають сильно оптимізовані ручні реалізації або традиційні компілятори?

Наш PTX Kernel Factory перевершив найкращу доступну базову лінію до 59 % у порівнянні з KDA (Kimi Linear Attention). Це зводиться до того, що наші самовдосконалювані рої агентів можуть масштабуватись до тисяч варіантів за частину часу, що надто трудомістко і дорого для людських інженерів.

Різниця в тому, що ручні ядра базуються на доменно-специфічних мовах (DSL), шаблонах і компіляторах, попередньо створених для GPU. DSL добре працює для типових шаблонів, але коли ви стикаєтеся з новим навантаженням, наприклад KDA, універсальний компілятор часто не може досягти оптимальної продуктивності. Наші агенти обходять ці абстракції повністю, тому вони не обмежені припущеннями DSL чи компілятора. Така свобода досліджувати весь простір дизайну без прив’язки до заздалегідь визначених шаблонів і є джерелом підвищення.

AI‑генерована інфраструктура створює незвичну проблему верифікації: оптимізація не корисна, якщо вона швидша, але субтильно неправильна. Як ваші рої агентів тестують, бенчмаркують, відкидають невдачі та зберігають успішні відкриття, і наскільки важливий цей зворотний зв’язок для того, щоб система була справді самовдосконалюваною, а не просто AI‑кодуючим агентом?

Зворотний зв’язок критичний, бо оптимізація нічого не варта, якщо вона коректна лише за певних припущень або лише для певного розподілу вхідних даних. У INT21 ми забезпечуємо суворий зворотний зв’язок.

Ми починаємо з моделі, обмежень розгортання та метрики обслуговування, що має значення. Потім самовдосконалювані рої агентів одночасно досліджують конфігурації та шляхи оптимізації, оцінюючи кожного кандидата за критеріями правильності та продуктивності. Тільки ті реалізації, що працюють, зберігаються.

Те, що робить це справжньою самовдосконалюваною системою, – це постійне покращення даних валідації. Ці дані повертаються до роїв, які уточнюють своє розуміння того, що працює, і безперервно закривають цикл зворотного зв’язку. Без такої суворості ви просто отримали б систему з «правдоподібним» AI‑кодом, який може швидше доставлятись, але накопичує технічний борг, що невидимо підриває довіру до створеного.

У NVIDIA ви працювали над проєктами, включаючи VibeTensor та Agentic Variation Operators, де агенти створювали значні об’єми системного ПЗ та автономно шукали оптимізації GPU. Що ці проєкти розкрили про типи інженерних проблем, які AI‑агенти вже здатні вирішувати, а які багато розробників все ще вважають потребуючими людської експертизи?

VibeTensor навчив мене тому, що я назвав «ефектом Франкенштейна». AI виконував правильну роботу на кожному рівні, але коли з’єднували всі частини в одну систему, вона не досягала того, що могли би створити людські експерти.

Робота над Agentic Variation Operators була протилежною. Вона показала, що AI може перевершити людських експертів у вузько визначених задачах. Генерація ядер – хороший приклад, бо проблема вузька, вимірювана і має одну мету.

«Ефект Франкенштейна» – саме те, що INT21 вирішує. Інженерні зразки нашого Inference Engine Factory перевершують високопродуктивні відкриті інференційні рушії, такі як SGLang і vLLM, бо ми навчилися правильно структурувати задачу. Ми даємо агентам чіткі обмеження, вимірювані цілі та жорсткі цикли зворотного зв’язку. Людські експерти залишаються важливими, але замість того, щоб виконувати оптимізацію, вони надають напрямок і інтерпретують результати. AI підсилює вплив експерта, виконуючи роботу швидше та систематичніше, ніж будь‑хто з людей.

INT21 використовує кілька спеціалізованих агентів замість одного агента з дедалі більшим контекстним вікном. Чому ви вважаєте оркестрацію багатьох агентів більш масштабованим підходом до складних інженерних проблем, і як агенти ділять роботу, діляться відкриттями та уникають дублювання чи конфліктів між собою?

Більше контекстне вікно дозволяє тримати більше інформації одночасно, але не допомагає розв’язувати багатовимірні проблеми, де все взаємопов’язане. Ми використовуємо хмарно‑нативну платформу для запуску спеціалізованих агентів, які працюють над однією вимірюваною метою. Агенти досліджують паралельно і постійно збігаються до кращих рішень.

Це більш масштабовано з кількох причин. По‑перше, кожен агент зосереджений на своїй задачі. По‑друге, ви не змушуєте одного агента розмірковувати про все одразу, тому процес ефективніший. І, нарешті, це відображає реальну роботу інфраструктурних команд, де кожна команда відповідає за свою домену, а синхронізується, коли рішення впливають одна на одну.

Якщо рої агентів стануть здатними безперервно оптимізувати ядра, інференційні рушії, компілятори та інші шари AI‑стеку, як зміниться роль інженера інфраструктури? Чи вважаєте ви, що ці системи спочатку вирішуватимуть нестачу спеціалізованих інженерів, а згодом автоматизують значну частину розробки інфраструктури?

Роль інженера інфраструктури зміниться кардинально. Вони більше не будуть «копатися» в коді ядер і налаштуваннях пам’яті. Замість цього вони будуть встановлювати цілі, визначати простір дизайну, формувати обмеження та інтерпретувати результати.

З часом знадобиться менше інженерів, щоб підтримувати та покращувати системи. Проте стратегічна робота, яка залишиться, стане більш цінною, а не меншою. Практично це означає, що організації зможуть керувати складною AI‑інфраструктурою з набагато меншою кількістю спеціалізованих інженерів, ніж сьогодні. Це важливо для кожної компанії, яка прагне будувати виробничі AI‑системи.

Ваше довгострокове бачення – самовдосконалювані рої агентів, які працюватимуть на всіх рівнях AI‑інфраструктури. Яким виглядатиме цей стек, якщо бачення здійсниться, і чи можемо ми колись досягти того, що AI‑інфраструктура постійно переписує та оптимізує себе у міру зміни моделей, навантажень та апаратури?

Зараз кожен шар AI‑стеку оптимізується окремо: від низькорівневих ядер до фундаментальних фреймворків і інтерфейсів. Але вони не координуються між собою. Тож ви можете оптимізувати один шар, а випадково зламати інший нижче.

У INT21 візія полягає в тому, що рої агентів можуть автономно координуватися між усіма цими шарами, постійно коригуючись і адаптуючись. Коли з’являється нова модель, весь стек переоптимізується під неї, і інфраструктура ніколи не відстає від того, що на ній працює.

Раніше це було неможливо, бо людські інженери не встигають. Але з роєм агентів, що безперервно оптимізує, самовдосконалювана інфраструктура стає окремою категорією обчислень. Інфраструктура, яка може адаптуватися так швидко, як змінюються моделі та апаратура, переможе. Усе інше стане обтяжливим.

Дякуємо за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати INT21.