Baseten запускає Grid для маршрутизації та управління корпоративним програмуванням за допомогою ШІ

4 листопада 2026 року Baseten оголосила про запуск Grid і відкрила публічний попередній доступ до свого рівня маршрутизації, шлюзу та захисних механізмів для корпоративного програмування за допомогою ШІ. Компанія повідомила, що на початкових тестах Baseten Router забезпечив майже 70% економії витрат на одне завдання за компромісу щодо якості на рівні 0,9 відсоткового пункта порівняно з Opus 5.5; ранній доступ надається через список очікування.

Маршрутизація з урахуванням не лише вартості токенів

Grid автоматизує вибір, який розробникам інакше довелося б робити самостійно: яку схвалену модель призначити для кожного завдання з програмування. Для кожного запиту Baseten Router оцінює доступні організації варіанти моделей із відкритим і закритим кодом та зважує ймовірну ефективність виконання завдання з огляду на вартість.

Маршрутизатор не просто ранжує моделі за вартістю токенів, а й враховує витрати на повторні спроби, невдалі виклики інструментів і неповні відповіді. Його мета — зменшити вартість виконання завдання, дотримуючись вимог команди до якості та продуктивності. Автоматичні маршрути можуть бути орієнтовані на економію, інтелектуальні можливості або баланс між ними.

Організації також можуть погодитися на передавання трасувань, які можна використовувати для навчання спеціалізованих маршрутизаторів, оптимізованих за Парето для їхніх конкретних робочих навантажень. За словами Baseten, точний розмір економії залежатиме від характеру робочого навантаження та бажаного для клієнта балансу між вартістю і якістю, тож результати тестування свідчать про потенціал, а не про універсальне скорочення витрат.

Чінтан Паріх, керівник інженерного підрозділу Opendoor, заявив, що Grid об’єднав дані про внутрішні витрати на ШІ та автоматично скоротив ці витрати з мінімальною втратою якості. В Opendoor ШІ користується майже кожен, і більшість працівників не хочуть самостійно вирішувати, яку модель обрати.

Централізований доступ без зміни інструментів розробників

Grid Gateway забезпечує адміністративний рівень. Команди платформи можуть схвалювати моделі, надавати доступ на рівні команд, встановлювати бюджети й використовувати облікові дані, якими керує компанія, водночас відстежуючи використання сервісу командами, застосунками та агентами. На інформаційній панелі витрати розподілено за моделями; також відображаються загальні витрати, обсяг токенів, частка влучань у кеш і заощаджені кошти.

На момент запуску Grid підтримує моделі від OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock і Baseten. Розробники можуть під’єднати Claude Code, Codex, OpenCode і Pi за допомогою однієї команди налаштування, а адміністратори — автоматизувати конфігурацію через систему керування мобільними пристроями.

Внутрішні застосунки й агенти, що використовують Anthropic або OpenAI API, можна під’єднати, змінивши базову URL-адресу та ідентифікатор моделі. Так наявне програмне забезпечення переходить під керування тієї самої кінцевої точки, і організаціям не потрібно замінювати усталені інструменти розробки.

Команди платформи також можуть призначити для кожного середовища виконання за замовчуванням основну модель для програмування та меншу фонову модель для допоміжних завдань, як-от створення підсумків. Розробники отримують ці налаштування за замовчуванням під час початкового налаштування й можуть змінити моделі пізніше.

Спільні захисні механізми та інфраструктура виведення

Grid розміщує на шлюзі налаштовувані політики безпеки, централізовано перевіряючи запити й відповіді. Політики можуть відрізнятися залежно від робочого навантаження, а в журналах зазначається, що саме було позначено та як на це відреагували. Серед визначених ризиків — документи з прихованими інструкціями, які спрямовують агентів в інший бік, несанкціоновані дії та поява інформації про клієнтів там, де їй не місце.

Ці захисні механізми відрізняються від засобів контролю виконання. Перевірки безпеки виявляють ризиковані запити й відповіді, тоді як засоби контролю виконання визначають, до чого агент може отримати доступ і які дії може виконувати. За словами Baseten, підприємствам потрібні обидва рівні.

На нижчому рівні, під шлюзом, платформа інференсу Baseten забезпечує маршрутизацію, перетворення протоколів між моделями та середовищами виконання, кешування, масштабування й оптимізацію. Коли Baseten обслуговує вибрану модель, тривалі багатокрокові сеанси агентів можна спрямовувати до прогрітого кешу ключів і значень, щоб зменшити їхню вартість. Команди Baseten, що займаються дослідженням продуктивності моделей, посттренуванням та інфраструктурою, також працюють над спеціалізованими ядрами, спекулятивним декодуванням і оцінюваннями, які кожна модель має пройти перед випуском.

Після завершення попереднього доступу Baseten планує додати підтримку передавання триваліших завдань агентам, розміщеним у хмарі, та координації кількох агентів для виконання складних завдань. Також планується налаштування маршрутизації відповідно до даних і сценаріїв використання клієнтів, розширення сигналів безпеки та підтримка власних захисних механізмів клієнтів.

Отже, економічну ефективність слід оцінювати за вартістю виконаного завдання з потрібним рівнем якості, а ціна токенів — лише один із чинників. Оскільки заявлена економія залежить від характеру робочого навантаження, а низка можливостей керування агентами досі лише планується, після попереднього доступу лишається відкритим питання, наскільки стабільно результати тестування відтворюватимуться під час програмування у виробничому середовищі.