Baseten запускает Grid для маршрутизации и управления корпоративной разработкой с помощью ИИ

4 ноября 2026 года Baseten объявила о запуске Grid и открыла публичный предварительный доступ к своему уровню маршрутизации, шлюза и защитных механизмов для корпоративной разработки с помощью ИИ. По данным компании, на начальных тестах Baseten Router позволил почти на 70% снизить стоимость выполнения задачи при снижении качества на 0,9 процентного пункта по сравнению с Opus 5.5. Ранний доступ предоставляется по списку ожидания.

Маршрутизация с учетом не только стоимости токенов

Grid автоматизирует выбор, который разработчикам иначе пришлось бы делать самостоятельно: какая из одобренных моделей должна выполнять ту или иную задачу по программированию. Для каждого запроса Baseten Router оценивает одобренные организацией модели с открытым и закрытым исходным кодом и сопоставляет вероятную эффективность выполнения задачи с затратами.

Маршрутизатор учитывает не только стоимость токенов, но и затраты на повторные попытки, неудачные вызовы инструментов и неполные ответы. Его задача — снизить стоимость выполнения задачи, соблюдая требования команды к качеству и производительности. Автоматическая маршрутизация может быть ориентирована на экономию, интеллектуальные возможности или баланс между ними.

Организации также могут согласиться делиться трассировками, которые можно использовать для обучения пользовательских маршрутизаторов, обеспечивающих эффективность по Парето на конкретных рабочих нагрузках. Baseten заявила, что фактическая экономия будет зависеть от характера рабочей нагрузки и желаемого заказчиком баланса между стоимостью и качеством. Поэтому результаты тестов показывают потенциальный эффект, а не универсальное снижение затрат.

Чинтан Парих, руководитель инженерного подразделения Opendoor, заявил, что Grid объединила данные о внутренних расходах на ИИ и автоматически сократила эти расходы при минимальной потере качества. В Opendoor ИИ пользуются почти все, и большинство сотрудников не хотят самостоятельно выбирать модель.

Централизованный доступ без замены инструментов разработчика

Grid Gateway предоставляет административный уровень управления. Команды, отвечающие за платформу, могут одобрять модели, предоставлять доступ отдельным командам, устанавливать бюджеты и использовать учетные данные под управлением компании, отслеживая при этом использование моделей командами, приложениями и агентами. Панель управления показывает расходы по моделям, а также общие затраты, объем токенов, долю попаданий в кеш и сэкономленные средства.

На момент запуска Grid поддерживает модели OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock и Baseten. Разработчики могут подключить Claude Code, Codex, OpenCode и Pi с помощью одной команды настройки, а администраторы — автоматизировать конфигурацию через систему управления мобильными устройствами.

Внутренние приложения и агенты, использующие Anthropic или OpenAI API, можно подключить, изменив базовый URL и идентификатор модели. Благодаря этому существующее программное обеспечение будет работать через ту же конечную точку, и организациям не придется заменять уже используемые инструменты разработчика.

Команды, отвечающие за платформу, также могут назначить для каждой среды агента основную модель для программирования и более компактную фоновую модель для вспомогательных задач, например составления сводок. Разработчики получают эти настройки по умолчанию при первоначальной настройке и могут позднее сменить модели.

Общие защитные механизмы и инфраструктура инференса

Grid размещает на шлюзе настраиваемые политики безопасности и централизованно проверяет запросы и ответы. Политики можно адаптировать к разным рабочим нагрузкам, а в записях указывается, что именно было отмечено и как с этим поступили. Среди выявляемых рисков — документы со скрытыми инструкциями, перенаправляющими действия агентов, несанкционированные действия и появление данных клиентов там, где им не место.

Эти защитные механизмы отличаются от средств контроля выполнения. Проверки безопасности выявляют рискованные запросы и ответы, а средства контроля выполнения определяют, к чему агент может получить доступ и какие действия ему разрешено выполнять. Baseten заявила, что предприятиям необходимы оба уровня.

Под шлюзом платформа инференса Baseten отвечает за маршрутизацию, преобразование протоколов моделей и сред агентов, кеширование, масштабирование и оптимизацию. Если выбранную модель обслуживает Baseten, сеансы агента с продолжительным многоэтапным взаимодействием можно направлять в прогретый кеш ключей и значений, чтобы снизить их стоимость. Команды Baseten, занимающиеся исследованием производительности моделей, постобучением и инфраструктурой, также работают над пользовательскими ядрами, спекулятивным декодированием и тестами, которые должна пройти каждая модель перед выпуском.

После завершения предварительного тестирования Baseten планирует добавить поддержку передачи длительных задач агентам, размещенным в облаке, и координации нескольких агентов при выполнении сложных задач. Кроме того, планируются маршрутизация, настроенная с учетом данных и сценариев использования заказчиков, более широкие сигналы безопасности и поддержка собственных защитных механизмов заказчиков.

Таким образом, экономический результат следует оценивать по стоимости выполнения задачи с требуемым уровнем качества, а цена токенов — лишь один из учитываемых факторов. Поскольку заявленная экономия зависит от характера рабочей нагрузки, а ряд возможностей управления агентами пока только планируется, предварительное тестирование не дает ответа на вопрос, насколько стабильно эти результаты будут достигаться при реальной разработке программного обеспечения.