Together AI внедряет непрерывную компиляцию в промышленный инференс

4 ноября 2026 года Together AI представила Polymorphic Inference, первым воплощением которой стала система Together Compiler. Эта система на основе агентов непрерывно адаптирует инференс к меняющимся моделям, трафику и оборудованию; она уже используется для многих ключевых промышленных задач инференса компании и на некоторых популярных бессерверных эндпоинтах.

По данным Together AI, менее чем за 24 часа компилятор обеспечил производительность от 1,3 до 3 раз выше, чем у тщательно оптимизированных решений с открытым исходным кодом, в тестах с Kimi K3, GLM 5.3, MiniMax M3.1-Flash и DeepSeek v4.1-Flash. Эти результаты отражают главную идею анонса: оптимизация может быть непрерывным поиском решений для конкретного развертывания, а не разовой ручной настройкой, зафиксированной при запуске.

Меняющиеся модели, трафик и оборудование

Polymorphic Inference — так Together AI называет инфраструктуру обслуживания моделей, которая адаптируется к ускорению выпуска новых моделей, разнообразию архитектур, изменению структуры трафика и требований к уровню обслуживания, а также к более частой смене оборудования. В отличие от неё, статический подход предполагает неизменную конфигурацию движка. Конфигурация, настроенная для одних условий, не обязательно подойдёт для других — особенно если меняются поведение модели и распределение запросов.

Наблюдения компании за работой систем в промышленной среде служат наглядными примерами. По данным Together AI, в рабочее время одной страны длина запросов достигала примерно 97 000 токенов против 70 000 в других регионах; кроме того, за две недели после выпуска одной модели длина запросов выросла на 80%, поскольку использование сместилось в сторону агентных нагрузок. Всплески активности клиентов также могут удваивать длину запросов и снижать долю попаданий в кэш, меняя условия, для которых настраивалась существующая конфигурация.

В анонсе также пересматривается прежний акцент Together AI на мегаядрах, объединяющих операции в одно ядро. После внедрения первых версий в промышленную эксплуатацию компания пришла к выводу, что объединение операций само по себе не является универсальной целью проектирования: для архитектур со смесью экспертов и динамических нагрузок могут потребоваться другие методы. Ядра, разработанные для фиксированного или случайного трафика, также могут быть неправильно настроены для промышленного трафика, где маршрутизация, зависящая от данных, влияет на то, какие оптимизации окажутся наиболее эффективными.

Как работает непрерывная компиляция

Together Compiler получает на вход структуру трафика, модель и оборудование, а затем использует агентов для генерации и измерения эффективности возможных оптимизаций движка инференса. Постоянно работающий движок загружает модель один раз и горячим способом перезагружает варианты прямого прохода, не перезапуская движок целиком. Параллельно работающие агенты генерируют варианты и обмениваются данными через доску сообщений; эксперименты остаются в очереди, пока другие агенты анализируют задачу или используют инструменты.

Два уровня измерений позволяют сбалансировать количество экспериментов и реалистичность результатов. Быстрые движки загружают часть слоёв, чтобы ускорить итерации и снизить разброс замеров; более медленные загружают больше слоёв, позволяя проверить, сохраняют ли варианты эффективность на реалистичных распределениях данных. Отдельная модель затрат объединяет характеристики оборудования, результаты микротестов и измерения прямых проходов, чтобы сузить пространство поиска конфигураций параллельных вычислений до того, как агенты потратят время на оптимизацию вариантов.

В технической статье говорится, что прежде чем внедрить лучшие варианты в систему обслуживания моделей, они проходят проверки на загрязнение кэша KV и качество выходных данных. Проверки выполняются после исчерпания бюджета на оптимизацию, когда окончательный исходный код готовят к интеграции в движок обслуживания.

В сравнении времени запуска, приведённом в публикации об анонсе, для последовательности действий, принятой за стандартную, указано 467 секунд до готовности к обслуживанию; с конфигурацией Together Compiler этот показатель составляет 9,0 секунды. Эти цифры отражают время запуска движка в ходе оптимизации, а не задержку обработки отдельного запроса, и помогают понять, почему горячая перезагрузка играет центральную роль в повышении пропускной способности экспериментов системы.

Масштаб оценки и доступ для клиентов

Для сравнения движков в статье использовались передовые конфигурации с открытым исходным кодом по состоянию на 30 октября 2026 года; при оценке влияния агентной оптимизации стратегию параллельных вычислений в базовом варианте оставили неизменной. Trainium2 стал оговорённым исключением из стандартной оценки: для него использовали синтетический набор данных с несколькими ходами, поскольку реализация пока не поддерживала более высокую степень параллелизма в пределах доступной ёмкости HBM.

По оценке Together AI, результаты оптимизации отчасти объясняются тем, что пропускная способность экспериментов в 252 раза выше, чем у базовых агентных систем оптимизации с рекурсивным самоулучшением.

Помимо инференса языковых моделей, в статье сообщается об ускорении в 1,5–6,4 раза на протестированных моделях погоды, биологии, временных рядов и уравнений в частных производных при сохранении побитово точных результатов в описанных оценках.

Конечные клиенты могут запросить ранний доступ в рамках ограниченного бета-тестирования. Together AI планирует добавить оптимизацию выделенных эндпоинтов в один клик. В исследовательскую дорожную карту компании также входят спекулятивное декодирование с адаптацией к предметной области, запросу, токену и нагрузке трафика, а также динамическая маршрутизация между рабочими узлами и конфигурациями развертывания для неоднородного бессерверного трафика.

Этот запуск ставит во главу угла стека инференса Together AI измерения для конкретного развертывания, а не поиск универсально оптимального ядра. Для клиентов главный вопрос сейчас — сможет ли ограниченная бета-версия воспроизвести заявленный прирост производительности на их собственных моделях, при их нагрузке и на их оборудовании, одновременно проходя те же проверки качества, — именно эту вариативность призвана учитывать Continuous Compilation.