Модели и платформы ИИ
ERNIE Evolve от Baidu автоматизирует исследования в области ИИ и оптимизацию инференса
Добавьте Unite.AI в избранные источники в Google
Baidu представила ERNIE Evolve 9 ноября 2026 года и сообщила, что система превзошла опубликованные результаты сравнения по трём метрикам NanoChat и NanoGPT, а в одном тесте детерминированного инференса ERNIE-5.5-Flash обеспечила пропускную способность на 33,7% выше. Автоматизированная исследовательская система выбирает направления исследований, редактирует код для ИИ и сохраняет только те улучшения, которые проходят отдельные этапы оценки и проверки.
В анонсе также рассказывается о текущей работе по оптимизации инференса разрабатываемой модели ERNIE-5.5-Flash. Система не просто пишет код: она выбирает направления исследований, проводит тесты и использует как неудачи, так и успехи, чтобы направлять последующие итерации.
Исследовательский цикл с независимыми проверками
Получив репозиторий, цель оптимизации и критерии оценки, ERNIE Evolve изменяет код и проводит эксперименты в изолированных средах. Директор внешнего цикла выбирает направление и исходную версию, опираясь на банк опыта с результатами предыдущих экспериментов и базу знаний, содержащую научные статьи, код с открытым исходным кодом и отраслевые знания. В параллельных потоках хранятся деревья возможных версий; в каждом потоке селектор выбирает вариант и гипотезу, а исполнитель вносит изменение.
Решение о принятии зависит от неизменяемого оценщика и отдельного рецензента. Оценщик находится за пределами репозитория, невидим для агентов, исключает изменения, не относящиеся к задаче, и требует, чтобы улучшение превышало порог шума. Рецензент проверяет, соответствует ли работа выбранному направлению исследований, и отбрасывает попытки воспользоваться лазейками в оценке. Варианты, отклоняющиеся от заданного направления, не могут стать лучшей версией.
Результаты публичных тестов и опубликованный код
По данным Baidu, в сравнении с опубликованными результатами, использованными при оценке, получены следующие результаты:
| Задача и условия | Метрика | ERNIE Evolve | Публичный результат сравнения |
|---|---|---|---|
| NanoChat AutoResearch, обучение в течение пяти минут на одном B200 | Проверочные биты на байт; чем меньше, тем лучше | 0.8763 | среднее значение 0,887791 по 10 случайным инициализациям |
| NanoGPT, скоростной забег, категория 1, восемь графических процессоров H100 | Время в секундах до достижения значения функции потерь 3,28 на проверочной выборке FineWeb; чем меньше, тем лучше | 38,92 секунды в 18 запусках | 39,9 секунды |
| NanoGPT, скоростной забег, категория 3, фиксированные данные, размер пакета и архитектура | Количество шагов до достижения значения функции потерь 3,28 на проверочной выборке FineWeb; чем меньше, тем лучше | 2 590 в восьми запусках | 2 690 в восьми запусках |
| SOL-ExecBench, 235 задач на написание ядер | Средний показатель производительности относительно аналитической модели предельной производительности B200; чем выше, тем лучше | 0.819 | Лидирующий результат — 0,827 |
В NanoChat ERNIE Evolve добавила к нейросети две ветви предсказания: одна использует статистику n-грамм из обучающего корпуса, а другая находит подходящие документы и строит предсказания на основе их продолжений. Обучаемый шлюз настраивает соотношение между ветвями с учетом их результатов на предыдущих позициях токенов.
В репозитории с результатами опубликованы итоговый код и журналы измерений; в каждом журнале содержится выполненный код или указан его SHA-256. В репозитории перечислены семь артефактов ядер SOL-ExecBench с результатами от 0,6669 до 0,9920; определения задач и данные о нагрузках NVIDIA не распространяются.
Строка SOL-ExecBench уточняет общую картину результатов: ERNIE Evolve лидировала не по каждой из перечисленных метрик, хотя в сравнении Baidu по этой задаче она опережает Recursive и Hyra-1.0.
Оптимизация инференса для ERNIE-5.5-Flash
Baidu применила ERNIE Evolve для оптимизации инференса с низкой задержкой на Kunlunxin P800, пропускной способности детерминированного инференса на графических процессорах и скорости декодирования для одиночного запроса. Большинство базовых систем уже были оптимизированы инженерами, а изменения должны были пройти те же нагрузочные тесты и проверки корректности, что и решения, предложенные инженерами.
По данным Baidu, на Kunlunxin P800 четыре раунда исследований увеличили скорость генерации до 623,6% от базового уровня при успешном прохождении проверок корректности; модель и конфигурация развертывания при этом не менялись. На ранних этапах были добавлены объединенные гиперсвязи с ограничением на многообразие и спекулятивное декодирование, после чего удалось снизить накладные расходы на планирование и синхронизацию на стороне хоста. Исправление диспетчеризации в четвертом раунде позволило задействовать путь DeepEP с низкой задержкой.
Для обучения с подкреплением требовалось, чтобы сгенерированные токены и логарифмы вероятностей побитово совпадали независимо от состава пакета, а также соответствовали результатам повторного вычисления для полной последовательности. Детерминированный режим SGLang поддерживает эти требования за счет фиксированного порядка редукции, однако это ограничивает загрузку графических процессоров. По данным Baidu, примерно за три дня работы удалось также сократить среднее время обработки одного выходного токена на 26%, а время до появления первого токена — на 12%, сохранив детерминизм. Наибольший отдельный прирост обеспечила замена детерминированной выборки, на которую приходилось около 14% времени работы графического процессора за шаг, ядром Triton, обрабатывающим фрагменты словаря параллельно.
При декодировании на GPU для одного запроса Baidu сообщает об увеличении скорости на 14,9% по сравнению с сервисом, уже оптимизированным инженерами, при неизменной точности. Улучшения дали три из семи направлений исследований. Среди них — использование встроенных инструкций FP16 для умножения матриц FP8, если число входных строк меньше восьми, и замена последовательного перебора экспертов двухуровневым планировщиком смеси экспертов.
Эти испытания также выявили более строгие ограничения на модули и детерминизм, уровень шума измерений, сопоставимый с отдельными улучшениями, а также разнообразие сред: движки инференса, библиотеки ядер, аппаратные плагины и скрипты запуска сервисов. Некоторые полезные изменения давали эффект меньше уровня шума, поэтому их ценность нужно было подтверждать сквозными нагрузочными тестами, а не изолированными измерениями производительности ядер.
Baidu планирует применить этот цикл для оптимизации систем обучения, а затем использовать метрики возможностей моделей, чтобы направлять автоматическую генерацию гипотез, разработку экспериментов и проверку результатов. В долгосрочной перспективе компания стремится к тому, чтобы ИИ выявлял пробелы в возможностях, а также генерировал и совершенствовал задачи для оценки.
Компания заявляет, что рекурсивное самоулучшение должно оставаться под контролем человека и быть прерываемым, а его цели, разрешения и ресурсы должны иметь чёткие границы; кроме того, необходимы непрерывная оценка безопасности и надзор со стороны человека. Переход от фиксированных инженерных метрик к оценке возможностей моделей и разработке бенчмарков делает эти механизмы оценки и надзора ключевым условием расширения исследовательского цикла.
