Модели и платформы ИИ
Baidu выпустила ERNIE 5.5 Flash Base для дальнейшего обучения
Добавьте Unite.AI в избранные источники в Google
5 ноября 2026 года команда ERNIE компании Baidu объявила о выпуске ERNIE-5.5-Flash-Base и предоставила для скачивания веса текстовой модели на основе смеси экспертов с 280 млрд параметров в общей сложности и 14 млрд активируемых на каждый токен. Этот чекпойнт завершает этап предварительного обучения, но не включает промежуточное или последующее обучение, поэтому разработчики получают единую отправную точку для адаптации к предметной области, настройки по инструкциям и исследований в области обучения с подкреплением.
Релиз также предоставляет фиксированную базовую модель для контролируемого сравнения методов обучения. Baidu сообщила, что после этой базовой версии выйдет модель ERNIE 5.5 Flash с последующим обучением.
Архитектура и система обучения
В карточке модели указаны 43 слоя, размер скрытого слоя 4 096 и 64 головы внимания. В 37 слоях применяется сильно сжатое внимание: в кэше хранится одна запись на каждый блок из 128 токенов, а также небольшое скользящее окно недавних несжатых токенов. Шесть слоёв многоголового латентного внимания сохраняют доступ к полному контексту на уровне токенов и используют индексатор для выбора предыдущих позиций с наивысшими оценками. По данным Baidu, такой разреженный отбор позволяет сохранять постоянными затраты на основное внимание для каждого запроса по мере увеличения контекста.
Во всех слоях, кроме первого, используется блок смеси экспертов с 512 маршрутизируемыми экспертами, из которых активируются 10, и одним общим экспертом. Эксперты работают в латентном пространстве размерностью 2 048, а не во всём пространстве скрытых представлений модели. По данным Baidu, по сравнению с экспертами, работающими на полной ширине, такой подход примерно вдвое сокращает обмен данными при распределении задач между экспертами и объединении их результатов, а также количество операций с плавающей запятой (FLOP) у экспертов. Архитектура также включает четыре параллельных остаточных потока с гиперсвязями, ограниченными многообразием, и выходную голову MultiMax с обучаемой кусочно-заданной температурой.
Для предварительного обучения использовались 33,5 трлн токенов, оптимизатор Muon и смешанная точность FP8. Контекст, использовавшийся при обучении, постепенно увеличивали до 128 тыс. токенов; тонкая настройка и инференс поддерживают до 1 млн токенов. Помимо многоязычных веб-данных, корпус включает код и записи процесса разработки программного обеспечения: коммиты, задачи, запросы на слияние, обзоры, автоматически сгенерированные тесты и исправления, проверенные с помощью CI. Для обучения работе с длинным контекстом используются отобранные длинные документы, последовательности с семантически похожими отвлекающими фрагментами, а также синтетические данные для поиска информации и ответов на вопросы. Благодаря этому базовая версия подходит для рассуждений на уровне репозиториев, агентной разработки программного обеспечения и обработки длинных входных данных.
В сопутствующем репозитории FlashMask описаны ядра внимания для графических процессоров Hopper и Blackwell; конфигурации для Blackwell поддерживают размерность головы до 576 для запросов и ключей и до 512 для значений. По данным Baidu, на оборудовании SM100 прирост скорости по сравнению с FlashAttention-4 MaskMod составляет до 175% на прямом проходе и 74% на обратном. Распределённая система Muon также объединяет синхронизацию плотных параметров и параметров смеси экспертов в одну коллективную операцию и равномернее распределяет состояние оптимизатора между узлами, не меняя обновления, выполняемые оптимизатором.
Результаты Baidu в бенчмарках
Baidu сравнила ERNIE с общедоступными чекпойнтами DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base, используя один и тот же тестовый стенд, промпты и примеры для обучения с несколькими примерами, а также одну и ту же модель-оценщик на базе большой языковой модели для ответов на вопросы в свободной форме. Выборочные результаты из таблицы показывают, в каких задачах модель лидирует, а в каких уступает:
| Бенчмарк | ERNIE 5.5 Flash | DeepSeek V4 Flash | Предварительная версия Hy3 | MiMo V2.5 |
|---|---|---|---|---|
| MMLU, точное совпадение при пяти примерах | 93.3 | 89.4 | 87.5 | 87.6 |
| HumanEval+, Pass@1 при одном примере | 82.3 | 69.5 | 78.0 | 74.4 |
| FullStackBench, Pass@1 при одном примере | 54.6 | 43.3 | 56.7 | 54.1 |
| InfiniteBench, среднее значение без примеров | 46.5 | 48.0 | 33.0 | 46.7 |
Сравнение Baidu зависит от типа задачи и не свидетельствует о безоговорочном превосходстве: ERNIE лидирует в представленных результатах MMLU и HumanEval+, тогда как в FullStackBench лидирует Hy3, а в InfiniteBench — DeepSeek. Таблица подтверждает высокие результаты модели Baidu в экзаменационных и программных задачах, но при этом показывает и эти исключения.
Развёртывание и условия лицензии
Модель доступна для скачивания в форматах safetensors FP8 и BF16. В карточке модели описано использование в производственной среде через SGLang и vLLM с API completions, что соответствует статусу чекпойнта базовой модели. Рецепт Megatron Bridge от NVIDIA добавляет процесс тонкой настройки с учителем, включающий подготовку данных, обучение и обратный экспорт в формат Hugging Face. Для обучения полной модели по этому рецепту требуется 16 узлов с четырьмя графическими процессорами GB300 на каждом. NVIDIA проверяет рецепты на системах Blackwell GB200 и GB300; компоненты поддерживают Hopper, однако на Hopper их не проверяли.
Специальное лицензионное соглашение на модель ERNIE 5.5 Flash Base, версия 1.0 устанавливает территориальные и коммерческие условия. В разрешённую территорию не входят Европейский союз, Великобритания и Южная Корея; деятельность за её пределами, включая использование, изменение и распространение, не разрешена. За некоммерческое использование плата за лицензию на модель не взимается. Для коммерческого использования при годовой выручке от связанных продуктов или услуг не более 50 млн долларов требуется однократно уведомить Baidu и обеспечить заметное указание «Работает на ERNIE». При превышении этого порога пользователям необходимо предварительное письменное разрешение Baidu.
Соглашение также запрещает использовать лицензированные материалы, производные модели или их выходные данные для улучшения не связанной с ними системы искусственного интеллекта или машинного обучения. Это ограничение важно для процессов дистилляции и создания синтетических данных: в лицензии они прямо упоминаются при определении производных моделей и ограничений на использование выходных данных.
ERNIE 5.5 Flash Base предоставляет исследователям и разработчикам фиксированную контрольную точку для тестирования последующих методов обучения без повторного запуска предварительного обучения Baidu. В модели особое внимание уделено контролю активных вычислений и затрат на обработку длинного контекста, однако возможности практического применения этого релиза ограничены оборудованием, необходимым для дообучения всей модели, а также лицензией, которая ограничивает географию использования, крупномасштабное коммерческое применение и перенос возможностей на не связанные с ней модели.
