Моделі та платформи ШІ
Baidu випускає ERNIE 5.5 Flash Base для подальшого навчання
Додайте Unite.AI до бажаних джерел у Google
Команда ERNIE компанії Baidu оголосила про ERNIE-5.5-Flash-Base 5 листопада 2026 року та опублікувала ваги для завантаження текстової моделі із сумішшю експертів, що має загалом 280 мільярдів параметрів і активує 14 мільярдів параметрів на токен. На цьому чекпойнті завершується попереднє навчання; середнього й подальшого етапів навчання він не проходив, тож розробники отримують спільну відправну точку для адаптації до предметної області, налаштування за інструкціями та досліджень із навчання з підкріпленням.
Реліз також забезпечує незмінну базову версію для контрольованого порівняння методів навчання. Baidu повідомила, що згодом випустить модель ERNIE 5.5 Flash, яка пройшла подальше навчання.
Архітектура та система навчання
У картці моделі зазначено, що вона має 43 шари, прихований розмір 4 096 і 64 голови уваги. У 37 шарах використовується сильно стиснена увага: кеш зберігає один запис на кожен блок із 128 токенів і коротке вікно останніх нестиснених токенів. Шість шарів багатоголової латентної уваги зберігають доступ до всього контексту на рівні токенів і використовують індексатор для вибору попередніх позицій із найвищими оцінками. За словами Baidu, такий розріджений вибір дає змогу підтримувати сталу вартість основної операції уваги для кожного запиту зі збільшенням контексту.
У всіх шарах, крім першого, використовується блок із сумішшю експертів: 512 експертів, між якими розподіляються дані, з яких активуються 10, а також один спільний експерт. Експерти працюють у латентному просторі розмірністю 2 048, а не на повній ширині прихованого шару моделі. За словами Baidu, порівняно з експертами повної ширини це приблизно вдвічі скорочує обсяг передавання даних до експертів і від них, а також кількість операцій із рухомою комою для експертів. Архітектура також передбачає чотири паралельні залишкові потоки через гіперзв’язки з обмеженнями на многовиді та вихідну головку MultiMax із навчуваною кусково-заданою температурою.
Для попереднього навчання використали 33,5 трильйона токенів, оптимізатор Muon і змішану точність FP8. Контекст під час навчання поступово збільшили до 128K токенів; налаштування та інференс підтримують 1 мільйон токенів. Окрім багатомовних вебданих, корпус містить код і записи процесу розробки програмного забезпечення, зокрема коміти, проблеми, запити на злиття, огляди, згенеровані тести та виправлення, перевірені за допомогою CI. Для навчання на довгому контексті використовують відібрані довгі документи, послідовності із семантично подібними відволікальними фрагментами, а також синтетичні дані для пошуку й відповідей на запитання. Завдяки такому підходу базовий реліз орієнтований на міркування на рівні репозиторіїв, агентну розробку програмного забезпечення та роботу з розширеними вхідними даними.
У супровідному репозиторії FlashMask описано ядра уваги для графічних процесорів Hopper і Blackwell; конфігурації для Blackwell підтримують розмірність головок до 576 для запиту й ключа та до 512 для значення. Baidu повідомляє про приріст швидкості до 175% під час прямого проходу й до 74% під час зворотного проходу порівняно з FlashAttention-4 MaskMod на обладнанні SM100. Розподілена система Muon також об’єднує синхронізацію щільних параметрів і параметрів суміші експертів в одну колективну операцію та рівномірніше розподіляє стан оптимізатора між вузлами, не змінюючи оновлень оптимізатора.
Результати тестування Baidu
Baidu оцінила ERNIE порівняно з публічно випущеними чекпойнтами DeepSeek-V4-Flash-Base, Hy3-preview-Base і MiMo-V2.5-Base, використовуючи однакову систему оцінювання, промпти й приклади для навчання в контексті, а також того самого суддю на основі великої мовної моделі для оцінювання відповідей на відкриті запитання. Вибрані результати з таблиці показують, у яких завданнях модель лідирує, а в яких відстає:
| Тест | ERNIE 5.5 Flash | DeepSeek V4 Flash | Hy3, попередня версія | MiMo V2.5 |
|---|---|---|---|---|
| MMLU, точний збіг із п’ятьма прикладами | 93.3 | 89.4 | 87.5 | 87.6 |
| HumanEval+, Pass@1 з одним прикладом | 82.3 | 69.5 | 78.0 | 74.4 |
| FullStackBench, Pass@1 з одним прикладом | 54.6 | 43.3 | 56.7 | 54.1 |
| InfiniteBench, середній результат без прикладів | 46.5 | 48.0 | 33.0 | 46.7 |
Порівняння Baidu залежить від типу завдання й не свідчить про беззаперечну перевагу в усіх тестах: ERNIE демонструє найкращі результати в наведених тестах MMLU та HumanEval+, тоді як у FullStackBench лідирує Hy3, а в InfiniteBench — DeepSeek. Таблиця свідчить про сильні результати в тестах на знання й програмування за оцінюванням Baidu, водночас показуючи й ці винятки.
Умови розгортання та ліцензії
Завантажити можна файли у форматах safetensors із точністю FP8 і BF16. У картці моделі описано обслуговування у виробничому середовищі за допомогою SGLang і vLLM через API completions, що відповідає статусу чекпойнта базової моделі. Рецепт Megatron Bridge від NVIDIA додає робочий процес контрольованого донавчання, що охоплює підготовку даних, навчання та експорт назад у формат Hugging Face. Для рецепта повної моделі потрібні 16 вузлів, на кожному з яких встановлено чотири графічні процесори GB300. NVIDIA перевіряє рецепти на системах Blackwell GB200 і GB300; компоненти підтримують Hopper, але для Hopper їх не перевіряли.
Спеціальна ліцензійна угода на модель ERNIE 5.5 Flash Base, версія 1.0, встановлює територіальні та комерційні умови. До дозволеної території не входять Європейський Союз, Велика Британія та Південна Корея; діяльність, зокрема використання, модифікація й розповсюдження за межами цієї території, не дозволена. За некомерційне використання плата за ліцензію на модель не стягується. Для комерційного використання, якщо річний дохід від пов’язаних продуктів або послуг становить не більше ніж 50 мільйонів доларів США, потрібне одноразове повідомлення та помітне зазначення «Powered by ERNIE». Якщо дохід перевищує цей поріг, користувачам потрібен окремий попередній письмовий дозвіл Baidu.
Угода також забороняє використовувати ліцензовані матеріали, похідні моделі або їхні результати для вдосконалення не пов’язаної з ними системи ШІ чи машинного навчання. Це обмеження важливе для дистиляції та робочих процесів із синтетичними даними, які ліцензія прямо враховує, визначаючи похідні моделі й обмеження на використання результатів.
ERNIE 5.5 Flash Base надає дослідникам і розробникам фіксовану контрольну точку для тестування подальших методів навчання без повторення циклу попереднього навчання Baidu. Її архітектура зосереджена на контролі активних обчислень і витрат на роботу з довгим контекстом, однак практичне застосування моделі обмежують апаратне забезпечення, потрібне для повного донавчання моделі, та ліцензія, яка обмежує географію використання, масштабнішу комерційну діяльність і передавання можливостей не пов’язаним із нею моделям.
