Моделі та платформи ШІ
ERNIE Evolve від Baidu автоматизує дослідження ШІ та оптимізацію інференсу
Додайте Unite.AI до бажаних джерел у Google
Baidu представила ERNIE Evolve 9 листопада 2026 року й повідомила про кращі результати, ніж у відкритих порівняльних тестах за трьома метриками NanoChat і NanoGPT, а також про пропускну здатність на 33,7% вищу в одному тесті детермінованого інференсу ERNIE-5.5-Flash. Автоматизована система досліджень обирає напрями досліджень, редагує код ШІ та залишає лише ті вдосконалення, які проходять окреме оцінювання й перевірку.
В анонсі також ідеться про поточну роботу з інженерної оптимізації інференсу ERNIE-5.5-Flash, що перебуває в розробці. Система не просто пише код: вона обирає напрями досліджень, проводить тести й використовує як невдачі, так і успіхи, щоб спрямовувати подальші ітерації.
Цикл досліджень із незалежними перевірками
Отримавши репозиторій, ціль оптимізації та критерії оцінювання, ERNIE Evolve змінює код і проводить експерименти в ізольованих середовищах. Директор зовнішнього циклу обирає напрям і початкову версію, спираючись на Банк досвіду з результатами попередніх експериментів і Базу знань, що містить наукові статті, код із відкритим вихідним кодом і галузеві знання. У паралельних гілках зберігаються дерева версій-кандидатів; у кожній із них селектор обирає кандидата й гіпотезу, а виконавець реалізує зміну.
Рішення про прийняття залежить від незмінного оцінювача й окремого рецензента. Оцінювач працює поза репозиторієм, невидимий для агентів, відкидає зміни поза межами завдання та вимагає, щоб приріст перевищував поріг шуму. Рецензент перевіряє відповідність обраному напряму досліджень і відкидає спроби скористатися лазівками в оцінюванні. Кандидати, що відхиляються від цього напряму, не можуть стати найкращою версією.
Результати відкритих тестів і оприлюднений код
Baidu повідомляє про такі результати порівняно з відкритими показниками, використаними під час оцінювання:
| Завдання й умови | Метрика | ERNIE Evolve | Відкритий порівняльний результат |
|---|---|---|---|
| NanoChat AutoResearch, п’ятихвилинне навчання на одному B200 | Кількість бітів на байт під час валідації; менше — краще | 0.8763 | Середнє значення 0,887791 за 10 початковими значеннями |
| NanoGPT Speedrun Track 1, вісім графічних процесорів H100 | Час у секундах до втрат на валідаційній вибірці FineWeb на рівні 3,28; менше — краще | 38,92 секунди за 18 запусків | 39,9 секунди |
| NanoGPT Speedrun Track 3, незмінні дані, розмір пакета й архітектура | Кількість кроків до втрат на валідаційній вибірці FineWeb на рівні 3,28; менше — краще | 2 590 за вісім запусків | 2 690 за вісім запусків |
| SOL-ExecBench, 235 задач для ядер | Середня оцінка швидкодії відносно аналітичної межі пропускної здатності B200; більше — краще | 0.819 | Найкращий результат — 0,827 |
Для NanoChat ERNIE Evolve додала до нейронної мережі дві гілки передбачення: одна використовує статистику n-грам із навчального корпусу, а інша знаходить відповідні документи й робить прогнози на основі їхніх продовжень. Навчений механізм керування коригує співвідношення між гілками, враховуючи їхні результати на попередніх позиціях токенів.
У репозиторії з результатами опубліковано фінальний код і журнали вимірювань; у кожному журналі наведено виконаний код або його ідентифікатор SHA-256. Там перелічено сім артефактів ядер для SOL-ExecBench із результатами від 0,6669 до 0,9920; визначення завдань і дані робочих навантажень NVIDIA не поширюються.
Результат у рядку SOL-ExecBench уточнює загальну картину: ERNIE Evolve не показала найкращого результату за кожною з наведених метрик, хоча, згідно з порівнянням Baidu, у цьому завданні вона випередила Recursive та Hyra-1.0.
Оптимізація інференсу ERNIE-5.5-Flash
Baidu застосувала ERNIE Evolve для інференсу з малою затримкою на Kunlunxin P800, забезпечення пропускної здатності детермінованого інференсу на графічних процесорах і прискорення декодування за одним запитом. Більшість базових систем уже оптимізували інженери, а зміни мали пройти ті самі навантажувальні тести й перевірки правильності, що й робота, подана інженерами.
Для Kunlunxin P800 Baidu повідомляє, що за чотири раунди досліджень швидкість генерації зросла до 623,6% від базового рівня, а перевірки правильності було пройдено; модель і конфігурація розгортання не змінювалися. На ранніх етапах увімкнули об’єднані гіперзв’язки з обмеженнями на різноманіття та спекулятивне декодування, а потім зменшили накладні витрати на планування й синхронізацію на хості. У четвертому раунді виправлення диспетчеризації дало змогу використовувати шлях DeepEP із малою затримкою.
Для навчання з підкріпленням детерміноване завдання вимагало, щоб згенеровані токени й логарифмічні ймовірності збігалися до біта незалежно від складу пакета та відповідали результатам повторного обчислення для повної послідовності. Детермінований режим SGLang підтримує ці вимоги, фіксуючи порядок операцій редукції, але це обмежує завантаження графічного процесора. Baidu повідомляє, що приблизно за три дні роботи вдалося також скоротити середній час на вихідний токен на 26%, а час до першого токена — на 12%, зберігши детермінованість. Найбільший окремий приріст дало замінення детермінованої вибірки, на яку припадало близько 14% часу роботи графічного процесора на кожному кроці, ядром Triton, що паралельно обробляє фрагменти словника.
Для декодування GPU за одиничного запиту Baidu повідомляє про підвищення швидкості на 14,9% порівняно із сервісом, уже оптимізованим інженерами, без зміни точності. Три з семи напрямів досліджень дали приріст. Серед них — використання нативних інструкцій FP16 для множення матриць FP8 із менш ніж вісьмома вхідними рядками, а також заміна послідовного сканування експертів дворівневим планувальником суміші експертів.
Ці випробування також виявили суворіші обмеження щодо модулів і детермінованості, шум вимірювань, співмірний з окремими приростами, а також середовища, що охоплюють рушії інференсу, бібліотеки ядер, апаратні плагіни та сценарії запуску сервісів. Деякі корисні зміни давали приріст, менший за рівень шуму, тому їхню цінність потрібно було підтверджувати наскрізними навантажувальними тестами, а не ізольованими вимірюваннями ядер.
Baidu планує застосувати цей цикл для оптимізації систем навчання, а потім використовувати метрики можливостей моделей, щоб спрямовувати автоматизоване генерування гіпотез, розроблення експериментів і перевірку результатів. Довгострокова мета компанії — щоб ШІ виявляв прогалини у можливостях, а також створював і вдосконалював завдання для оцінювання.
Компанія наголошує, що рекурсивне самовдосконалення має залишатися під контролем людини й бути придатним до переривання, із чітко визначеними межами цілей, дозволів і ресурсів, постійним оцінюванням безпеки та наглядом людини. Перехід від фіксованих інженерних метрик до оцінювання можливостей моделей і розроблення бенчмарків робить ці механізми оцінювання та нагляду визначальними для того, наскільки далеко можна розширити дослідницький цикл.
