Baidu udostępnia ERNIE 5.5 Flash Base do dalszego trenowania

Zespół ERNIE firmy Baidu ogłosił model ERNIE-5.5-Flash-Base 5 listopada 2026 r., udostępniając do pobrania wagi tekstowego modelu typu mieszanka ekspertów, który ma łącznie 280 mld parametrów, z czego 14 mld jest aktywowanych dla każdego tokenu. Ten punkt kontrolny kończy etap wstępnego trenowania i poprzedza trenowanie pośrednie oraz potreningowe, dając programistom wspólny punkt wyjścia do adaptacji w określonej dziedzinie, dostrajania instrukcyjnego i badań nad uczeniem ze wzmocnieniem.

Wydanie zapewnia także stały punkt odniesienia do kontrolowanych porównań metod trenowania. Baidu poinformowało, że po tej wersji bazowej pojawi się potreningowy model ERNIE 5.5 Flash.

Architektura i system trenowania

Karta modelu podaje, że model ma 43 warstwy, rozmiar stanu ukrytego 4 096 i 64 głowice uwagi. W 37 warstwach zastosowano silnie skompresowaną uwagę: pamięć podręczna przechowuje jeden wpis na każdy blok 128 tokenów oraz krótkie okno ostatnich nieskompresowanych tokenów. Sześć warstw z wielogłowową uwagą latentną zachowuje dostęp do pełnego kontekstu na poziomie tokenów i wykorzystuje indeksator do wyboru wcześniejszych pozycji o najwyższych wynikach. Według Baidu ten rzadki wybór sprawia, że koszt podstawowej uwagi dla każdego zapytania pozostaje stały w miarę zwiększania kontekstu.

We wszystkich warstwach poza pierwszą zastosowano blok typu mieszanka ekspertów z 512 ekspertami wybieranymi przez router, z których aktywowanych jest 10, oraz jednym ekspertem współdzielonym. Eksperci działają w latentnej przestrzeni o 2 048 wymiarach, a nie w pełnej szerokości stanu ukrytego modelu. Baidu twierdzi, że w porównaniu z ekspertami działającymi w pełnej szerokości rozwiązanie to zmniejsza mniej więcej o połowę ruch związany z kierowaniem danych do ekspertów i łączeniem ich wyników, a także liczbę operacji zmiennoprzecinkowych wykonywanych przez ekspertów. Architektura obejmuje również cztery równoległe strumienie resztkowe z hiperpołączeniami ograniczonymi do rozmaitości oraz głowicę wyjściową MultiMax z uczoną, odcinkową temperaturą.

Do wstępnego trenowania wykorzystano 33,5 biliona tokenów, optymalizator Muon i mieszaną precyzję FP8. Kontekst używany podczas trenowania stopniowo wydłużano do 128 tys. tokenów; dostrajanie i wnioskowanie obsługują kontekst o długości 1 mln tokenów. Oprócz wielojęzycznych danych internetowych korpus obejmuje kod i zapisy prac nad oprogramowaniem, takie jak commity, zgłoszenia, żądania ściągnięcia, recenzje, wygenerowane testy oraz poprawki zweryfikowane przez CI. Do trenowania z długim kontekstem wykorzystano wyselekcjonowane obszerne dokumenty, sekwencje z dystraktorami o podobnym znaczeniu oraz syntetyczne dane do wyszukiwania informacji i odpowiadania na pytania. Dzięki tym rozwiązaniom wydanie modelu bazowego jest ukierunkowane na rozumowanie na poziomie repozytorium, agentowe tworzenie oprogramowania i obsługę długich danych wejściowych.

Dołączone repozytorium FlashMask zawiera dokumentację jąder uwagi dla procesorów graficznych Hopper i Blackwell; konfiguracje dla Blackwell obsługują wymiary głowic do 576 dla zapytania i klucza oraz do 512 dla wartości. Baidu podaje, że w porównaniu z FlashAttention-4 MaskMod na sprzęcie SM100 uzyskano wzrost szybkości do 175% w przebiegu w przód i 74% w przebiegu wstecz. Rozproszony system Muon łączy również synchronizację parametrów gęstych i parametrów modelu typu mieszanka ekspertów w jedną operację kolektywną oraz równomierniej rozkłada stan optymalizatora między węzłami, nie zmieniając aktualizacji wykonywanych przez optymalizator.

Wyniki testów porównawczych Baidu

Baidu oceniło ERNIE w porównaniu z publicznie udostępnionymi punktami kontrolnymi DeepSeek-V4-Flash-Base, Hy3-preview-Base i MiMo-V2.5-Base, używając tego samego zestawu narzędzi, promptów i przykładów few-shot, a także tego samego modelu LLM oceniającego odpowiedzi na pytania otwarte. Wybrane wyniki z tabeli pokazują, w których zadaniach model osiąga lepsze, a w których gorsze wyniki:

Porównanie Baidu zależy od rodzaju zadania i nie wskazuje na bezwzględną przewagę modelu: ERNIE osiąga lepsze wyniki w pokazanych testach MMLU i HumanEval+, Hy3 prowadzi w FullStackBench, a DeepSeek — w InfiniteBench. Tabela potwierdza wysokie wyniki w testach wiedzy i programowania w ramach ewaluacji Baidu, a jednocześnie uwzględnia te wyjątki.

Warunki wdrażania i licencji

Pliki do pobrania są dostępne w formatach safetensors FP8 i BF16. Karta modelu opisuje wdrożenie produkcyjne za pomocą SGLang i vLLM przez API completions, zgodne ze statusem punktu kontrolnego modelu bazowego. Przepis Megatron Bridge firmy NVIDIA dodaje proces dostrajania nadzorowanego, obejmujący przygotowanie danych, trenowanie i eksport z powrotem do formatu Hugging Face. Pełny przepis dla modelu wykorzystuje 16 węzłów, z których każdy jest wyposażony w cztery procesory graficzne GB300. NVIDIA weryfikuje te przepisy na systemach Blackwell GB200 i GB300; poszczególne komponenty obsługują Hopper, ale nie zostały na nim zweryfikowane.

Niestandardowa Umowa licencyjna modelu ERNIE 5.5 Flash Base w wersji 1.0 określa ograniczenia terytorialne i warunki komercyjnego użycia. Unia Europejska, Zjednoczone Królestwo i Korea Południowa są wyłączone z obszaru objętego licencją, a działania takie jak używanie, modyfikowanie i rozpowszechnianie poza tym obszarem nie są dozwolone. Użytek niekomercyjny nie wiąże się z opłatami licencyjnymi za model. W przypadku użytku komercyjnego, gdy roczne przychody z powiązanych produktów lub usług nie przekraczają 50 mln USD, wymagane jest jednorazowe powiadomienie oraz wyraźne oznaczenie „Obsługiwane przez ERNIE”. Po przekroczeniu tego progu użytkownicy muszą uzyskać odrębną uprzednią pisemną zgodę Baidu.

Umowa zabrania również wykorzystywania materiałów objętych licencją, modeli pochodnych ani ich wyników do ulepszania niezwiązanych z nimi systemów sztucznej inteligencji lub uczenia maszynowego. Ograniczenie to ma znaczenie w przypadku procesów destylacji i tworzenia danych syntetycznych, które licencja wyraźnie uwzględnia przy definiowaniu modeli pochodnych i ograniczeń dotyczących wykorzystania wyników.

ERNIE 5.5 Flash Base zapewnia badaczom i programistom niezmienny punkt kontrolny, umożliwiający testowanie późniejszych metod trenowania bez powtarzania wstępnego treningu Baidu. Projekt modelu koncentruje się na kontrolowaniu aktywnych obliczeń i kosztów obsługi długiego kontekstu, jednak praktyczne zastosowanie tego wydania ograniczają wymagania sprzętowe związane z dostrajaniem całego modelu oraz licencja, która ogranicza dostępność geograficzną, komercyjne wykorzystanie na większą skalę i przenoszenie możliwości modelu na niezwiązane z nim modele.