Baidu julkaisee ERNIE 5.5 Flash Basen jatkokoulutusta varten

Baidun ERNIE-tiimi julkisti ERNIE-5.5-Flash-Basen 5. marraskuuta 2026 ja julkaisi ladattavat painot tekstipohjaiselle asiantuntijaseosmallille, jossa on yhteensä 280 miljardia parametria ja joka aktivoi 14 miljardia parametria tokenia kohden. Tarkistuspiste sisältää esikoulutuksen, mutta ei välikoulutusta eikä jälkikoulutusta, joten se tarjoaa kehittäjille yhteisen lähtökohdan toimialakohtaiseen mukauttamiseen, ohjeiden mukaiseen hienosäätöön ja vahvistusoppimisen tutkimukseen.

Julkaisu tarjoaa myös kiinteän vertailutason koulutusmenetelmien hallittuihin vertailuihin. Baidu ilmoitti, että tämän perusversion jälkeen julkaistaan jälkikoulutettu ERNIE 5.5 Flash -malli.

Arkkitehtuuri ja koulutusjärjestelmä

Mallikortin mukaan mallissa on 43 kerrosta, piilokerroksen leveys on 4 096 ja tarkkaavaisuuspäitä on 64. Kolmessakymmenessäseitsemässä kerroksessa käytetään voimakkaasti pakattua tarkkaavaisuutta: niiden välimuistissa on yksi tietue kutakin 128 tokenin lohkoa kohti sekä lyhyt ikkuna viimeisimpiä pakkaamattomia tokeneita. Kuudessa monipäisen latentti tarkkaavaisuus -kerroksessa säilyy token-tason pääsy koko kontekstiin, ja ne käyttävät indeksoijaa valitsemaan aiemmista kohdista korkeimmat pisteet saaneet. Baidun mukaan tämä harva valinta pitää ydintarkkaavaisuuden kustannuksen kyselyä kohti vakiona kontekstin kasvaessa.

Kaikissa muissa paitsi ensimmäisessä kerroksessa käytetään asiantuntijaseoslohkoa, jossa on 512 reititettyä asiantuntijaa, joista 10 aktivoidaan, sekä yksi jaettu asiantuntija. Asiantuntijat toimivat 2 048-ulotteisessa latentissa avaruudessa mallin koko piilokerroksen leveyden sijaan. Baidun mukaan tämä vähentää asiantuntijoiden reitityksen ja yhdistämisen tiedonsiirtoa sekä asiantuntijoiden liukulukuoperaatioita (FLOP) suunnilleen puoleen koko piilokerroksen levyisiä asiantuntijoita käytettäessä syntyvään määrään verrattuna. Rakenteeseen kuuluu myös neljä rinnakkaista jäännösvirtaa monistoon rajoitettujen hyperkytkentöjen kautta sekä MultiMax-ulostulopää, jossa on opittava paloittain määritelty lämpötilaparametri.

Esikoulutuksessa käytettiin 33,5 biljoonaa tokenia, Muon-optimointialgoritmia ja FP8-sekatarkkuutta. Koulutuksessa käytettyä kontekstia pidennettiin vähitellen 128 000 tokeniin; hienosäätö ja päättely tukevat miljoonaa tokenia. Monikielisen verkkodatan lisäksi aineisto sisältää koodia ja ohjelmistokehityksen tietueita, kuten commit-merkintöjä, tehtäviä, pull request -pyyntöjä, katselmointeja, luotuja testejä ja CI-järjestelmässä varmennettuja korjauksia. Pitkän kontekstin koulutuksessa hyödynnetään kuratoituja pitkiä asiakirjoja, jonoja, joissa on semanttisesti samankaltaisia häiriötekijöitä, sekä synteettistä haku- ja kysymysvastausdataa. Näiden valintojen ansiosta perusmalli soveltuu tietovarastotason päättelyyn, agenttimaiseen ohjelmistokehitykseen ja pitkien syötteiden käsittelyyn.

Mukana toimitettavassa FlashMask-tietovarastossa esitellään Hopper- ja Blackwell-grafiikkasuorittimille tarkoitetut tarkkaavaisuusytimet. Blackwell-kokoonpanoissa kyselyn ja avaimen pääulottuvuudet voivat olla enintään 576 ja arvon enintään 512. Baidu raportoi jopa 175 prosentin nopeutuksen eteenpäinlaskennassa ja 74 prosentin nopeutuksen takaisinkulussa verrattuna FlashAttention-4 MaskModiin SM100-laitteistolla. Hajautetussa Muon-järjestelmässä tiheiden parametrien ja MoE-parametrien synkronointi yhdistetään myös yhdeksi kollektiiviseksi operaatioksi, ja optimointialgoritmin tila jaetaan tasaisemmin solmujen kesken muuttamatta optimointialgoritmin tekemiä päivityksiä.

Baidun vertailutulokset

Baidu arvioi ERNIEä julkisesti julkaistujen DeepSeek-V4-Flash-Base-, Hy3-preview-Base- ja MiMo-V2.5-Base-tarkistuspisteiden rinnalla käyttäen samaa testauskehikkoa, kehotteita ja muutaman esimerkin sisältäviä syötteitä sekä samaa LLM-arvioijaa avoimen tekstin kysymysvastaustehtävissä. Baidun taulukosta valitut tulokset osoittavat, missä malli johtaa ja missä se jää jälkeen:

Baidun vertailu osoittaa, että tulokset riippuvat tehtävästä, eikä ERNIE johda kaikissa: ERNIE saa parhaat tulokset taulukossa esitetyissä MMLU- ja HumanEval+-testeissä, kun taas Hy3 johtaa FullStackBenchissä ja DeepSeek InfiniteBenchissä. Taulukko tukee Baidun arvioinnissa havaittua vahvaa suoriutumista kokeissa ja koodaustehtävissä, mutta tuo samalla esiin nämä poikkeukset.

Käyttöönotto ja lisenssiehdot

Ladattavat mallit ovat saatavilla FP8- ja BF16-safetensors-muodoissa. Mallikortissa kuvataan tuotantokäyttö SGLangin ja vLLM:n avulla completions-rajapinnan kautta, mikä vastaa tarkistuspisteen perusmallin asemaa. NVIDIAn Megatron Bridge -ohje sisältää ohjatun hienosäädön työnkulun, joka kattaa datan valmistelun, koulutuksen ja viennin takaisin Hugging Face -muotoon. Koko mallin ohjeessa käytetään 16 solmua, joissa kussakin on neljä GB300-grafiikkasuoritinta. NVIDIA on validoimassa ohjeet Blackwell GB200- ja GB300-järjestelmillä; komponentit tukevat Hopperia, mutta sitä ei ole validoitu.

Mukautettu ERNIE 5.5 Flash Base -mallin lisenssisopimus v1.0 asettaa alueellisia ja kaupallisia ehtoja. Sen soveltamisalueen ulkopuolelle jäävät Euroopan unioni, Yhdistynyt kuningaskunta ja Etelä-Korea, eikä sopimus anna lupaa esimerkiksi mallin käyttöön, muokkaamiseen tai jakeluun tämän alueen ulkopuolella. Ei-kaupallisesta käytöstä ei peritä mallilisenssimaksuja. Kaupallisessa käytössä, kun aiheeseen liittyvien tuotteiden tai palvelujen vuotuinen liikevaihto on enintään 50 miljoonaa dollaria, vaaditaan kertaluonteinen ilmoitus ja näkyvä ”Powered by ERNIE” -maininta. Tämän rajan ylittävässä käytössä tarvitaan Baidun erillinen kirjallinen ennakkolupa.

Sopimus kieltää myös lisensoitujen materiaalien, johdannaismallien tai niiden tuotosten käyttämisen sellaisen tekoäly- tai koneoppimisjärjestelmän parantamiseen, joka ei liity niihin. Rajoitus on merkityksellinen mallien tislauksen ja synteettisen datan työnkulkujen kannalta. Lisenssissä käsitellään näitä nimenomaisesti johdannaismallien määrittelyn ja tuotosten käyttöä koskevien rajoitusten yhteydessä.

ERNIE 5.5 Flash Base tarjoaa tutkijoille ja kehittäjille kiinteän tarkistuspisteen myöhempien koulutusmenetelmien testaamiseen ilman, että Baidun esikoulutusajoa tarvitsee toistaa. Mallin suunnittelussa keskitytään aktiivisen laskennan ja pitkän kontekstin kustannusten hallintaan, mutta julkaisun käytännön hyödynnettävyyttä rajoittavat täyden mallin hienosäätöön tarvittava laitteisto sekä lisenssi, joka rajoittaa käyttöä maantieteellisesti ja laajamittaisessa kaupallisessa toiminnassa sekä kyvykkyyden siirtämistä malleihin, jotka eivät liity siihen.