Modele și platforme AI

Cerebras aduce inferența dezagregată în producție cu ajutorul GPU-urilor

Theo Nash
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieCerebras a măsurat un debit de cinci ori mai mare pe megawatt prin mutarea procesării…
Vezi mai mult
  • Cerebras a măsurat un debit de cinci ori mai mare pe megawatt prin mutarea procesării prompturilor pe GPU-uri AMD.
  • Separarea prefill de decode permite SRAM-ului la scară de wafer să rămână dedicat generării de tokeni limitate de memorie.
  • Partenerii pot adopta un stack software complet sau un SDK doar pentru decode pentru propriile lor framework-uri.

Cerebras Systems a relatat la 17 noiembrie 2026 că implementarea sa în producție a inferenței dezagregate, în care procesarea prompturilor este atribuită GPU-urilor AMD Instinct, iar generarea răspunsurilor sistemelor CS-3, a oferit un debit per megawatt de cinci ori mai mare decât o configurație bazată exclusiv pe CS-3, fără a reduce viteza de generare a tokenurilor.

Rezultatul se aplică Cerebras Inference Cloud. Măsurătoarea a fost efectuată pe un punct final GPT-OSS-120B partajat, la 14 noiembrie 2026, comparând debitul per megawatt înainte și după activarea dezagregării și raportând configurația agregată la un nivel de referință de 1×. Transferarea procesării prompturilor către GPU-uri lasă disponibilă capacitatea sistemelor CS-3 de a genera răspunsuri, sporind capacitatea de inferență rapidă pe care Cerebras o poate oferi prin serviciul său cloud.

Dezvăluirea implementării în producție vine după explicația oferită de Cerebras la 1 octombrie 2026 despre inferența dezagregată, care relata un câștig de 5× în testele inițiale, cu aceeași amprentă a sistemului cu cip la scară de plachetă. Noul anunț depășește acel rezultat preliminar, prezentând o măsurătoare realizată în producție și un pachet de implementare pentru partenerii de infrastructură.

De ce separă Cerebras preumplerea de decodare

Fiecare cerere de inferență are două etape principale. Preumplerea procesează promptul de intrare și creează starea intermediară a modelului; decodarea folosește această stare pentru a produce tokenurile de ieșire unul câte unul, introducând fiecare token nou înapoi în model. Deoarece la fiecare etapă de decodare datele modelului sunt citite din nou din memorie, lățimea de bandă a memoriei este esențială pentru viteza generării interactive. În schimb, preumplerea efectuează mai multe calcule în paralel asupra promptului, fiind astfel mai potrivită pentru acceleratoarele adaptate acestui volum de lucru computațional.

Sistemele Cerebras la scară de plachetă stochează datele modelului în memoria SRAM integrată pe cip, în loc să se bazeze în principal pe memoria cu lățime de bandă mare din afara cipului. Cerebras afirmă că cipul său la scară de plachetă dispune de zeci de gigabyți de SRAM și de o lățime de bandă a memoriei de zeci de petabyți pe secundă — o capacitate SRAM de 350× mai mare și o lățime de bandă a memoriei de 5.400× mai mare decât cele ale unui GPU GB300 obișnuit. Această capacitate permite ca mai multe cereri simultane și straturi ale modelului să rămână direct pe cip, pentru o decodare rapidă.

Obiectivul economic este de a obține o capacitate mai mare de servire a clienților și un potențial de venituri mai ridicat cu același buget de energie în centrele de date cu constrângeri de alimentare. Cerebras menționează Muse, Copilot și Codex ca exemple de aplicații bazate pe agenți care se extind rapid și necesită răspunsuri foarte interactive; prin urmare, creșterea capacității trebuie să păstreze viteza de generare pentru a fi utilă acestor sarcini.

Arhitectura de implementare și software-ul

Partenerii de infrastructură pot utiliza o arhitectură de referință furnizată de Cerebras pentru a amplasa împreună acceleratoarele de preumplere alese de ei și sistemele Cerebras într-o rețea unificată. Apoi, au la dispoziție două modalități de integrare: o stivă software completă, concepută pentru a scurta timpul de lansare pe piață, sau un SDK exclusiv pentru decodare, destinat partenerilor care doresc mai mult control.

Stiva completă direcționează cererile între grupurile de preumplere și decodare și gestionează capacitatea și starea de funcționare a replicilor. Motorul său de preumplere poate rula motoare de inferență cu sursă deschisă, precum vLLM sau SGLang, în timp ce Cerebras furnizează motorul de decodare. KV Portal transferă starea intermediară a modelului între cele două motoare prin RDMA, inclusiv cache-urile cheie-valoare care păstrează contextul specific fiecărei cereri după preumplere.

Cu opțiunea exclusivă pentru decodare, partenerii își păstrează propriul cadru de inferență și propriul motor de preumplere, utilizând în același timp motorul de decodare Cerebras și KV Portal. SDK-ul include, de asemenea, o replică simulată pentru decodare și o integrare de referință cu un cadru de inferență dezagregată cu sursă deschisă și un motor de preumplere. Amazon Web Services, Fireworks AI, Gimlet Labs și General Compute sunt numiți drept parteneri cu acces timpuriu, iar Cerebras extinde accesul și la alți parteneri.

Obiectivul privind capacitatea

Cerebras intenționează să implementeze pe scară largă inferența dezagregată, la o capacitate de sute de megawați, atât în propriul cloud de inferență, cât și în implementările partenerilor, până la sfârșitul anului 2027. Acesta este un obiectiv de implementare, nu o capacitate deja operațională.

Prin urmare, anunțul îmbină o configurație cloud măsurată cu o soluție software destinată operatorilor externi. Întrebarea esențială pentru extinderea la scară mai mare este dacă avantajul de debit măsurat pe un singur punct final partajat poate fi reprodus cu acceleratoarele, cadrele software și dimensiunile de implementare alese de parteneri, pe măsură ce Cerebras urmărește această extindere mai amplă.

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.