AI-mallit ja alustat

Cerebras tuo eriytetyn päättelyn tuotantokäyttöön grafiikkasuorittimien avulla

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatCerebras mittasi viisi kertaa suuremman läpimenon megawattia kohden siirtämällä…
Näytä lisää
  • Cerebras mittasi viisi kertaa suuremman läpimenon megawattia kohden siirtämällä kehotteiden käsittelyn AMD:n GPU:ille.
  • Prefillin erottaminen dekoodauksesta antaa wafer-mittakaavan SRAM:n pysyä omistettuna muistirajoitteiselle tokenien tuottamiselle.
  • Kumppanit voivat ottaa käyttöön täyden ohjelmistopinon tai vain dekoodaukseen tarkoitetun SDK:n omiin kehyksiinsä.

Cerebras Systems kertoi 17. marraskuuta 2026, että sen tuotantokäyttöön otettu eriytetyn päättelyn toteutus, jossa kehotteiden käsittely on AMD Instinct -grafiikkasuorittimien ja vastausten tuottaminen CS-3-järjestelmien vastuulla, saavutti viisinkertaisen läpimenon megawattia kohti CS-3-järjestelmiin perustuvaan kokoonpanoon verrattuna ilman, että tokenien tuottamisnopeus hidastui.

Tulos koskee Cerebras Inference Cloudia. Mittaus tehtiin jaetulla GPT-OSS-120B-päätepisteellä 14. marraskuuta 2026. Siinä verrattiin läpimenoa megawattia kohti ennen eriyttämisen käyttöönottoa ja sen jälkeen, ja yhdistetyn kokoonpanon tulos suhteutettiin 1×:n vertailutasoon. Kun kehotteiden käsittely siirretään grafiikkasuorittimille, CS-3-järjestelmien palvelukapasiteetti jää vastausten tuottamiseen, mikä kasvattaa Cerebrasin pilvipalvelussaan tarjoamaa nopean päättelyn kapasiteettia.

Tuotantokäyttöä koskeva ilmoitus seuraa Cerebrasin 1. lokakuuta 2026 antamaa selvitystä eriytetystä päättelystä, jossa raportoitiin 5×:n parannuksesta varhaisissa testeissä samalla wafer-scale engine -järjestelmien kokoonpanolla. Uusi ilmoitus vie kehitystä varhaista tulosta pidemmälle tarjoamalla tuotantomittauksen ja infrastruktuurikumppaneille tarkoitetun käyttöönottopaketin.

Miksi Cerebras erottaa esitäytön ja dekoodauksen

Jokaisessa päättelypyynnössä on kaksi päävaihetta. Esitäyttö käsittelee syötekehotteen ja luo mallin välitilan; dekoodaus käyttää tätä tilaa tulostokenien tuottamiseen yksi kerrallaan ja syöttää jokaisen uuden tokenin takaisin malliin. Koska jokaisessa dekoodausvaiheessa mallin tiedot luetaan uudelleen muistista, muistin kaistanleveys on ratkaiseva tekijä vuorovaikutteisen tekstinmuodostuksen nopeudessa. Esitäyttö puolestaan suorittaa kehotteelle enemmän rinnakkaisia laskutoimituksia, joten se soveltuu paremmin kiihdyttimille, jotka on suunniteltu tällaiseen laskentakuormaan.

Cerebrasin wafer-scale-järjestelmissä mallin tiedot tallennetaan sirun sisäiseen SRAM-muistiin sen sijaan, että pääasiallisesti turvauduttaisiin sirun ulkopuoliseen suuren kaistanleveyden muistiin. Cerebrasin mukaan sen wafer-scale-sirussa on kymmeniä gigatavuja SRAM-muistia ja muistin kaistanleveys on kymmeniä petatavuja sekunnissa – SRAM-kapasiteetti on 350× ja muistin kaistanleveys 5 400× tyypillisen GB300-grafiikkasuorittimen vastaavia arvoja suurempi. Tämän kapasiteetin ansiosta useammat samanaikaiset pyynnöt ja mallikerrokset voivat pysyä suoraan sirulla nopeaa dekoodausta varten.

Taloudellisena tavoitteena on kasvattaa asiakkaiden palvelemiseen käytettävää kapasiteettia ja tulopotentiaalia samalla tehobudjetilla datakeskuksissa, joiden käytettävissä oleva sähköteho on rajallinen. Cerebras mainitsee Musen, Copilotin ja Codexin esimerkkeinä nopeasti skaalautuvista agenttipohjaisista sovelluksista, jotka edellyttävät erittäin vuorovaikutteisia vastauksia. Siksi kapasiteetin kasvattaminen on näissä työkuormissa hyödyllistä vain, jos vastausten tuottamisnopeus säilyy ennallaan.

Käyttöönottoarkkitehtuuri ja ohjelmistot

Infrastruktuurikumppanit voivat käyttää Cerebrasin tarjoamaa viitearkkitehtuuria sijoittaakseen valitsemansa esitäyttökiihdyttimet ja Cerebras-järjestelmät samaan verkkoon. Sen jälkeen niillä on kaksi tapaa integroida ratkaisu: päästä päähän ulottuva ohjelmistopino, jonka tarkoituksena on lyhentää markkinoille pääsyyn kuluvaa aikaa, tai pelkkään dekoodaukseen tarkoitettu SDK kumppaneille, jotka haluavat enemmän hallintaa.

Koko ohjelmistopino reitittää pyynnöt esitäyttö- ja dekoodausresurssien välillä sekä hallinnoi replikoiden kapasiteettia ja toimintakuntoa. Sen esitäyttömoottorissa voidaan käyttää avoimen lähdekoodin päättelymoottoreita, kuten vLLM:ää tai SGLangia, ja Cerebras toimittaa dekoodausmoottorin. KV Portal siirtää mallin välitilan näiden kahden moottorin välillä RDMA:n avulla, mukaan lukien avain-arvovälimuistit, jotka säilyttävät pyyntökohtaisen kontekstin esitäytön jälkeen.

Pelkkään dekoodaukseen tarkoitetussa vaihtoehdossa kumppanit käyttävät Cerebrasin dekoodausmoottoria ja KV Portalia mutta säilyttävät oman päättelykehyksensä ja esitäyttömoottorinsa. SDK sisältää myös dekoodausreplikan malliversion sekä viiteintegraation avoimen lähdekoodin eriytetyn päättelyn kehykseen ja esitäyttömoottoriin. Varhaisen käyttöoikeuden kumppaneiksi on nimetty Amazon Web Services, Fireworks AI, Gimlet Labs ja General Compute, ja Cerebras laajentaa käyttöoikeutta uusille kumppaneille.

Kapasiteettitavoite

Cerebras aikoo ottaa eriytetyn päättelyn laajasti käyttöön omassa päättelypilvipalvelussaan ja kumppanien toteutuksissa satojen megawattien kapasiteetilla vuoden 2027 loppuun mennessä. Kyse on käyttöönottotavoitteesta, ei jo toiminnassa olevasta kapasiteetista.

Ilmoitus yhdistää siis pilvipalvelussa mitatun kokoonpanon ohjelmistopohjaiseen ratkaisuun ulkopuolisille toimijoille. Keskeinen skaalautumiseen liittyvä kysymys on, voidaanko yhdellä jaetulla päätepisteellä mitattu läpimenon etu toistaa kumppanien valitsemilla kiihdyttimillä ja ohjelmistokehyksillä sekä erikokoisissa käyttöönotoissa, kun Cerebras tavoittelee laajempaa käyttöönottoa.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.