AI-mallit ja alustat

Sarvam avaa Intiassa ylläpidetyn tokenitehtaan avoimien painojen malleille

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatSarvam tarjoaa avoimien painojen malleja intialaisilta GPU:ilta sen sijaan, että…
Näytä lisää
  • Sarvam tarjoaa avoimien painojen malleja intialaisilta GPU:ilta sen sijaan, että välittäisi pyynnöt ulkomaisille kehittäjien API-rajapinnoille.
  • Prefill-vaiheen erottaminen decode-vaiheesta erillisillä GPU-poolilla estää pitkien koodauskehotteiden aktiivisten dekoodausistuntojen pysähtymisen.
  • Sarvamin oma DeepSeek-vertailu osoittaa, että Together palauttaa ensimmäiset tokenit nopeammin ja striimaa 278 tulostetokenin nopeudella sekunnissa.

Sarvam AI lanseerasi Sarvam Token Factoryn 16. marraskuuta 2026 kehittäjille ja yrityksille. Palvelu tarjoaa Sarvamin omia ja kolmansien osapuolten avoimien painojen malleja Intiassa sijaitsevista GPU-klustereista yhden OpenAI-yhteensopivan API:n kautta. Sarvamin mukaan palvelu käsittelee jo yli 450 miljardia DeepSeek V4.1 Flash -tokenia päivässä.

Julkaisun mallivalikoimaan kuuluvat Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro ja Gemma 4 31B. API-dokumentaation mukaan Token Factory käyttää samaa API-avainta, SDK:ta ja krediittejä kuin Sarvamin muutkin API:t: käyttäjät vaihtavat model kenttää vaihtaakseen mallia, ja OpenAI-yhteensopivat asiakkaat voidaan ohjata osoitteeseen https://api.sarvam.ai/v2.

Hinnoittelu, käyttöönotto ja tietojen käsittely

Sarvam 105B:n tutustumishinta on 10 ₹ miljoonalta syötetokenilta ja 25 ₹ miljoonalta tulostetokenilta. DeepSeek V4.1 Flash 1017:n Standard-päätepiste maksaa vastaavasti 14 ₹ ja 55 ₹. Molempien välimuistiin tallennetun syötteen hinta on 0,25 ₹ miljoonalta tokenilta hinnastossa. API-dokumentaation mukaan tutustumishinnat ovat voimassa vuoden 2026 loppuun asti; kaikki rupiamääräiset hinnat eivät sisällä GST:tä.

Käyttömahdollisuudet eivät rajoitu käytön mukaan hinnoiteltuihin palvelimettomiin päätepisteisiin. DeepSeek V4 Pro ja Kimi K3.1 Pro ovat organisaatiokohtaisesti saatavilla Provisioned Throughput -palvelussa, kun taas muut julkaisun mallit on merkitty palvelimettomiksi. Asiakkaat voivat valita jaetun tai erillisen kapasiteetin. Sarvam tarjoaa myös päättelyn optimointipinon paikalliseen käyttöönottoon ja kertoo sen olevan jo käytössä tällä tavoin kriittisissä instituutioissa.

Sarvamin tuotesivun mukaan päättely suoritetaan Sarvamin ylläpitämillä GPU:illa Intiassa sen sijaan, että pyynnöt välitettäisiin alkuperäisten mallikehittäjien ulkomaisiin API-rajapintoihin. Sovitun nollatietojen säilytyksen järjestelyn mukaisesti kehotteita ja vastauksia ei säilytetä; operatiivisten lokien käsittely on määritelty erikseen. Asiakastietoja ei käytetä muiden asiakkaiden mallien kouluttamiseen, ja yritysasiakkaiden käyttöönottoihin sisältyy sopimukseen perustuva palvelutasosopimus, joka takaa 99,95 prosentin käytettävyyden.

Jaettu välimuisti pitkiä agentti-istuntoja varten

Palvelupino erottaa kehotteen esitäytön, jossa luetaan koko kehote, dekoodauksesta, jossa tokenit tuotetaan yksi kerrallaan, ja suorittaa vaiheet eri GPU-resursseilla. Erottelun tarkoituksena on estää uuden pitkän koodauskehotteen aiheuttama viive käynnissä olevissa dekoodausistunnoissa, mitä voi tapahtua, kun molemmat vaiheet käyttävät samaa GPU:ta. Välimuistin huomioiva ohjaustaso reitittää kunkin vuoron sen aiemman kontekstin luo, ja pyyntöjen hyväksymisessä lasketaan vain välimuistissa olemattomat tokenit.

Toinen välimuistitaso, Moonshotin Mooncakeen perustuva G3-tallennusjärjestelmä, on kaikkien esitäyttöpalvelinten käytettävissä ja säilyttää kehotteita liikenteen määrästä riippuen tunteja tai päiviä. Pelkkään GPU-muistiin tallennettu kehote säilyy noin neljä sekuntia, mutta kuormituksen alla aika lyhenee noin kahteen sekuntiin. Erolla on merkitystä agenteille, jotka palaavat työkalukutsun jälkeen lähes saman kehotteen kanssa. Sarvamin mukaan 95,7 prosenttia DeepSeek V4.1 Flashin kehote-tokeneista toimitetaan välimuistista, ja G3 vähensi GLM 5.3:n esitäyttösolmujen huipputarpeen 58:sta 34:ään.

Sarvamin mukaan Sarvam 105B:n siirtäminen BF16-painoista MXFP8-muotoon, joka on 8-bittinen formaatti, sekä spekulatiivisen dekoodauksen lisääminen kasvatti tulostusnopeuden noin 2,2-kertaiseksi ja vähensi samalla kunkin replikan GPU-määrän kahdesta B200:sta yhteen heikentämättä tarkkuutta. Erillinen orkestrointiagentti jakaa optimointikokeet aliagenteille, mutta insinööri hyväksyy jokaisen muutoksen ennen käyttöönottoa.

Suorituskyky eri malleilla ja päätepisteillä

Sarvamin mukaan Gemma 4 31B:n 72 tunnin mediaanitestissä, joka tehtiin AWS:n Mumbain asiakkaalta 10 000 tokenin kehotteella, ensimmäinen token palautui 0,40 sekunnissa ja tulostusnopeus oli 308 tokenia sekunnissa. Ainoa toinen mallia tarjoava palveluntarjoaja saavutti vastaavasti 2,00 sekuntia ja 193 tokenia sekunnissa. Vertailussa käytettiin kyseisen palveluntarjoajan parasta tasoa kummankin mittarin osalta. Sarvamin erillisessä Kimi K3.1 Pro -testissä, joka tehtiin koodausagenttien jäljillä ja 16 B200-GPU:lla, nopeus oli 6 177 tokenia sekunnissa GPU:ta kohti eli noin 70 tokenia sekunnissa käyttäjää kohti. InferenceX:n julkaistussa käyrässä vastaava luku oli 3 213.

Sarvamin oma DeepSeek V4.1 Flash -vertailu on epäedullisempi: 10 000 tokenin kehotteen viivetestissä Together palautti ensimmäisen tokenin 0,71 sekunnissa, kun Sarvam Standardin tulos oli 0,90 sekuntia. Sarvamin erillisessä hinta-nopeus-taulukossa Togetherin tulostusnopeudeksi ilmoitetaan 278 tokenia sekunnissa ja Sarvam Standardin 130 tokenia sekunnissa. Viiveet mitattiin 3.–5. marraskuuta 2026 lähettämällä yksi pyyntö kerrallaan ja käyttämällä kunkin palveluntarjoajan nopeinta tasoa.

Token Factory nostaa itse palvelupinon tuotteen keskiöön. Sen liiketoimintaperuste yhdistää Intiassa tapahtuvan käsittelyn ja OpenAI-yhteensopivan siirtymän välimuistin ja mallikohtaisen hienosäädön tuomiin GPU-säästöihin. Julkaistut tulokset osoittavat huomattavia parannuksia valituissa työkuormissa, mutta myös sen, että suorituskykyyn ja viiveeseen liittyvät edut vaihtelevat mallin ja päätepisteen mukaan.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.