Baseten tuo Serverless Loopsin yleisesti saataville jälkikoulutusta varten

Baseten ilmoitti 6. marraskuuta 2026, että Serverless Loops on nyt yleisesti saatavilla, ja avasi kaikille hallinnoidun SDK:n, jolla voi hienosäätää avoimia malleja ohjatusti ja vahvistusoppimisen avulla. Palvelussa koulutus laskutetaan käytettyjen tokenien mukaan, ja tarkistuspisteistä pääsee suoraan käyttämään Baseten Dedicated Inference -palvelua.

Loops perustuu työnjakoon: käyttäjät tuottavat koulutussignaalin, ja Baseten huolehtii grafiikkasuorittimista, ytimistä, malliarkkitehtuureista ja hajautetun koulutuksen taustajärjestelmästä. Python-ohjelmistokehityspaketilla koulutetaan LoRA-sovittimia perusmallin painojen pysyessä jäädytettyinä. Käyttäjät valitsevat perusmallin, LoRA-rankin, oppimisnopeuden, häviöfunktion, aineiston tai ympäristön sekä algoritmin; Baseten ajaa kouluttimen ja näytteenottimen, synkronoi painot ja ylläpitää tukevan infrastruktuurin.

Yhteensopivuuspaketti säilyttää Tinker-tuonnit sekä keskeiset koulutus- ja näytteenottokutsut, jotta tiimit voivat siirtyä käyttämään palvelua olemassa olevilla skripteillään. Siirtymisoppaassa kerrotaan, että todennus on silti vaihdettava Basetenin API-avaimeen, tarkistuspisteet palautetaan sivutettuina tiedosto-URL-osoitteina, kuvat on annettava upotettuina syötteinä ja LoRA-moduulien kattavuus määrittyy malliperheen mukaan. Yhteensopivuus kattaa koulutusrajapinnan, mutta tiimien on mukautettava useita infrastruktuurikohtaisia yksityiskohtia.

Palvelimettomat mallit ja laskutus

Palvelimettomien mallien valikoimassa on kolme mallia: Qwen/Qwen3.6-35B-A3B ja zai-org/GLM-5.3-Flash tekstiä ja kuvia varten sekä zai-org/GLM-5.3 vain tekstiä varten. Kaikkien enimmäiskonteksti on 262 144 tokenia. GLM-5.3:n pitkän kontekstin määritys ei tue cross_entropy tai dpo häviöfunktioita. Erillisessä tilassa on käytettävissä laajempi mallivalikoima, ja laskutus perustuu grafiikkasuorittimen käyttöaikaan. Lisäksi käytössä on ohjaimia, joilla voi hallita replikoita, lämpimänä pidettyjen resurssien uudelleenkäyttöä ja spot-kapasiteettia.

Palvelimettomat ajot käyttävät jaettua kapasiteettia ilman grafiikkasuorittimien varaamista, ja laskutus perustuu koulutuksessa ja näytteenotossa käytettyihin tokeneihin. Tulosten lukemisesta, palkkiofunktion muuttamisesta tai odottelusta ei veloiteta tokeneita. Oletustilan valinta voi siirtyä erilliseen kapasiteettiin, jos malli, LoRA-rank tai sekvenssin pituus ei ole tuettu tai jos ajo käyttää uudelleen toisen ajon käyttöönottoja. Jos laajuudeksi asetetaan palvelimeton tila, tueton pyyntö epäonnistuu sen sijaan.

Mallin käyttöönotto ei takaa resurssien saamista. Työtilakohtaiset käyttöoikeudet, grafiikkasuorittimien saatavuus ja organisaation koulutinrajoitukset voivat edelleen estää ajon, joten käytännössä tokeniperusteisella hinnoittelulla on julkaistua mallivalikoimaa laajemmat kapasiteettirajat.

Tarkistuspisteet ja tuotantokäytön päättely

Pikaoppaassa esitellään neljä keskeistä toimintoa: forward_backward häviö- ja gradienttilaskentaan, optim_step sovittimien päivittämiseen, sample tekstin tuottamiseen ja save_state koulutuksen jatkamiseen. Näytteenottimen painojen julkaiseminen luo käyttöönotettavan tarkistuspisteen ja siihen kiinnitetyn näytteenottoasiakasohjelman. Erillinen save_state toiminto säilyttää mallin ja optimoijan tilan. Ensimmäisen näytteenottopyynnön käsittely voi kestää useita minuutteja palvelimettoman kapasiteetin käynnistyessä, mikä on hyvä huomioida lyhyissä kokeissa.

Näytteenottimen tarkistuspiste otetaan käyttöön perusmallina, johon koulutettu LoRA-sovitin on ladattu. Tarkistuspisteet säilyvät ajon päätyttyä, ja ne voidaan ottaa käyttöön komentoriviltä, REST-rajapinnan tai hallintapaneelin kautta Hugging Face -käyttöoikeustunnisteella, sillä käyttöönotto lataa peruspainot. Näin syntyvän OpenAI-yhteensopivan rajapintapalvelun grafiikkasuorittimesta laskutetaan sen ollessa käytössä. Käyttöönoton poistaminen lopettaa grafiikkasuorittimen laskutuksen mutta ei poista tarkistuspistettä; Loops-ajon deaktivointi ei poista käyttöönottoa.

Yleisen saatavuuden julkaisua varten Baseten paransi tilapäisten verkkovirheiden ja grafiikkasuoritinvikojen käsittelyä, vähensi käynnistyksen viivettä ja nopeutti painojen siirtoa kouluttimien ja näytteenottimien välillä. Basetenin mukaan nämä muutokset mahdollistavat asiakkaiden useampien samanaikaisten työkuormien suorittamisen, ja yhtiön tuotantokäytön päättelyjärjestelmä käsittelee päivittäin yli 15 miljardia pyyntöä. Tuotantokäyttöön tarkoitettuun ratkaisuun kuuluvat automaattinen skaalaus, käyttöönottojen hallinta ja päättelymittarit, ja käyttäjät voivat ladata painot Hugging Face Safetensors -muodossa.

Validointi ja ensimmäiset asiakaskäyttötapaukset

Baseten kertoo validoineensa palvelun numeerisilla testeillä ja päästä päähän -vahvistusoppimiskokeilla, joissa käytettiin τ-bench-tehtäviä vähittäiskaupan, lentoyhtiöiden ja pankkialan aihepiireistä. Tämän jälkeen suorituskykyä arvioitiin erikseen pidätetyillä vaikeilla tehtävillä. τ-bench-projekti kuvaa vertailutestiä, jolla selvitetään, pystyvätkö agentit keskustelemaan käyttäjien kanssa, kutsumaan työkaluja, hakemaan tietoa ja noudattamaan käytäntöjä eri yritystoimialoilla. Tulokset tarkistetaan todennettavissa olevien tietokantatulosten perusteella.

Baseten kertoo, että NVIDIA jälkikoulutti Nemotron Super 3.5 VL -mallia teksti- ja kuvatehtäviin. Aikomusten luokittelun tarkkuus parani 76,8 prosentista 94 prosenttiin, ja kuittien tietojen poiminnassa saavutettiin 87 prosentin validoinnin F1-arvo; työhön sisältyi myös vahvistusoppimista visuaaliseen kohteiden laskentaan. Datadog käyttää monivuorovaikutteista agenttien vahvistusoppimista SRE-agenttinsa koulutusideoiden testaamiseen, ja Ambience Healthcare jälkikoulutti malleja kliinisten litterointivirheiden korjaamiseksi sekä lääketieteellisen terminologian ja muotoilun tarkaksi tallentamiseksi.

LangChain Labs jälkikouluttaa LangSmith Engine -malleja agenttijäljillä. Työhön kuuluu GitHub-arkiston lukeminen ongelman selvittämiseksi sekä pull requestiin ehdotettavan kehotteen tai koodimuutoksen luonnostelu. Se voi siirtyä pienempään avoimilla painoilla varustettuun malliin, joka luokittelee jäljet virhetyypin ja vakavuuden mukaan tai yhdistää ne olemassa oleviin ongelmiin. LangChainin työnkulku havainnollistaa, kuinka sovelluksen toiminnasta tulee koulutuksen kohde ja kuinka mallin koko ja tehtäväkohtainen erikoistuminen valitaan työn vaatimusten mukaan.

Asiakaskuvaukset dokumentoivat käyttöä ennen yleiseen saatavuuteen siirtymisestä ilmoittamista ja havainnollistavat suunniteltua infrastruktuurin toimintamallia: sovelluksen tiedoista tulee koulutussyötettä, tarkistuspisteitä arvioidaan ja valitut mallit etenevät kohti tuotantokäyttöä. Infrastruktuuritiimeille kustannusten rajaus on yhtä selkeä. Tuetut palvelimettomat suoritukset eivät edellytä GPU-reservointeja eivätkä aiheuta tokenikuluja joutoaikana, kun taas käynnissä olevan päättelypäätepisteen GPU:sta veloitetaan edelleen. Palvelimettoman palvelun vaihtoehdon soveltuvuuden ratkaisevat palvelimeton tuotevalikoima ja työtilan kapasiteetti.