Baseten stelt Serverless Loops algemeen beschikbaar voor post-training

Baseten maakte op 6 november 2026 bekend dat Serverless Loops algemeen beschikbaar is. Daarmee stelt het zijn beheerde SDK voor supervised fine-tuning en reinforcement learning op open modellen voor iedereen beschikbaar. De dienst rekent trainingskosten per token en biedt een directe route van checkpoints naar Baseten Dedicated Inference.

Loops is gebaseerd op een taakverdeling: gebruikers leveren het trainingssignaal, terwijl Baseten de GPU’s, kernels, modelarchitecturen en back-end voor gedistribueerde training beheert. Met de Python-SDK worden LoRA-adapters getraind terwijl de gewichten van het basismodel bevroren blijven. Gebruikers kiezen het basismodel, de LoRA-rang, de leersnelheid, de verliesfunctie, de gegevens of omgeving en het algoritme; Baseten beheert de trainer, sampler, gewichtsynchronisatie en ondersteunende infrastructuur.

Een compatibiliteitspakket behoudt Tinker-imports en de belangrijkste aanroepen voor training en sampling, zodat teams bestaande scripts kunnen overzetten. In de migratiehandleiding wordt de authenticatie nog steeds aangepast om een Baseten API-sleutel te gebruiken, worden checkpoints geretourneerd als gepagineerde bestands-URL’s, zijn inline afbeeldingsinvoerwaarden vereist en wordt de dekking van LoRA-modules per modelfamilie vastgelegd. De compatibiliteit omvat de trainings-API, maar teams moeten nog wel verschillende infrastructuurspecifieke details aanpassen.

Serverloze modellen en facturering

De catalogus met serverloze modellen bevat drie modellen: Qwen/Qwen3.6-35B-A3B en zai-org/GLM-5.3-Flash voor tekst en beeld, en zai-org/GLM-5.3 alleen voor tekst. Elk model ondersteunt een maximale sequentielengte van 262.144 tokens. De configuratie van GLM-5.3 met lange context ondersteunt geen cross_entropy of dpo verliezen. De speciale modus omvat een bredere modelcatalogus, rekent GPU-tijd af en biedt extra instellingen voor replica’s, hergebruik van warme instanties en spotcapaciteit.

Serverless-runs gebruiken gedeelde capaciteit zonder dat GPU’s gereserveerd hoeven te worden. Er wordt afgerekend op de tokens die tijdens training en sampling worden gebruikt. Voor het bekijken van resultaten, het aanpassen van een beloningsfunctie of inactiviteit worden geen tokenkosten in rekening gebracht. Bij de standaardmodus kan worden teruggevallen op speciale capaciteit als een model, LoRA-rang of sequentielengte niet wordt ondersteund, of wanneer een run de implementaties van een andere run hergebruikt. Door het bereik in te stellen op serverless mislukt een niet-ondersteund verzoek in plaats daarvan.

Dat een model beschikbaar is, betekent niet dat het ook kan worden toegewezen. Toegang die specifiek is voor een werkruimte, niet-beschikbare GPU’s en limieten voor trainers binnen een organisatie kunnen een run nog steeds blokkeren. Hierdoor kent het model waarbij per token wordt betaald praktische capaciteitsgrenzen die verder gaan dan de gepubliceerde catalogus.

Checkpoints en inferentie in productie

De snelstartgids beschrijft vier kernbewerkingen: forward_backward voor het werken met verliesfuncties en gradiënten, optim_step voor het bijwerken van adapters, sample voor generatie en save_state voor hervatbare training. Door samplergewichten te publiceren, wordt een implementeerbaar checkpoint aangemaakt, samen met een samplingclient die eraan is gekoppeld. Een afzonderlijke save_state bewerking behoudt de model- en optimizerstatus. Het kan enkele minuten duren voordat de eerste samplingaanvraag is verwerkt, terwijl serverloze capaciteit wordt opgestart; iets om rekening mee te houden bij korte experimenten.

Een samplercheckpoint wordt geïmplementeerd als basismodel met de getrainde LoRA-adapter geladen. Checkpoints blijven bestaan nadat hun runs zijn beëindigd en kunnen via de CLI, REST API of het dashboard worden geïmplementeerd met een Hugging Face-toegangstoken, omdat de implementatie de basisgewichten downloadt. Voor het resulterende OpenAI-compatibele eindpunt worden GPU-kosten in rekening gebracht zolang het actief is. Als je de implementatie verwijdert, vervallen de GPU-kosten zonder dat het checkpoint wordt verwijderd; als je de Loops-run deactiveert, wordt de implementatie niet verwijderd.

Voor de algemene beschikbaarheid heeft Baseten de afhandeling van tijdelijke netwerkfouten en GPU-storingen verbeterd, de opstarttijd verkort en de overdracht van gewichten tussen trainers en samplers versneld. Volgens Baseten maken deze verbeteringen meer gelijktijdige workloads van klanten mogelijk en verwerkt de inferentiestack voor productie dagelijks meer dan 15 miljard aanvragen. Het productieproces omvat automatisch schalen, beheer van implementaties en inferentiestatistieken; gebruikers kunnen de gewichten downloaden in de Hugging Face Safetensors-indeling.

Validatie en vroege workloads van klanten

Baseten zegt de dienst te hebben gevalideerd met numerieke tests en end-to-endexperimenten met reinforcement learning op basis van τ-bench-taken in de detailhandel, luchtvaart en bankensector, gevolgd door evaluatie op achtergehouden moeilijke taken. Het τ-bench-project beschrijft een benchmark om te beoordelen of agents met gebruikers kunnen communiceren, tools kunnen aanroepen, kennis kunnen ophalen en beleid kunnen volgen in verschillende bedrijfssectoren. De uitkomsten worden getoetst aan verifieerbare resultaten uit databases.

Baseten meldt dat NVIDIA Nemotron Super 3.5 VL verder heeft getraind op tekst- en beeldtaken. Daardoor steeg de nauwkeurigheid van intentieclassificatie van 76,8% naar 94% en werd een F1-score van 87% behaald bij de validatie van bonextractie. Het werk omvatte ook reinforcement learning voor het tellen van visuele objecten. Datadog gebruikt meerstaps-RL met agents om trainingsideeën voor zijn SRE-agent te testen, en Ambience Healthcare heeft modellen verder getraind om fouten in klinische transcripties te corrigeren en medische terminologie en opmaak nauwkeurig vast te leggen.

LangChain Labs post-traint modellen op basis van agenttraces voor LangSmith Engine. Daarbij wordt onder meer een GitHub-repository gelezen om een probleem vast te stellen en een prompt- of codewijziging voor een pull request op te stellen. Het systeem kan overschakelen op een kleiner model met open gewichten om traces te classificeren op fouttype en ernst, of ze te koppelen aan bestaande problemen. De workflow van LangChain laat zien hoe het gedrag van een applicatie het trainingsdoel wordt, waarbij de modelgrootte en taakspecialisatie worden afgestemd op de opdracht.

De klantaccounts documenteren het gebruik vóór de aankondiging van de algemene beschikbaarheid en laten de beoogde infrastructuurcyclus zien: applicatiegegevens worden trainingsinvoer, checkpoints worden geëvalueerd en geselecteerde modellen worden klaargemaakt voor productie. Voor infrastructuurteams is ook de kostenafbakening duidelijk. Ondersteunde serverless-runs vereisen geen GPU-reserveringen en brengen geen tokenkosten voor inactieve tijd met zich mee, terwijl voor een actief inferentie-eindpunt nog steeds GPU-kosten in rekening worden gebracht. De serverless-catalogus en de capaciteit van de werkruimte bepalen waar de serverless-optie van toepassing is.