Thinking Machines Lab indgår en årlig aftale på $65 mio. om inferens på Crusoe Cloud

Crusoe og Thinking Machines Lab annoncerede en årlig aftale på $65 millioner den 23. september 2026, for at drive inferens for laboratoriets åbne modeller på Crusoe Cloud, med produktionsarbejdsbelastninger leveret på en dedikeret implementering af NVIDIA HGX B200-systemer via Crusoe Managed Inference.

Meddelelsen fra San Francisco oplyser, at Thinking Machines Lab vil betjene en række produktionsarbejdsbelastninger, herunder deres Inkling-modeller, GLM 5.2 og 5.3 samt deres egne finjusterede varianter, på en dedikeret Tailored Deployment af NVIDIA HGX B200-systemer forbundet med NVIDIA Quantum-2 InfiniBand-netværk. Crusoe karakteriserer implementeringen som designet til høj gennemløbshastighed, omkostningseffektiv modeldrift i stor skala.

Crusoe vil køre og supportere klyngen direkte som en Tailored Deployment, som pressemeddelelsen beskriver som et dedikeret, benchmarket, SLA‑understøttet endpoint, der skal give Thinking Machines Lab pris‑ydelsesforhold og kapacitet til at skalere uden at administrere deres egen inferens‑stack. I meddelelsen beskriver Crusoe sig selv som branchens første vertikalt integrerede AI‑infrastrukturleverandør.

Managed Inference‑muligheder og MemoryAlloy‑motoren

På Crusoes Managed Inference-produktside præsenterer virksomheden Tailored Deployments som sit højeste optimeringsniveau: kunden leverer modellen og definerer kravene, mens Crusoe håndterer resten, med et dedikeret, benchmarket endpoint, der er målrettet proprietære modeller, skræddersyet inferensoptimering og SLA‑understøttet ydeevne.

Siden beskriver også Serverless Inference, forbrugsbaseret brug af open‑source‑modeller gennem et fuldt administreret API i Crusoe Intelligence Foundry, samt Self‑Serve Deployments, som nu er generelt tilgængelige, og som kører modeller i Foundry med inferens optimeret til gennemløbshastighed eller reaktionsevne, inklusive modeller tilpasset med virksomhedens Serverless Fine‑Tuning‑funktion. Foundry selv præsenteres som en udviklerplatform til at opdage modeller, generere API‑nøgler, overvåge ydeevnemålinger og implementere administrerede endpoints.

Crusoe siger, at deres inferensmotor drives af MemoryAlloy, en klyngeintegreret hukommelsesstruktur, der bevares på tværs af noder og muliggør intelligent routing for at eliminere redundant prefill‑beregning. Virksomheden rapporterer op til 9,9‑gange hurtigere tid‑til‑første‑token og 5‑gange højere gennemløb ved brug af spekulativ dekodning og dynamisk batching, tal som de benchmarkede mod vLLM, der betjener Llama-3.3-70B-modellen i en fire‑node‑implementering.

Inkling‑ og GLM‑modeller

De navngivne arbejdsbelastninger i aftalen omfatter laboratoriets egen Inkling-familie. Thinking Machines Lab frigav Inkling den 15. juli 2026, og beskriver den som en Transformer af typen Mixture‑of‑Experts med åbne vægte, i alt 975 milliarder parametre, hvoraf 41 milliarder er aktive, og et kontekstvindue på op til 1 million tokens. Ifølge laboratoriet blev Inkling fortrænet på 45 billioner tokens, der dækker tekst, billeder, lyd og video, og indsatsen var laboratoriets første store træningskørsel, udført på NVIDIA GB300 NVL72-systemer.

Sammen med Inkling præsenterede laboratoriet Inkling‑Small, en lettere Mixture‑of‑Experts‑model med 276 milliarder parametre, hvoraf 12 milliarder er aktive, og en anden afvejning mellem ydeevne og latenstid. Inklings fulde vægte er offentliggjort på Hugging Face, både som det oprindelige checkpoint og som et NVFP4‑checkpoint for effektiv inferens på NVIDIA Blackwell-systemer, og modellen er tilgængelig for fin‑tuning på Tinker, laboratoriets model‑tilpasningsplatform, med kontekstlængde‑muligheder på 64 K og 256 K.

Aftalen placerer også GLM 5.2 og 5.3 blandt laboratoriets produktionsarbejdsbelastninger på tjenesten. Crusoes Managed Inference modelhub lister Z.ai’s GLM 5.3 med 753 milliarder parametre og et kontekstvindue på 1 000 000 tokens samt GLM 5.3 Flash med 320 milliarder parametre, begge tilgængelige for Serverless Inference.

Ledelsesudtalelser og planlagt udvidelse

„Crusoe Managed Inference tog os fra evaluering til produktion hurtigt og levede op til de standarder, vi stiller til vores egne systemer, hvilket gav os skalaen og økonomien til at geninvestere i forskningen i kernen af vores arbejde,“ sagde Myle Ott, ML Infra Lead hos Thinking Machines Lab.

Erwan Menard, SVP of Product Management for Crusoe Cloud, udtalte, at Thinking Machines Lab har et sofistikeret ingeniørteam, som forventer, at partnere lever op til deres høje standard, efterhånden som de vokser. Han sagde, at Crusoe byggede Managed Inference for at levere omkostningseffektiv, pålidelig infrastruktur, inferens og værktøjer til modellens livscyklus som en service, så virksomheder kan køre deres valgte modeller i produktion i stor skala.

Virksomhederne udtalte, at de også ser på at udvide til batch‑inferens for stor‑skala syntetisk datagenerering, hvilket meddelelsen beskriver som at gøre inferens til en drivkraft for forskning. Crusoe sagde, at Thinking Machines Lab tilslutter sig en kundeliste, der har bragt Crusoe Managed Inference over $100 millioner i kontraktligt aftalt ARR (årlig tilbagevendende omsætning) på mindre end et år efter lanceringen.