Spectro Cloud lancerer PaletteAI Inference Launchpad for at hjælpe virksomheder med at kontrollere AI-tokenomkostninger

Spectro Cloud har lanceret PaletteAI Inference Launchpad, en lokal administreret inferensplattform designet til at hjælpe virksomheder med at reducere deres afhængighed af eksterne modeltjenester og få mere kontrol over de voksende omkostninger ved kunstig intelligens-arbejdsbyrder.

Virksomheden siger, at organisationer kan reducere eksterne tokenomkostninger med op til 70%, afhængigt af deres arbejdsbyrde-mix, infrastruktur og valg af modeller. Spectro Cloud har også udvidet PaletteAI’s understøttelse af AMD-baseret infrastruktur, hvilket giver kunderne en bredere valg af grafikprocessorer (GPUs), inferens-kørsler og model-server-teknologier.

De annonceringer afspejler en bredere skift i virksomheds-AI. Da virksomheder bevæger sig ud over eksperimenter og implementerer kunstig intelligens på tværs af kundeservice, softwareudvikling, analyse og interne operationer, bliver omkostningerne ved at behandle modelindgange og -udgange en betydelig infrastruktur-bekymring.

At bringe AI-inferens nærmere virksomhedens data

PaletteAI Inference Launchpad er bygget omkring en lokal-først-tilgang til inferens. I stedet for at sende alle anmodninger automatisk til en eksternt vært frontier-model, kan organisationer køre passende arbejdsbyrder på infrastruktur placeret i deres egne datacentre, private skyer, suveræne miljøer eller edge-locater.

Virksomheder kan stadig beholde adgangen til eksternt vært frontier-modeller til opgaver, der kræver deres evner. Plattformen er designet til at dirigere anmodninger mellem lokale og eksterne modeller baseret på faktorer som omkostninger, ydeevne, styrekrav og kompleksiteten af opgaven.

Dette hybrid-model kan blive stadig vigtigere, da organisationer adopterer mindre og mere specialiserede modeller. En kundesupport-anmodning, en dokument-klassificeringsopgave eller en intern viden-anmodning kan ikke kræve den samme model-kapacitet som avanceret resonnering, kompleks kodning eller multimodal analyse.

At holde passende arbejdsbyrder lokale kan også reducere forsinkelsen ved at bringe inferens nærmere applikationer, brugere og datakilder. For organisationer, der opererer i regulerede brancher, kan lokal behandling give større kontrol over, hvor følsomme oplysninger håndteres.

Token-brug bliver en infrastruktur-måling

Token er de enheder, som kunstig intelligens-modeller opdeler og behandler tekst, kode og andre oplysninger. Hver prompt og genereret svar forbruger token, og mange kommercielle modeltjenester opkræver efter antallet af behandlet token.

Dette betyder, at AI-omkostninger kan stige hurtigt, da systemer bevæger sig fra kontrollerede forsøg til applikationer, der betjener tusinder af medarbejdere eller kunder. Problemet bliver endnu mere kompliceret med AI-agenter, der kan foretage gentagne model-anmodninger, hente oplysninger, evaluere resultater og bruge eksterne værktøjer, før de afslutter en enkelt opgave.

Goldman Sachs Research forventer, at månedlig AI-token-forbrug vil øge 24-gange mellem 2026 og 2030, og nå omkring 120 kvadrillioner token om måneden. Den projekterede vækst drives af udvidet virksomheds-adopterings- og fremkomsten af mere autonome AI-agenter.

Inference Launchpad løser dette problem ved at give infrastruktur-teamene værktøjer til at måle token-forbrug, etablere kvoter og anvende brugs-politikker. Disse kontroller kan hjælpe virksomheder med at forstå, hvilke team, applikationer og modeller der er ansvarlige for deres AI-udgifter, i stedet for at behandle inferens som en uforudsigelig ekstern service-gebyr.

De 70% reduktion, som Spectro Cloud nævner, skal ses som en potentiel udfald i stedet for en garanteret besparelse. Den faktiske økonomi afhænger af GPU-købs- eller lejeomkostninger, udnyttelsesrater, energiforbrug, model-effektivitet, anmodnings-volumen og priserne hos eksterne udbydere.

Lokale modeller uden at eliminere frontier-modeller

Plattformens model-routnings-funktioner er designet til at undgå at tvinge virksomheder ind i en alt-lokal eller alt-sky-beslutning.

Organisationer kan bruge mindre lokale modeller til forudsigelige eller følsomme opgaver, mens de sender mere krævende anmodninger til frontier-modeller. Politikker kan også bestemme, hvilke modeller der er tilladt for bestemte afdelinger, jurisdiktioner eller data-klassificeringer.

Dette introducerer styre direkte i inferens-laget. En finansinstitution kan f.eks. forhindre visse oplysninger i at forlade en kontrolleret miljø, mens de tillader ikke-følsomme anmodninger om at bruge en ekstern model. En multinational virksomhed kan anvende forskellige routings-regler baseret på regionale data-krav.

Spectro Cloud har positioneret model-valg og styre som en del af PaletteAI’s bredere infrastruktur-styrings-strategi. Plattformen understøtter fælles GPU-miljøer, rolle-baseret adgang, ressource-kvoter og lejer-niveau-kontroller, der er designet til at lade flere team bruge samme infrastruktur uden at få ubegrænset adgang til de underliggende systemer.

Udvidet understøttelse af AMD AI-infrastruktur

Sammen med Inference Launchpad annoncerede Spectro Cloud en bredere understøttelse af AMD-drevne AI-miljøer.

Integreringen dækker AMD GPUs, AMD GPU-operatøren, ROCm software-stakken og AMD Inference Microservices, der er kendt som AIMs. Disse komponenter dækker forskellige lag af infrastrukturen, der kræves for at operere AI-modeller i produktion.

AMD GPU-operatøren simplificerer konfigurationen og administrationen af AMD Instinct-acceleratorer inde i Kubernetes-kluster. ROCm giver den underliggende åbne software-stak, herunder drivere, biblioteker, kørsler og udviklingsværktøjer, der bruges til at køre kunstig intelligens- og høj-ydeevne-komputering-arbejdsbyrder på AMD-hardware.

AIMs giver standardiserede inferens-mikrotjenester til at betjene modeller på AMD Instinct GPUs. De er designet til at pakke optimerede modeller og understøttende software ind i installerbare tjenester, hvilket reducerer en del af integrationsarbejdet, der normalt kræves for at flytte en model ind i produktion.

For virksomhedskunder kan denne udvidede understøttelse gøre det lettere at operere blandede GPU-miljøer i stedet for at opbygge separate administrationsprocesser for NVIDIA (NVDA ) og AMD-infrastruktur.

At styre stakken fra hardware til modeller

Spectro Cloud udviklede oprindeligt Palette som en Kubernetes-styringsplattform for at installere og vedligeholde kluster på tværs af offentlige skyer, private datacentre, bare-metal-systemer og edge-locater.

PaletteAI udvider denne grundlag til AI-infrastruktur. Det kombinerer Kubernetes-livscyklus-styring med GPU-orchestration, model-tjenester, sikkerheds-kontroller, netværk og maskinlærings-operationer-værktøjer. Spectro Cloud beskriver plattformen som en måde at styre infrastruktur fra det fysiske hardware-lag til modellerne og inferens-tjenesterne, der køres på toppen af det.

Plattformen inkluderer også PaletteAI Studio, der giver forudkonfigurerede infrastruktur- og AI-stakke bygget fra teknologier som Kubeflow, MLflow, ClearML, Run:ai og Hugging Face. Disse konfigurationer er designet til at give plattform-teamene gentagne installationsskabeloner i stedet for at kræve, at de integrerer hver komponent manuelt.

Inference Launchpad tilføjer token-routning, måling og lokal-administreret model-betjening til det bredere infrastruktur-lag.

At understøtte suveræne og regulerede AI-miljøer

Spectro Cloud sigter også efter neoclouds, managed service-udbydere og suveræne sky-operatører. Disse udbydere har ofte brug for at tilbyde fælles GPU-infrastruktur, mens de opretholder adskillelse mellem kunder og gennemtvinger jurisdiktionsspecifikke kontroller.

Virksomheden arbejder med NexusIgnite, en infrastruktur-udbyder, der opererer fra Austin og Dubai, for at understøtte installationer, der indebærer data-residens, overholdelse og operationel suverænitet.

Data-residens vedrører generelt, hvor informationen gemmes. Suveræn AI introducerer yderligere spørgsmål om, hvem der opererer infrastrukturen, hvilke love der gælder, hvem der kan få adgang til den, og om miljøet kan auditeres eller afbrydes fra eksterne tjenester.

Spectro Clouds plattform understøtter selv-værtsede og luft-lukkede installationer, mens PaletteAI VerteX tilføjer sikkerheds-kontroller, der er designet til regulerede miljøer.

Disse funktioner kan være særlig relevante for regeringer, sundhedsorganisationer, finansinstitutioner og kritisk infrastruktur-operatører, der ikke kan rute alle AI-interaktioner gennem en delt offentlig tjeneste.

Voksende konkurrence omkring virksomheds-AI-operationer

Lanceringen kommer kort efter, at Spectro Cloud annoncerede en $100 million Series D-finansieringsrunde ledet af Growth Equity at Goldman Sachs Alternatives, med deltagelse fra AMD Ventures, Ericsson, LG Technology Ventures og Maximus.

Virksomheden sagde, at finansieringen ville understøtte dens udvidelse i produktions-AI-infrastruktur, suveræne skyer, neocloud-tjenester og distribueret inferens. Spectro Cloud har nu samlet omkring $260 millioner.

Dens strategi afspejler et nyt lag i AI-markedet, der fokuserer på at operere modeller i stedet for at udvikle grundlæggende modeller. Da model-valgmulighederne øges, har virksomhederne stadig mere brug for infrastruktur, der kan bestemme, hvor modellerne køres, hvordan GPU’er allokeres, hvilke data de kan få adgang til, og hvordan brugen måles.

PaletteAI Inference Launchpad og den udvidede AMD-integration er tilgængelige med det samme. Deres langsigtige betydning afhænger af, om lokal-administreret inferens kan levere konsekvente økonomiske fordele uden at genskabe den operationelle kompleksitet, virksomheder havde håbet at undgå ved at bruge eksterne model-udbydere.