AI-modeller og platforme

AWS føjer PolyAI Dialog-RSN-1 til SageMaker JumpStarts katalog

Jonas Reeve
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterJumpStart forkorter vejen fra evaluering til et styret AWS-endpoint, men overlader…
Vis mere
  • JumpStart forkorter vejen fra evaluering til et styret AWS-endpoint, men overlader telefontjenester og talesyntese til kunderne.
  • Dialog-RSN-1 returnerer kun tekst eller funktionskald, så hver udrulning skal tilføje sit eget tekst-til-tale-lag.
  • Fakturering begynder, når endpointet tages i brug, og fortsætter indtil sletning, selv når ingen klient er tilsluttet.

AWS annoncerede den 19. november 2026, at PolyAI Dialog-RSN-1 er blevet føjet til Amazons SageMaker JumpStart-katalog. Det giver adgang til implementering med ét klik, evalueringsværktøjer og fire optimeringsprofiler til den lydnative kundeservicemodel. Endpointet kører i kundens egen AWS-konto.

Den nye udvikling er katalogarbejdsgangen, som følger efter to tidligere annonceringer fra PolyAI. PolyAI lancerede Dialog-RSN-1 den 30. juli 2026 og annoncerede implementering af SageMaker-endpoints via AWS Marketplace den 6. oktober 2026. JumpStart gør det muligt at finde, evaluere og implementere modellen med forudkonfigurerede indstillinger, mens kunderne stadig tegner abonnement via AWS Marketplace.

Evaluering og implementering i ét katalog

I Model Hub i SageMaker AI-konsollen vælger kunden Dialog-RSN-1 og klikker på Implementer. JumpStart opretter et endpoint til inferens i realtid på en forudkonfigureret serveringsstak, så man slipper for manuelt at vælge containere og for selv at skulle benchmarke snesevis af infrastruktursammensætninger. I stedet kan teams bruge nogle få linjer kode med SageMaker Python SDK og indarbejde implementeringen i pipelines til løbende integration og løbende levering.

Før implementeringen viser modelkortet P50-latenstid, tiden til det første token og gennemløbet. Profilerne prioriterer latenstid, gennemløb, omkostninger eller en afbalanceret anvendelse til generelle formål: Profilen for lav latenstid minimerer tiden til det første token, profilen for højt gennemløb maksimerer antallet af tokens pr. sekund, og omkostningsprofilen minimerer infrastrukturomkostningen pr. anmodning. Disse valg knytter serveringskonfigurationen til opkaldsmængde, reaktionstid og budgetkrav i stedet for at bruge én standardindstilling til alle arbejdsbelastninger.

Evalueringen foregår i samme katalogpost. PolyAIs eksempelnotebook streamer optaget lyd fra opkaldere og udskriver modellens beslutninger om turtagning, svar og transskriptioner, så et team kan undersøge dens adfærd med den type opkald, det forventer at håndtere. Teams kan gennemgå oversigten og eksemplerne før implementeringen; det kræver et endpoint at streame deres egen lyd gennem modellen.

Lydræsonnering med et separat stemmelag

Dialog-RSN-1 behandler lyd fra opkaldere direkte og samler turtagning, talegenkendelse, generering af svar og funktionskald i én model. Ifølge PolyAI bevarer direkte lyd tonefald, tøven og timing, som et system med flere led kan miste, når talegenkendelsen reducerer et opkald til en transskription. En stemmeaktivitetsdetektor udløser hver forespørgsel, mens modellens første outputtoken registrerer EMPTY, ONGOING eller COMPLETE, så den endelige beslutning om turtagning træffes af modellen.

Outputtet håndteres separat. Dialog-RSN-1 returnerer streamet svartekst eller et funktionskald, mens transskriptionen af opkalderens tale leveres separat; modellen syntetiserer ikke tale. En implementering skal derfor indeholde tekst-til-tale, så kunden selv kan vælge stemme, men det kræver en komponent uden for modellens endpoint.

PolyAIs opslag på Marketplace angiver en median svartid på under 300 millisekunder til det første token og cirka 390 millisekunder for en typisk hel udveksling med en opkalder i produktion. Forskellen er vigtig, fordi modellens latenstid alene ikke beskriver forsinkelsen i en komplet stemmeløsning, der også omfatter talesyntese, telefoni og eksterne værktøjer.

Begrænsninger ved integration og timepriser

Endpointet ligger i kundens virtuelle private sky, bruger kundens roller i AWS Identity and Access Management og overvåges via Amazon CloudWatch. Da inferensen kører i kundens konto, forbliver opkaldslyd og transskriptioner i en infrastruktur, som kunden kontrollerer. Det er relevant for krav til dataopbevaring og revision.

Endpointet implementerer OpenAI Realtime-protokollen. PolyAIs klientbro stiller en lokal WebSocket til rådighed for Realtime-klienter og videresender deres hændelser via SageMakers signerede, tovejs HTTP/2-strøm; applikationer kan også kalde strømmen direkte. Kunderne er fortsat ansvarlige for telefoni, orkestrering, forretningslogik og udførelse af værktøjer, og PolyAIs integrationsvejledning anbefaler, at datoer, referencenumre og beløb valideres, før værktøjskald udføres.

Lydinput er begrænset til base64-kodet PCM16-mono ved 16 eller 24 kHz; G.711, Opus og stereo understøttes ikke. Kontekstvinduet er på 32.000 tokens, og modellen understøtter kun engelsk. Forbindelser har en absolut grænse på 30 minutter og en inaktivitetstimeout på fem minutter. Tilstanden videreføres ikke ved genoprettelse af forbindelsen, så applikationer skal gendanne relevant kontekst, når en ny session oprettes.

Inferens i realtid koster 45 USD pr. værtstime på ml.p4d.24xlarge og 110 USD pr. værtstime på ml.p5.48xlarge. En værtstime er én times drift af beregningsinstansen, og der kan komme yderligere AWS-infrastrukturomkostninger. Faktureringen begynder, når endpointet sættes i drift, og fortsætter, indtil det slettes, også når ingen klient er tilsluttet. AWS’ eksempler på implementering sletter endpointet, endpointkonfigurationen og modellen under oprydningen.

JumpStarts vigtigste bidrag er en kortere driftsmæssig vej fra modelevaluering til et AWS-slutpunkt underlagt styring. Det resterende produktionsarbejde drejer sig om modellen: telefoni, talsyntese, validering af værktøjer, gendannelse af sessioner og styring af et slutpunkt, der påløber omkostninger, selv når det er inaktivt. Businesscasen afhænger derfor af resultaterne for håndtering af opkald baseret på kundens egne lydoptagelser, holdt op mod de løbende omkostninger til udvikling og hosting.

Jonas Reeve er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, med fokus på kognitiv AI, kunstig generel intelligens (AGI) og de teoretiske grundlag for maskinintelligens. Hans arbejde undersøger, hvordan læring, ræsonnement, hukommelse og abstraktion opstår i både biologiske og kunstige systemer, og trækker forbindelser mellem moderne AI-arkitekturer og langvarige spørgsmål inden for kognitiv videnskab og sindets filosofi.

Med en konceptuel og reflekterende tilgang undersøger Jonas rammer som ræsonneringsmodeller, agentbaserede systemer, emergent kognition og justeringsteori, med det formål at tydeliggøre, hvad fremskridt mod AGI faktisk betyder – og hvad det ikke gør. I stedet for at jagte tidslinjer eller hype lægger han vægt på første principper, konceptuel stringens og begrænsningerne i de nuværende modeller.

Artikler skrevet af Jonas Reeve er AI-genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre nøjagtighed, klarhed og ansvarlig diskussion af avancerede AI-koncepter.