AI-modeller og plattformer

AWS legger PolyAI Dialog-RSN-1 til SageMaker JumpStart-katalogen

Jonas Reeve
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterJumpStart forkorter veien fra evaluering til et styrt AWS-endepunkt, men overlater…
Vis mer
  • JumpStart forkorter veien fra evaluering til et styrt AWS-endepunkt, men overlater telefoni og talesyntese til kundene.
  • Dialog-RSN-1 returnerer bare tekst eller funksjonskall, så hver utrulling må legge til sitt eget tekst-til-tale-lag.
  • Fakturering starter når endepunktet settes i drift og fortsetter til det slettes, selv når ingen klient er tilkoblet.

AWS kunngjorde 19. november 2026 at PolyAIs Dialog-RSN-1 er lagt til Amazon SageMaker JumpStart-katalogen. Dermed får lydmodellen for kundeservice ettklikksdistribusjon, evalueringsverktøy og fire optimaliseringsprofiler. Endepunktet kjører i kundens egen AWS-konto.

Den nye utviklingen gjelder arbeidsflyten i katalogen og følger etter to tidligere kunngjøringer fra PolyAI. PolyAI lanserte Dialog-RSN-1 30. juli 2026 og kunngjorde distribusjon av SageMaker-endepunkter via AWS Marketplace 6. oktober 2026. JumpStart gjør det enklere å finne og evaluere modellen og tilbyr forhåndskonfigurert distribusjon, mens kundene fortsatt abonnerer via AWS Marketplace.

Evaluering og distribusjon i én katalog

I Model Hub i SageMaker AI-konsollen velger kunden Dialog-RSN-1 og klikker på Deploy. JumpStart oppretter et endepunkt for sanntidsinferens på en forhåndskonfigurert serveringsplattform. Dermed slipper kunden å velge container manuelt og å teste dusinvis av kombinasjoner av infrastruktur for hånd. Team kan i stedet bruke noen få linjer med kode i SageMaker Python SDK og innlemme distribusjonen i arbeidsflyter for kontinuerlig integrasjon og kontinuerlig levering.

Før distribusjon viser modellkortet P50-latens, tid til første token og gjennomstrømming. Profilene prioriterer latens, gjennomstrømming, kostnader eller balansert bruk til generelle formål: Lavlatensprofilen minimerer tiden til første token, profilen for gjennomstrømming maksimerer antall token per sekund, og kostnadsprofilen minimerer infrastrukturkostnaden per forespørsel. Disse valgene knytter serveringskonfigurasjonen til samtalevolum, responstid og kostnadsrammer i stedet for å bruke samme standardinnstilling for alle arbeidsbelastninger.

Evalueringen er tilgjengelig i samme katalogoppføring. Eksempelnotatboken fra PolyAI strømmer innspilt lyd fra innringere og skriver ut modellens avgjørelser om turtaking, svar og transkripsjoner. Dermed kan team undersøke hvordan modellen oppfører seg i den typen samtaler den forventes å håndtere. Team kan se gjennom oversikten og eksemplene før distribusjon; for å strømme sin egen lyd gjennom modellen må de ha et endepunkt.

Lydresonnering med et separat stemmelag

Dialog-RSN-1 behandler lyden fra innringeren direkte og kombinerer turtaking, talegjenkjenning, svargenerering og funksjonskall i én modell. Ifølge PolyAI bevarer direkte lyd tonefall, nøling og timing – egenskaper et system med flere trinn kan miste når talegjenkjenning omdanner en samtale til en transkripsjon. En detektor for taleaktivitet utløser hver forespørsel, mens modellens første utdata-token registrerer EMPTY, ONGOING eller COMPLETE, slik at modellen selv tar den endelige avgjørelsen om turtaking.

Utdataene håndteres separat. Dialog-RSN-1 returnerer strømmet svartekst eller et funksjonskall, mens transkripsjonen av innringerens tale kommer separat. Modellen syntetiserer ikke tale. En distribusjon må derfor ha tekst-til-tale, slik at kunden selv kan velge stemme, men dette krever en komponent utenfor modellens endepunkt.

PolyAIs oppføring på Marketplace oppgir en medianresponstid for første token på under 300 millisekunder og omtrent 390 millisekunder for en typisk full samtale med en innringer i produksjon. Dette skillet er viktig fordi modellens latens alene ikke sier noe om forsinkelsen i en komplett taleløsning som også omfatter talesyntese, telefoni og eksterne verktøy.

Integrasjonsbegrensninger og timekostnader

Endepunktet ligger i kundens virtuelle private sky, bruker kundens roller i AWS Identity and Access Management og overvåkes via Amazon CloudWatch. Fordi inferensen kjører i kundens konto, forblir samtalelyd og transkripsjoner innenfor en infrastruktur kunden har kontroll over. Dette er relevant for krav til datalagring innenfor bestemte geografiske områder og til revisjon.

Endepunktet implementerer OpenAI Realtime-protokollen. PolyAIs klientbro tilbyr et lokalt WebSocket-grensesnitt for Realtime-klienter og overfører hendelsene deres via SageMakers signerte, toveis HTTP/2-strøm. Applikasjoner kan også kalle opp denne strømmen direkte. Kundene har fortsatt ansvar for telefoni, orkestrering, forretningslogikk og kjøring av verktøy, mens PolyAIs integrasjonsveiledning anbefaler å validere datoer, referansenumre og beløp før man utfører funksjonskall.

Lydinndata er begrenset til base64-kodet PCM16-mono ved 16 eller 24 kHz. G.711, Opus og stereo støttes ikke. Kontekstvinduet er på 32 000 token, og modellen støtter bare engelsk. Tilkoblinger har en absolutt grense på 30 minutter og en tidsavbruddsgrense på fem minutter uten aktivitet. Tilstanden videreføres ikke ved ny tilkobling, så applikasjoner må gjenopprette relevant kontekst når en ny økt opprettes.

Sanntidsinferens koster $45 per vertstime på ml.p4d.24xlarge og $110 per vertstime på ml.p5.48xlarge. En vertstime er én times drift for databehandlingsinstansen, og det kan komme ytterligere AWS-infrastrukturkostnader. Faktureringen starter når endepunktet tas i bruk, og fortsetter til det slettes, også når ingen klient er tilkoblet. AWS’ distribusjonseksempler sletter endepunktet, endepunktkonfigurasjonen og modellen under oppryddingen.

JumpStarts viktigste bidrag er en kortere operativ vei fra modelevaluering til et styrt AWS-endepunkt. Det gjenstående produksjonsarbeidet dreier seg om forhold rundt modellen: telefoni, talesyntese, validering av verktøy, gjenoppretting av økter og kontroll av et endepunkt som påløper kostnader når det står ubrukt. Lønnsomheten avhenger derfor av resultatene for samtalehåndtering målt med kundens egne lydopptak, vurdert opp mot de løpende kostnadene til utvikling og drift.

Jonas Reeve er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, med fokus på kognitiv AI, kunstig generell intelligens (AGI) og de teoretiske grunnlagene for maskinintelligens. Arbeidet hans utforsker hvordan læring, resonnering, hukommelse og abstraksjon oppstår i både biologiske og kunstige systemer, og trekker forbindelser mellom moderne AI-arkitekturer og langvarige spørsmål innen kognitiv vitenskap og sinnets filosofi.

Med en konseptuell og reflekterende tilnærming undersøker Jonas rammeverk som resonneringsmodeller, agentbaserte systemer, emergent kognisjon og justeringsteori, med mål om å klargjøre hva fremgang mot AGI faktisk betyr – og hva det ikke betyr. I stedet for å jage tidslinjer eller hype, legger han vekt på første prinsipper, konseptuell grundighet og begrensningene i dagens modeller.

Artikler skrevet av Jonas Reeve er AI-genererte og gjennomgås av Unite.AI sitt redaksjonsteam for å sikre nøyaktighet, klarhet og ansvarlig diskusjon av avanserte AI-konsepter.