KI-Modelle und Plattformen
AWS nimmt PolyAI Dialog-RSN-1 in den SageMaker-JumpStart-Katalog auf

Wichtige PunkteJumpStart verkürzt den Weg von der Evaluierung zu einem verwalteten AWS-Endpunkt…
Mehr anzeigen
- JumpStart verkürzt den Weg von der Evaluierung zu einem verwalteten AWS-Endpunkt, überlässt Telefonie und Sprachsynthese jedoch den Kunden.
- Dialog-RSN-1 gibt nur Text oder Funktionsaufrufe zurück, sodass jede Bereitstellung eine eigene Text-to-Speech-Schicht hinzufügen muss.
- Die Abrechnung beginnt, wenn der Endpunkt in Betrieb geht, und läuft bis zur Löschung weiter, selbst wenn kein Client verbunden ist.
AWS gab bekannt, dass PolyAI’s Dialog-RSN-1 am 19. November 2026 in den Katalog von Amazon SageMaker JumpStart aufgenommen wurde. Damit kommen für das sprachbasierte Kundenservicemodell die Bereitstellung per Mausklick, Evaluierungswerkzeuge und vier Optimierungsprofile hinzu. Der Endpunkt läuft im eigenen AWS-Konto des Kunden.
Die Neuerung ist der Katalog-Workflow und folgt auf zwei frühere Ankündigungen von PolyAI. PolyAI stellte Dialog-RSN-1 am 30. Juli 2026 vor und kündigte am 6. Oktober 2026 die Bereitstellung von SageMaker-Endpunkten über AWS Marketplace an. JumpStart ergänzt die Auffindbarkeit, Evaluierung und vorkonfigurierte Bereitstellung; Kunden abonnieren das Angebot weiterhin über AWS Marketplace.
Evaluierung und Bereitstellung in einem Katalog
In der Model-Hub-Ansicht der SageMaker-AI-Konsole wählt ein Kunde Dialog-RSN-1 aus und klickt auf „Bereitstellen“. JumpStart erstellt einen Echtzeit-Inferenzendpunkt auf einem vorkonfigurierten Bereitstellungs-Stack. Dadurch entfällt die manuelle Auswahl eines Containers ebenso wie das aufwendige Benchmarking Dutzender Infrastrukturkombinationen. Teams können stattdessen einige Zeilen SageMaker-Python-SDK-Code verwenden und die Bereitstellung in ihre CI/CD-Pipelines (kontinuierliche Integration und kontinuierliche Bereitstellung) integrieren.
Vor der Bereitstellung zeigt die Modellkarte die P50-Latenz, die Zeit bis zum ersten Token und den Durchsatz an. Die Profile setzen Schwerpunkte auf Latenz, Durchsatz, Kosten oder eine ausgewogene allgemeine Nutzung: Das Latenzprofil minimiert die Zeit bis zum ersten Token, das Durchsatzprofil maximiert die Anzahl der Token pro Sekunde und das Kostenprofil minimiert die Infrastrukturkosten pro Anfrage. So lässt sich die Bereitstellungskonfiguration auf Anrufvolumen, Reaktionsfähigkeit und Budgetanforderungen abstimmen, statt für jede Arbeitslast dieselbe Standardeinstellung zu verwenden.
Die Evaluierung ist im selben Katalogeintrag verfügbar. PolyAIs Beispiel-Notebook streamt aufgezeichnete Anrufer-Audiodaten und gibt die Entscheidungen des Modells zum Sprecherwechsel, seine Antworten und die Transkripte aus. So kann ein Team sein Verhalten anhand der Anrufarten prüfen, die es voraussichtlich bearbeiten wird. Teams können die Übersicht und die Beispiele vor der Bereitstellung ansehen; zum Streamen eigener Audiodaten durch das Modell ist ein Endpunkt erforderlich.
Audioverständnis mit separater Sprachkomponente
Dialog-RSN-1 verarbeitet die Audioaufnahmen von Anrufern direkt und vereint Sprecherwechsel, Spracherkennung, Antwortgenerierung und Funktionsaufrufe in einem Modell. Laut PolyAI bleiben durch die direkte Audioverarbeitung Tonfall, Zögern und zeitliche Abläufe erhalten, die in einem mehrstufigen System verloren gehen können, wenn die Spracherkennung einen Anruf auf ein Transkript reduziert. Ein Sprachaktivitätsdetektor löst jede Abfrage aus, während das erste Ausgabetoken des Modells festhält EMPTY, ONGOING oder COMPLETE, sodass die endgültige Entscheidung über den Sprecherwechsel beim Modell liegt.
Die Ausgabeverarbeitung erfolgt getrennt. Dialog-RSN-1 liefert gestreamten Antworttext oder einen Funktionsaufruf; das Transkript des Anrufers wird separat übermittelt. Das Modell erzeugt keine Sprache. Bei einer Bereitstellung muss daher eine Text-zu-Sprache-Komponente ergänzt werden. So kann der Kunde die Stimme selbst auswählen, benötigt dafür aber eine Komponente außerhalb des Modellendpunkts.
Im Marketplace-Angebot von PolyAI wird für die erste Antwort bis zum ersten Token eine mittlere Latenz von weniger als 300 Millisekunden angegeben; für einen typischen vollständigen Austausch mit einem Anrufer im Produktivbetrieb sind es rund 390 Millisekunden. Diese Unterscheidung ist wichtig, denn die reine Modelllatenz bildet nicht die Verzögerung einer vollständigen Sprachlösung ab, zu der auch Sprachsynthese, Telefonie und externe Tools gehören.
Integrationsgrenzen und stündliche Kosten
Der Endpunkt befindet sich in der virtuellen privaten Cloud des Kunden, nutzt dessen AWS-IAM-Rollen und wird über Amazon CloudWatch überwacht. Da die Inferenz innerhalb dieses Kontos ausgeführt wird, bleiben Anruf-Audio und Transkripte in einer vom Kunden kontrollierten Infrastruktur – ein für Anforderungen an Datenresidenz und Auditierung relevantes Konzept.
Der Endpunkt implementiert das OpenAI-Realtime-Protokoll. Die Client-Bridge von PolyAI stellt Realtime-Clients einen lokalen WebSocket bereit und überträgt ihre Ereignisse über den signierten bidirektionalen HTTP/2-Datenstrom von SageMaker; Anwendungen können diesen Datenstrom auch direkt aufrufen. Kunden bleiben für Telefonie, Orchestrierung, Geschäftslogik und die Ausführung von Tools verantwortlich. PolyAIs Integrationshinweise empfehlen, Datumsangaben, Referenznummern und Beträge zu überprüfen, bevor Tool-Aufrufe ausgeführt werden.
Als Audioeingabe wird ausschließlich base64-codiertes PCM16-Mono mit 16 oder 24 kHz unterstützt; G.711, Opus und Stereo werden nicht unterstützt. Das Kontextfenster umfasst 32.000 Token, und das Modell ist nur auf Englisch verfügbar. Verbindungen sind auf maximal 30 Minuten begrenzt und werden nach fünf Minuten Inaktivität beendet. Bei einer erneuten Verbindung bleibt der Zustand nicht erhalten. Anwendungen müssen daher beim Aufbau einer neuen Sitzung den relevanten Kontext wiederherstellen.
Echtzeit-Inferenz kostet 45 $ pro Host-Stunde auf ml.p4d.24xlarge und 110 $ pro Host-Stunde auf ml.p5.48xlarge. Eine Host-Stunde entspricht einer Stunde Laufzeit der Recheninstanz; zusätzliche AWS-Infrastrukturkosten können anfallen. Die Abrechnung beginnt, sobald der Endpunkt in Betrieb geht, und läuft bis zu seiner Löschung weiter – auch wenn kein Client verbunden ist. In den Bereitstellungsbeispielen von AWS werden der Endpunkt, die Endpunktkonfiguration und das Modell bei der Bereinigung gelöscht.
Der wichtigste Beitrag von JumpStart besteht darin, den operativen Weg von der Modellbewertung bis zu einem regelkonformen AWS-Endpunkt zu verkürzen. Die verbleibenden Produktionsaufgaben betreffen das Umfeld des Modells: Telefonie, Sprachsynthese, Tool-Validierung, Sitzungswiederherstellung und die Verwaltung eines Endpunkts, für den auch im Leerlauf Gebühren anfallen. Ob sich der Einsatz wirtschaftlich lohnt, hängt daher davon ab, wie gut Anrufe anhand der eigenen Audiodaten eines Kunden bearbeitet werden, gemessen an den laufenden Entwicklungs- und Hostingkosten.












