KI-Modelle und Plattformen
ElevenLabs stellt Modellanpassung, ElevenAI und Partnerprogramm vor
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
ElevenLabs kündigte am 11. November 2026 an, Unternehmen bei der Feinabstimmung ausgewählter Open-Source-Sprachmodelle und seiner Sprachmodelle mithilfe von Daten aus Live-Einsätzen zu unterstützen. Außerdem stellte das Unternehmen auf seinem Summit in New York eine neue Arbeitsplatz-App namens ElevenAI und ein Partnerprogramm vor.
Das Paket erweitert das Angebot von ElevenLabs über Sprachgenerierung und Transkription hinaus um Software zur Verwaltung von Kundengesprächen und der Arbeit von Beschäftigten. CEO Mati Staniszewski erklärte, dialogorientierte Agenten würden innerhalb weniger Jahre „für jedes Unternehmen zu einer kritischen Infrastruktur, so unverzichtbar wie Cloud-Dienste oder Zahlungsverkehr“. Damit ordnete er die Produkte einer umfassenderen Initiative zur Einführung in Unternehmen zu.
Unternehmensspezifische Modelle und Gesprächssteuerung
ElevenLabs will in den kommenden Monaten mit den Anpassungsarbeiten beginnen. Unternehmen werden gemeinsam mit den Forschenden des Unternehmens Modelle auf ihre Kunden und ihren jeweiligen Einsatzkontext abstimmen und dabei Optimierungskennzahlen wie Kundenzufriedenheit oder Zuverlässigkeit auswählen. Da die Daten aus Live-Einsätzen stammen, können Unternehmen die Modelle mit zunehmender Zahl von Interaktionen weiter verfeinern, anstatt sich ausschließlich auf ein allgemeines Branchenmodell zu verlassen.
ElevenLabs verfolgt diesen branchenspezifischen Ansatz bereits mit Scribe v3 Medical, einem Transkriptionsmodell für das Gesundheitswesen, das auf das Erkennen spezialisierter Fachbegriffe ausgelegt ist. Staniszewski zufolge befindet sich außerdem ein für den Finanzdienstleistungssektor optimiertes Modell in Entwicklung.
Die vorgestellte Interaction Engine widmet sich einer anderen Aufgabe: Sie bestimmt, wie ein Gespräch ablaufen soll. Sie steuert den Sprecherwechsel und Unterbrechungen und kann verschiedenen Abschnitten eines Gesprächs unterschiedliche Sprachmodelle zuweisen – etwa ein kostengünstigeres Modell für die erste Einordnung und ein Spitzenmodell für komplexe Aufgaben. Dadurch sollen Routinegespräche nicht bei jedem Schritt ein Spitzenmodell erfordern; zugleich soll der Token-Verbrauch begrenzt werden.
Gedächtnis, Automatisierung und die ElevenAI-App
ElevenLabs zufolge erhält ElevenAgents, die Plattform zur Bereitstellung von Sprach- und Chat-Agenten, die Funktionen Memory und Routines. Memory erkennt wiederkehrende, authentifizierte Kunden und fasst jedes Gespräch in einem strukturierten Datensatz mit Präferenzen, Einschränkungen und künftigen Anlässen zusammen. Das CRM-System bleibt dabei die maßgebliche Kundenakte. Ein Kunde, der Spanisch bevorzugt und nur nach 17 Uhr sprechen kann, müsste diese Angaben beim nächsten Anruf beispielsweise nicht erneut machen.
Die ebenfalls noch ausstehende Funktion Routines soll mehrstufige Arbeitsabläufe vor, während und nach Gesprächen automatisieren und dabei bestehende Werkzeuge und Systeme einbinden. Beispiele sind die Vorprüfung eines Hypothekenantragstellers mit einem Rückruf innerhalb weniger Minuten, Terminerinnerungen für Patienten und das Anbieten abgesagter Termine für Patienten auf Wartelisten, der Versand von Berichten per E-Mail, das Schreiben in ein CRM-System oder das Einleiten von Anrufen. Zusammengenommen gehen die Funktionen über das Beantworten von Anfragen hinaus: ElevenAgents soll den Gesprächskontext behalten und auch die damit verbundenen Aufgaben erledigen.
Für Beschäftigte stellte Staniszewski ElevenAI vor, eine App, die gesprochene Gespräche – auch bei persönlichen Treffen – aufzeichnet und daraus Notizen, Zusammenfassungen und Aufgaben erstellt. Sie kann außerdem in Echtzeit Unterstützung bieten und den Kontext zwischen Menschen und Agenten weitergeben. ElevenLabs zufolge erstellt die App mit Einwilligung der Teilnehmenden Besprechungsnotizen und verfügt über Verfahren zur Information und Einholung der Einwilligung.
Mit der Ankündigung wurde der kostenlose vorzeitige Zugang zu ElevenAI freigeschaltet. Für Diktate und Besprechungsnotizen kommt Scribe v3 zum Einsatz, das ElevenLabs als sein Transkriptionsmodell für aufgezeichnete Audiodaten beschreibt, das 102 Sprachen abdeckt. Die separate Variante Scribe v3 Live ist für Audio in Echtzeit mit geringer Latenz ausgelegt.
Partner, Marktplatz und NVIDIA-Infrastruktur
ElevenLabs zufolge umfasst sein Partnernetzwerk mehr als 550 Partner in 44 Ländern, darunter Google Cloud, IBM, Deloitte, DXC und Genesys. Das neue Partnerprogramm ermöglicht Beratungsunternehmen, Systemintegratoren, Softwareanbietern und Agenturen, ElevenAgents in die Technologieumgebungen von Unternehmen zu integrieren oder bei komplexen Implementierungen mit den direkt bei Kunden eingesetzten Ingenieurteams von ElevenLabs zusammenzuarbeiten. Eine Allianz mit McKinsey und QuantumBlack, AI by McKinsey, verbindet die Plattform mit McKinseys Arbeit zur Transformation von Unternehmen.
Der dazugehörige Marktplatz bietet zunächst einen kuratierten Katalog von Partneranwendungen für das Gesundheitswesen, Finanzdienstleistungen, Versicherungen, Bildung und Einzelhandel. Unternehmen können die Anwendungen durchsuchen und deren Entwickler kontaktieren. Der Kauf über bestehende Vereinbarungen mit ElevenLabs soll 2027 möglich werden.
ElevenLabs und NVIDIA gaben bekannt, dass Nemotron 3.5 Super VL in ElevenAgents verfügbar ist und ElevenLabs seine bestehende Rechenkapazität mit Blackwell Ultra um 15 MW an NVIDIA-Vera-Rubin-Rechenleistung erweitern will. Die zusätzliche Kapazität ist für umfangreiche Implementierungen mit Sicherheits- oder Anforderungen an die Datenresidenz vorgesehen und soll den Forschenden von ElevenLabs Zugang zu optimierter Rechenleistung verschaffen.
Die erweiterte Zusammenarbeit umfasst außerdem einen vor Ort betriebenen Sprachagenten für Centralna e-Rejestracja, das zentrale Terminvergabesystem der nationalen polnischen E-Health-Plattform; EasyCall unterstützt die Bereitstellung. Der Agent ruft Patienten an, die ausschließlich über einen Festnetzanschluss erreichbar sind, um sie an Termine zu erinnern und ihnen bei einer Umbuchung zu helfen. ElevenLabs zufolge verwaltet das zentrale System jährlich 40 Millionen Termine und verzeichnet Nichterscheinungsquoten von 10 % bis 20 %; bei der Bereitstellung kommt NVIDIA Confidential Computing zum Einsatz, damit Bürgerdaten und Audiodaten innerhalb der staatlichen Infrastruktur bleiben und während der Verarbeitung geschützt sind.
Das Summit-Paket macht ElevenLabs’ Unternehmensstrategie von mehr als nur der Modellleistung abhängig: Feinabstimmung und Memory greifen auf Daten zurück, die sich im Live-Betrieb angesammelt haben, Routines verbindet Gespräche mit Geschäftssystemen, und das Partnerprogramm sowie der Marketplace eröffnen Wege in Unternehmen. Die zentrale Herausforderung bei der Umsetzung ist daher zweigeteilt: Die in der Vorschau gezeigten und im Early Access verfügbaren Produkte müssen breiter in den Produktivbetrieb überführt werden, und das Stöbern im Marketplace muss über bestehende ElevenLabs-Verpflichtungen zu Käufen führen.
