ElevenLabs dévoile la personnalisation de modèles, ElevenAI et un programme de partenariat

ElevenLabs a annoncé le 11 novembre 2026 qu’elle aiderait les entreprises à affiner certains modèles de langage open source et ses modèles vocaux à partir de données issues de déploiements en production. L’annonce comprend également une nouvelle application professionnelle, ElevenAI, et un programme de partenariat, présentés lors de son sommet à New York.

Cette offre étend les activités d’ElevenLabs au-delà de la génération vocale et de la transcription, en les orientant vers des logiciels de gestion des conversations avec les clients et du travail des employés. Son PDG, Mati Staniszewski, a déclaré que, d’ici quelques années, les agents conversationnels deviendraient « une infrastructure essentielle pour chaque entreprise, aussi indispensable que le cloud ou les paiements », présentant ces produits comme une initiative plus vaste visant à accélérer leur déploiement dans les entreprises.

Modèles adaptés aux entreprises et routage des conversations

ElevenLabs prévoit de commencer ces travaux de personnalisation dans les prochains mois. Les entreprises travailleront avec ses chercheurs pour affiner les modèles en fonction de leurs propres clients et de leur contexte opérationnel, en choisissant des indicateurs d’optimisation tels que la satisfaction client ou la fiabilité. Comme les données proviennent de déploiements en production, les entreprises pourront continuer à perfectionner les modèles à mesure que les interactions s’accumulent, plutôt que de s’appuyer uniquement sur un modèle généraliste du secteur.

ElevenLabs applique déjà cette approche sectorielle avec Scribe v3 Medical, un modèle de transcription destiné au secteur de la santé et conçu pour reconnaître la terminologie spécialisée. Staniszewski a indiqué qu’un modèle optimisé pour le domaine des services financiers était également en développement.

Interaction Engine, présenté en avant-première, répond à un autre enjeu : déterminer comment une conversation doit se dérouler. Il gère les tours de parole et les interruptions, et peut attribuer différents modèles de langage à différentes parties d’un échange, en utilisant un modèle moins coûteux pour le tri initial et un modèle de pointe pour les tâches complexes. Cette conception évite d’avoir à recourir à un modèle de pointe à chaque étape des échanges courants et vise à limiter l’utilisation de jetons.

Mémoire, automatisation et application ElevenAI

ElevenLabs indique qu’ElevenAgents, sa plateforme de déploiement d’agents vocaux et conversationnels, intégrera Memory et Routines. Memory reconnaîtra les clients authentifiés qui reviennent et transformera chaque conversation en un dossier structuré regroupant leurs préférences, leurs contraintes et les occasions à venir, tout en laissant au système de gestion de la relation client le rôle de dossier client de référence. Par exemple, un client qui préfère parler espagnol et ne peut être joint qu’après 17 heures n’aura pas besoin de répéter ces informations lors de l’appel suivant.

Routines, également prévu prochainement, est conçu pour automatiser des tâches en plusieurs étapes avant, pendant et après les conversations, en se connectant aux outils et systèmes existants. Parmi les exemples figurent la présélection d’un demandeur de prêt hypothécaire suivie d’un rappel dans les minutes qui suivent, les rappels de rendez-vous aux patients et la proposition de créneaux annulés aux patients sur liste d’attente, l’envoi de rapports par courriel, la saisie d’informations dans un système de gestion de la relation client ou le lancement d’appels. Ensemble, ces fonctionnalités permettent à ElevenAgents d’aller au-delà des réponses aux demandes : la plateforme peut conserver le contexte et accomplir les tâches liées à une conversation.

Pour les employés, Staniszewski a présenté en avant-première ElevenAI, une application qui écoute les conversations orales, y compris les réunions en personne, et en produit des notes, des résumés et des listes de tâches. Elle peut également fournir une assistance en temps réel et transmettre le contexte entre les personnes et les agents. ElevenLabs précise que l’application prend des notes de réunion avec le consentement des participants et comprend des mécanismes d’information et de consentement.

L’accès anticipé gratuit à ElevenAI a été ouvert à l’occasion de l’annonce. La dictée et les comptes rendus de réunion utilisent Scribe v3, que ElevenLabs décrit comme son modèle de transcription audio enregistré, compatible avec 102 langues ; la variante distincte Scribe v3 Live est conçue pour le traitement audio en temps réel à faible latence.

Partenaires, place de marché et infrastructure NVIDIA

ElevenLabs déclare compter plus de 550 partenaires dans 44 pays, parmi lesquels Google Cloud, IBM, Deloitte, DXC et Genesys. Le nouveau programme de partenariat permet aux cabinets de conseil, aux intégrateurs de systèmes, aux éditeurs de logiciels et aux agences d’intégrer ElevenAgents aux environnements technologiques des entreprises ou de collaborer avec les ingénieurs d’ElevenLabs déployés sur le terrain pour réaliser des déploiements complexes. Une alliance avec McKinsey et QuantumBlack, AI by McKinsey associe la plateforme aux activités de transformation des entreprises de McKinsey.

La place de marché associée propose dans un premier temps un catalogue sélectionné d’applications conçues par des partenaires pour les secteurs de la santé, des services financiers, de l’assurance, de l’éducation et du commerce de détail. Les entreprises peuvent parcourir les applications et contacter leurs développeurs ; la possibilité de les acheter dans le cadre d’engagements existants auprès d’ElevenLabs devrait être mise en place à partir de 2027.

ElevenLabs et NVIDIA ont annoncé que Nemotron 3.5 Super VL est disponible dans ElevenAgents et qu’ElevenLabs prévoit d’ajouter 15 MW de capacité de calcul NVIDIA Vera Rubin à ses systèmes Blackwell Ultra existants. Cette capacité supplémentaire est destinée aux déploiements de grande ampleur soumis à des exigences de sécurité ou de résidence des données, et permettra aux chercheurs d’ElevenLabs d’accéder à des ressources de calcul optimisées.

La collaboration élargie couvre également un agent vocal installé sur site pour Centralna e-Rejestracja, le système central de prise de rendez-vous de la plateforme nationale polonaise de santé en ligne, dont EasyCall accompagne le déploiement. L’agent appelle les patients qui n’ont qu’un téléphone fixe pour leur rappeler leurs rendez-vous et les aider à les reprogrammer. Selon ElevenLabs, le système central gère 40 millions de rendez-vous par an et affiche un taux d’absence de 10 % à 20 % ; le déploiement s’appuie sur NVIDIA Confidential Computing pour que les données des citoyens et les enregistrements audio restent au sein de l’infrastructure gouvernementale et soient protégés pendant leur traitement.

L’offre du Summit fait dépendre la stratégie d’entreprise d’ElevenLabs de bien plus que des performances des modèles : le réglage et Memory s’appuient sur les données accumulées en conditions réelles, Routines relie les conversations aux systèmes d’entreprise, et le programme de partenariat ainsi que Marketplace ouvrent des voies d’accès aux entreprises. Le principal défi d’exécution est donc double : faire passer les produits présentés en aperçu et ceux en accès anticipé à une utilisation plus large en production, et faire évoluer la navigation dans Marketplace jusqu’aux achats, en s’appuyant sur les engagements existants d’ElevenLabs.