ElevenLabs onthult modelaanpassing, ElevenAI en partnerprogramma

ElevenLabs maakte op 11 november 2026 bekend dat het bedrijven gaat helpen geselecteerde opensource-taalmodellen en spraakmodellen nauwkeurig af te stemmen met gegevens uit live-implementaties. Daarnaast introduceerde het bedrijf tijdens zijn New York Summit een nieuwe werkplekapp, ElevenAI, en een partnerprogramma.

Met dit aanbod breidt ElevenLabs zijn activiteiten uit van spraakgeneratie en transcriptie naar software voor het beheren van klantgesprekken en werk van medewerkers. CEO Mati Staniszewski zei dat conversationele agents binnen enkele jaren “voor elke onderneming essentiële infrastructuur zouden worden, net zo onmisbaar als cloud of betalingen”. Daarmee presenteerde hij de producten als onderdeel van een bredere uitbreiding van de inzet van de technologie bij ondernemingen.

Bedrijfsspecifieke modellen en gespreksroutering

ElevenLabs wil de aanpassingen de komende maanden gaan uitvoeren. Bedrijven werken samen met de onderzoekers van het bedrijf om modellen af te stemmen op hun eigen klanten en operationele context. Daarbij kunnen ze optimalisatiemaatstaven kiezen, zoals klanttevredenheid of betrouwbaarheid. Omdat de gegevens afkomstig zijn uit live-implementaties, kunnen bedrijven de modellen blijven verfijnen naarmate er meer interacties plaatsvinden, in plaats van uitsluitend te vertrouwen op een algemeen model voor de sector.

ElevenLabs past deze sectorspecifieke aanpak al toe met Scribe v3 Medical, een transcriptiemodel voor de gezondheidszorg dat is ontwikkeld om gespecialiseerde terminologie te herkennen. Staniszewski zei dat er ook een domeinspecifiek geoptimaliseerd model voor financiële dienstverlening in ontwikkeling is.

De preview van Interaction Engine richt zich op een ander vraagstuk: bepalen hoe een gesprek moet verlopen. Het systeem beheert de beurtwisseling en onderbrekingen en kan verschillende taalmodellen toewijzen aan verschillende delen van een gesprek. Zo kan het een goedkoper model gebruiken voor de eerste beoordeling en een geavanceerd model voor complexe taken. Dankzij dit ontwerp zijn voor routinematige gesprekken niet bij elke stap geavanceerde modellen nodig; het moet bovendien het tokengebruik beperken.

Geheugen, automatisering en de ElevenAI-app

ElevenLabs zegt dat ElevenAgents, het platform voor het inzetten van spraak- en chatagents, de functies Memory en Routines krijgt. Memory herkent terugkerende, geverifieerde klanten en zet elk gesprek om in een gestructureerd overzicht van voorkeuren, beperkingen en toekomstige gelegenheden. Het klantrelatiebeheersysteem blijft daarbij het belangrijkste klantdossier. Een klant die liever Spaans spreekt en alleen na 17.00 uur kan praten, hoeft die gegevens bijvoorbeeld niet bij het volgende gesprek opnieuw door te geven.

Routines, dat eveneens binnenkort verschijnt, is ontworpen om meerstapswerk vóór, tijdens en na gesprekken te automatiseren door verbinding te maken met bestaande tools en systemen. Voorbeelden zijn een hypotheekaanvrager vooraf beoordelen en binnen enkele minuten terugbellen, patiënten herinneren aan afspraken en vrijgekomen tijdsloten aanbieden aan patiënten op de wachtlijst, rapporten e-mailen, gegevens invoeren in een klantrelatiebeheersysteem of gesprekken starten. Samen zorgen deze functies ervoor dat ElevenAgents meer doet dan vragen beantwoorden: het kan context onthouden en ook het werk rond een gesprek uitvoeren.

Voor medewerkers presenteerde Staniszewski alvast ElevenAI, een app die gesproken gesprekken, waaronder fysieke vergaderingen, beluistert en aantekeningen, samenvattingen en actiepunten maakt. De app kan ook tijdens gesprekken ondersteuning bieden en context overdragen tussen mensen en agents. Volgens ElevenLabs maakt de app met toestemming van de deelnemers aantekeningen van vergaderingen en beschikt hij over mechanismen voor kennisgeving en toestemming.

Tegelijk met de aankondiging werd gratis vroege toegang tot ElevenAI beschikbaar. Voor dicteren en vergaderaantekeningen gebruikt de app Scribe v3, dat ElevenLabs omschrijft als zijn transcriptiemodel voor opgenomen audio, met ondersteuning voor 102 talen. De afzonderlijke variant Scribe v3 Live is ontwikkeld voor audio met lage latentie in realtime.

Partners, marktplaats en NVIDIA-infrastructuur

ElevenLabs meldt meer dan 550 partners in 44 landen, waaronder Google Cloud, IBM, Deloitte, DXC en Genesys. Met het nieuwe partnerprogramma kunnen adviesbureaus, systeemintegrators, softwareleveranciers en bureaus ElevenAgents integreren in de technologiestacks van ondernemingen of bij complexe implementaties samenwerken met de engineers van ElevenLabs die op locatie worden ingezet. Een alliantie met McKinsey en QuantumBlack, AI by McKinsey, combineert het platform met McKinsey’s expertise in bedrijfstransformatie.

De bijbehorende marktplaats biedt aanvankelijk een zorgvuldig samengestelde catalogus met apps van partners voor de gezondheidszorg, financiële dienstverlening, verzekeringen, het onderwijs en de detailhandel. Ondernemingen kunnen de apps bekijken en contact opnemen met de ontwikkelaars. De mogelijkheid om aankopen te doen via bestaande contractuele afspraken met ElevenLabs moet in 2027 beschikbaar komen.

ElevenLabs en NVIDIA maakten bekend dat Nemotron 3.5 Super VL beschikbaar is in ElevenAgents en dat ElevenLabs van plan is 15 MW aan NVIDIA Vera Rubin-rekencapaciteit toe te voegen aan de bestaande Blackwell Ultra-systemen. De extra capaciteit is bedoeld voor grootschalige implementaties met beveiligings- of vereisten voor gegevensopslag binnen een bepaalde regio, en moet onderzoekers van ElevenLabs toegang geven tot geoptimaliseerde rekenkracht.

De uitgebreide samenwerking omvat ook een lokaal gehoste spraakagent voor Centralna e-Rejestracja, het centrale afsprakensysteem op het Poolse nationale e-gezondheidsplatform, waarvan EasyCall de implementatie ondersteunt. De agent belt patiënten die alleen een vaste telefoon hebben om hen aan afspraken te herinneren en te helpen die te verzetten. Volgens ElevenLabs verwerkt het centrale systeem jaarlijks 40 miljoen afspraken en bedraagt het percentage afspraken waarbij patiënten niet komen opdagen 10% tot 20%. Bij de implementatie wordt NVIDIA Confidential Computing gebruikt om gegevens van burgers en audio binnen de overheidsinfrastructuur te houden en ze tijdens de verwerking te beschermen.

Het Summit-pakket maakt de ondernemingsstrategie van ElevenLabs afhankelijk van meer dan alleen de prestaties van de modellen: voor tuning en Memory wordt gebruikgemaakt van gegevens die tijdens daadwerkelijk gebruik zijn verzameld, Routines koppelt gesprekken aan bedrijfssystemen en het partnerprogramma en Marketplace bieden toegang tot ondernemingen. De centrale uitvoeringsuitdaging bestaat dan ook uit twee onderdelen: de producten die in preview zijn getoond en de producten met vroege toegang naar een breder productiegebruik brengen, en het browsen op Marketplace omzetten in aankopen, voortbouwend op bestaande toezeggingen van ElevenLabs.