ElevenLabs presenta la personalizzazione dei modelli, ElevenAI e un programma per i partner

ElevenLabs ha annunciato l’11 novembre 2026 che aiuterà le aziende a perfezionare modelli linguistici open source selezionati e i propri modelli vocali usando dati provenienti da implementazioni reali. L’annuncio, fatto in occasione del suo Summit di New York, ha presentato anche una nuova app ElevenAI per il lavoro e un programma per i partner.

L’offerta amplia l’attività di ElevenLabs, che va oltre la generazione vocale e la trascrizione per includere software destinati alla gestione delle conversazioni con i clienti e del lavoro dei dipendenti. Il CEO Mati Staniszewski ha dichiarato che, nel giro di pochi anni, gli agenti conversazionali diventeranno «infrastrutture critiche per ogni azienda, essenziali quanto il cloud o i pagamenti», presentando questi prodotti come parte di una più ampia spinta verso le implementazioni aziendali.

Modelli specifici per azienda e instradamento delle conversazioni

ElevenLabs prevede di avviare il lavoro di personalizzazione nei prossimi mesi. Le aziende collaboreranno con i suoi ricercatori per adattare i modelli ai propri clienti e al proprio contesto operativo, scegliendo metriche di ottimizzazione come la soddisfazione dei clienti o l’affidabilità. Poiché i dati provengono da implementazioni reali, le aziende potranno continuare a perfezionare i modelli man mano che si accumulano le interazioni, anziché affidarsi soltanto a un modello generale del settore.

ElevenLabs applica già questo approccio specifico per settore con Scribe v3 Medical, un modello di trascrizione per il settore sanitario progettato per riconoscere la terminologia specialistica. Staniszewski ha dichiarato che è in fase di sviluppo anche un modello ottimizzato per il settore dei servizi finanziari.

L’anteprima dell’Interaction Engine affronta un problema diverso: stabilire come deve svolgersi una conversazione. Gestisce i turni di parola e le interruzioni e può assegnare modelli linguistici diversi a parti diverse dello scambio, usando un modello meno costoso per il triage e un modello di frontiera per le attività complesse. Questa progettazione evita che gli scambi di routine richiedano un modello di frontiera a ogni passaggio e mira a limitare l’uso di token.

Memoria, automazione e app ElevenAI

ElevenLabs afferma che ElevenAgents, la sua piattaforma per distribuire agenti vocali e di chat, introdurrà Memory e Routines. Memory riconoscerà i clienti autenticati che ritornano e sintetizzerà ogni conversazione in una scheda strutturata con preferenze, vincoli e occasioni future, lasciando al sistema di gestione delle relazioni con i clienti il ruolo di archivio principale dei dati dei clienti. Per esempio, un cliente che preferisce lo spagnolo e può parlare solo dopo le 17 non dovrà ripetere queste informazioni alla chiamata successiva.

Routines, anch’esso in arrivo, è progettato per automatizzare attività articolate in più fasi prima, durante e dopo le conversazioni, collegandosi agli strumenti e ai sistemi esistenti. Tra gli esempi figurano la valutazione preliminare di una richiesta di mutuo e una richiamata entro pochi minuti, l’invio di promemoria ai pazienti per gli appuntamenti e la proposta di posti liberatisi a pazienti in lista d’attesa, l’invio di rapporti via e-mail, la registrazione di informazioni nel sistema di gestione delle relazioni con i clienti o l’avvio di chiamate. Nel loro insieme, queste funzionalità ampliano il ruolo di ElevenAgents: non più soltanto rispondere alle richieste, ma anche conservare il contesto e svolgere le attività legate a una conversazione.

Per i dipendenti, Staniszewski ha presentato in anteprima ElevenAI, un’app che ascolta le conversazioni orali, comprese le riunioni in presenza, e produce appunti, riepiloghi e punti d’azione. Può inoltre fornire assistenza in tempo reale e trasferire il contesto tra persone e agenti. ElevenLabs afferma che l’app prende appunti durante le riunioni con il consenso dei partecipanti e include meccanismi di informativa e raccolta del consenso.

Con l’annuncio è stato aperto l’accesso anticipato gratuito a ElevenAI. La dettatura e gli appunti delle riunioni utilizzano Scribe v3, che ElevenLabs descrive come il proprio modello di trascrizione di audio registrato, compatibile con 102 lingue; la variante distinta Scribe v3 Live è progettata per l’elaborazione audio in tempo reale a bassa latenza.

Partner, Marketplace e infrastruttura NVIDIA

ElevenLabs dichiara di avere oltre 550 partner in 44 Paesi, tra cui Google Cloud, IBM, Deloitte, DXC e Genesys. Il nuovo programma per i partner consente a società di consulenza, integratori di sistemi, fornitori di software e agenzie di integrare ElevenAgents negli stack tecnologici aziendali o di collaborare con gli ingegneri di ElevenLabs assegnati direttamente ai clienti per le implementazioni complesse. Un’alleanza con McKinsey e QuantumBlack, AI by McKinsey, abbina la piattaforma alle attività di trasformazione aziendale di McKinsey.

Il Marketplace associato offre inizialmente un catalogo selezionato di applicazioni realizzate dai partner per i settori sanitario, dei servizi finanziari, assicurativo, dell’istruzione e del commercio al dettaglio. Le aziende possono consultare le applicazioni e contattarne gli sviluppatori; l’avvio degli acquisti tramite gli impegni esistenti con ElevenLabs è previsto per il 2027.

ElevenLabs e NVIDIA hanno annunciato che Nemotron 3.5 Super VL è disponibile in ElevenAgents e che ElevenLabs prevede di aggiungere 15 MW di capacità di calcolo NVIDIA Vera Rubin, in aggiunta ai sistemi Blackwell Ultra già in uso. La capacità aggiuntiva è destinata alle implementazioni su larga scala che devono rispettare requisiti di sicurezza o di residenza dei dati e consentirà ai ricercatori di ElevenLabs di accedere a risorse di calcolo ottimizzate.

La collaborazione ampliata comprende anche un agente vocale installato in locale per Centralna e-Rejestracja, il sistema centrale di prenotazione degli appuntamenti della piattaforma nazionale polacca di sanità elettronica, la cui implementazione è supportata da EasyCall. L’agente chiama i pazienti che dispongono solo di una linea fissa per ricordare loro gli appuntamenti e aiutarli a riprogrammarli. Secondo ElevenLabs, il sistema centrale gestisce 40 milioni di appuntamenti all’anno e registra tassi di mancata presentazione compresi tra il 10% e il 20%; l’implementazione utilizza NVIDIA Confidential Computing per mantenere i dati dei cittadini e l’audio all’interno delle infrastrutture governative e proteggerli durante l’elaborazione.

Il pacchetto del Summit rende la strategia aziendale di ElevenLabs dipendente da fattori che vanno oltre le prestazioni dei modelli: la messa a punto e Memory attingono ai dati accumulati durante l’uso effettivo, Routines collega le conversazioni ai sistemi aziendali, mentre il programma per i partner e il Marketplace aprono canali di accesso alle imprese. La sfida centrale dell’esecuzione è quindi duplice: portare i prodotti presentati in anteprima e quelli in accesso anticipato a un utilizzo più ampio in produzione e far evolvere la consultazione del Marketplace fino agli acquisti, facendo leva sugli impegni già assunti da ElevenLabs.