ElevenLabs lansează personalizarea modelelor, ElevenAI și un program pentru parteneri

ElevenLabs a anunțat pe 11 noiembrie 2026 că va ajuta companiile să ajusteze fin anumite modele lingvistice cu sursă deschisă și modelele sale vocale folosind date din implementări reale, alături de o nouă aplicație ElevenAI pentru mediul de lucru și de un program pentru parteneri, prezentate la summitul său de la New York.

Pachetul extinde activitatea ElevenLabs dincolo de generarea vocală și transcriere, către software destinat gestionării conversațiilor cu clienții și a activității angajaților. CEO-ul Mati Staniszewski a spus că, în câțiva ani, agenții conversaționali vor deveni „o infrastructură critică pentru fiecare companie, la fel de esențială ca serviciile cloud sau plățile”, prezentând aceste produse ca parte a unui efort mai amplu de implementare în mediul enterprise.

Modele adaptate companiilor și direcționarea conversațiilor

ElevenLabs intenționează să înceapă lucrările de personalizare în următoarele luni. Companiile vor colabora cu cercetătorii săi pentru a ajusta modelele în funcție de propriii clienți și de contextul operațional, alegând indicatori de optimizare precum satisfacția clienților sau fiabilitatea. Deoarece datele provin din implementări reale, companiile pot continua să rafineze modelele pe măsură ce se acumulează interacțiuni, în loc să se bazeze doar pe un model general pentru întreaga industrie.

ElevenLabs aplică deja această abordare specifică fiecărui domeniu prin Scribe v3 Medical, un model de transcriere pentru domeniul sănătății, conceput să recunoască terminologia de specialitate. Staniszewski a spus că este în curs de dezvoltare și un model optimizat pentru domeniul serviciilor financiare.

Interaction Engine, prezentat în avanpremieră, abordează o altă problemă: stabilirea modului în care ar trebui să se desfășoare o conversație. Acesta gestionează alternarea replicilor și întreruperile și poate atribui modele lingvistice diferite unor părți diferite ale unei conversații, folosind un model mai ieftin pentru triere și un model de ultimă generație pentru sarcini complexe. Astfel, conversațiile obișnuite nu trebuie să folosească un model de ultimă generație la fiecare pas, iar consumul de tokenuri ar trebui să fie limitat.

Memorie, automatizare și aplicația ElevenAI

ElevenLabs spune că ElevenAgents, platforma sa pentru implementarea agenților vocali și de chat, va include funcțiile Memory și Routines. Memory va recunoaște clienții autentificați care revin și va sintetiza fiecare conversație într-o fișă structurată cu preferințe, constrângeri și ocazii viitoare, păstrând în același timp sistemul de gestionare a relațiilor cu clienții drept evidența principală a clienților. De exemplu, un client care preferă să vorbească în spaniolă și poate vorbi doar după ora 17:00 nu va trebui să repete aceste detalii la următorul apel.

Routines, care urmează să fie lansată, este concepută pentru a automatiza activități cu mai mulți pași înaintea conversațiilor, în timpul acestora și după încheierea lor, conectându-se la instrumentele și sistemele existente. Printre exemple se numără preselecția unui solicitant de credit ipotecar și revenirea cu un apel în câteva minute, reamintirea pacienților de programări și oferirea intervalelor anulate pacienților de pe lista de așteptare, trimiterea rapoartelor prin e-mail, înregistrarea de informații în sistemul de gestionare a relațiilor cu clienții sau inițierea unor apeluri. Împreună, aceste funcții extind rolul ElevenAgents dincolo de răspunsul la întrebări, permițându-i să păstreze contextul și să ducă la bun sfârșit activitățile asociate unei conversații.

Pentru angajați, Staniszewski a prezentat în avanpremieră ElevenAI, o aplicație care ascultă conversațiile rostite, inclusiv întâlnirile față în față, și creează notițe, rezumate și liste de acțiuni. Aplicația poate oferi și asistență în timp real și poate transmite contextul între oameni și agenți. ElevenLabs spune că aplicația ia notițe în timpul întâlnirilor doar cu acordul participanților și include mecanisme de informare și obținere a consimțământului.

Odată cu anunțul, a fost deschis accesul anticipat gratuit la ElevenAI. Dictarea și notițele de la întâlniri folosesc Scribe v3, pe care ElevenLabs îl descrie drept modelul său de transcriere a înregistrărilor audio, cu suport pentru 102 limbi; varianta distinctă Scribe v3 Live este concepută pentru procesarea audio în timp real, cu latență redusă.

Parteneri, Marketplace și infrastructura NVIDIA

ElevenLabs anunță că are peste 550 de parteneri în 44 de țări, printre care Google Cloud, IBM, Deloitte, DXC și Genesys. Noul program pentru parteneri le permite firmelor de consultanță, integratorilor de sisteme, furnizorilor de software și agențiilor să integreze ElevenAgents în infrastructurile tehnologice ale companiilor sau să colaboreze cu inginerii ElevenLabs implicați direct în implementări complexe. O alianță cu McKinsey și QuantumBlack, AI by McKinsey, asociază platforma cu activitatea McKinsey de transformare a companiilor.

Marketplace-ul asociat oferă inițial un catalog atent selecționat de aplicații create de parteneri pentru domeniile sănătății, serviciilor financiare, asigurărilor, educației și comerțului cu amănuntul. Companiile pot explora aplicațiile și îi pot contacta pe dezvoltatori; achizițiile prin angajamentele existente față de ElevenLabs sunt planificate să înceapă în 2027.

ElevenLabs și NVIDIA au anunțat că Nemotron 3.5 Super VL este disponibil în ElevenAgents și că ElevenLabs intenționează să adauge o capacitate de calcul de 15 MW bazată pe NVIDIA Vera Rubin, pe lângă sistemele Blackwell Ultra existente. Capacitatea suplimentară este destinată implementărilor de mari dimensiuni care impun cerințe de securitate sau de localizare a datelor și le va oferi cercetătorilor ElevenLabs acces la resurse de calcul optimizate.

Colaborarea extinsă include și un agent vocal instalat local pentru Centralna e-Rejestracja, sistemul central de programări din platforma națională de e-sănătate a Poloniei, a cărui implementare este susținută de EasyCall. Agentul îi sună pe pacienții care au doar telefoane fixe pentru a le reaminti de programări și a-i ajuta să le reprogrameze. Potrivit ElevenLabs, sistemul central gestionează anual 40 de milioane de programări, iar rata neprezentărilor este de 10% până la 20%; implementarea folosește NVIDIA Confidential Computing pentru a păstra datele cetățenilor și înregistrările audio în infrastructura guvernamentală și a le proteja în timpul procesării.

Pachetul Summit face ca strategia ElevenLabs pentru companii să depindă de mai mult decât performanța modelelor: Tuning și Memory se bazează pe date acumulate în utilizarea efectivă, Routines conectează conversațiile la sistemele de afaceri, iar programul de parteneriat și Marketplace oferă căi de acces către companii. Prin urmare, principala provocare de execuție este dublă: trecerea produselor prezentate în versiune preliminară și cu acces timpuriu la o utilizare mai largă în producție și transformarea navigării în Marketplace în achiziții, prin intermediul angajamentelor existente ale ElevenLabs.