ElevenLabs Memperkenalkan Kustomisasi Model, ElevenAI, dan Program Mitra

ElevenLabs mengumumkan pada 11 November 2026 bahwa perusahaan akan membantu bisnis menyempurnakan model bahasa sumber terbuka pilihan dan model suaranya menggunakan data dari penerapan langsung. Pengumuman itu juga mencakup aplikasi kerja baru ElevenAI dan program mitra yang diperkenalkan di New York Summit.

Paket ini memperluas jangkauan ElevenLabs, dari pembuatan suara dan transkripsi ke perangkat lunak untuk mengelola percakapan dengan pelanggan dan pekerjaan karyawan. CEO Mati Staniszewski mengatakan bahwa dalam beberapa tahun, agen percakapan akan menjadi “infrastruktur penting bagi setiap perusahaan, sama pentingnya dengan layanan cloud atau pembayaran”, seraya menggambarkan produk-produk ini sebagai bagian dari dorongan yang lebih luas untuk memperluas penerapannya di perusahaan.

Model Khusus Perusahaan dan Pengaturan Rute Percakapan

ElevenLabs berencana memulai pekerjaan kustomisasi dalam beberapa bulan mendatang. Bisnis akan bekerja sama dengan para penelitinya untuk menyempurnakan model sesuai dengan pelanggan dan konteks operasional masing-masing, dengan memilih metrik pengoptimalan seperti kepuasan pelanggan atau keandalan. Karena data berasal dari penerapan langsung, perusahaan dapat terus menyempurnakan model seiring bertambahnya interaksi, alih-alih hanya mengandalkan model industri umum.

ElevenLabs telah menerapkan pendekatan khusus industri melalui Scribe v3 Medical, model transkripsi layanan kesehatan yang dirancang untuk mengenali terminologi khusus. Staniszewski mengatakan bahwa model yang dioptimalkan untuk bidang jasa keuangan juga sedang dikembangkan.

Interaction Engine yang diperkenalkan dalam pratinjau menangani masalah berbeda: menentukan bagaimana percakapan seharusnya berlangsung. Sistem ini mengelola giliran bicara dan interupsi, serta dapat menugaskan model bahasa yang berbeda untuk bagian-bagian percakapan yang berbeda, dengan menggunakan model yang lebih murah untuk triase dan model terdepan untuk tugas yang kompleks. Rancangan ini membuat percakapan rutin tidak perlu menggunakan model terdepan di setiap tahap dan ditujukan untuk membatasi penggunaan token.

Memori, Otomatisasi, dan Aplikasi ElevenAI

ElevenLabs mengatakan bahwa ElevenAgents, platformnya untuk menerapkan agen suara dan obrolan, akan dilengkapi dengan Memory dan Routines. Memory akan mengenali pelanggan terautentikasi yang kembali menggunakan layanan dan merangkum setiap percakapan menjadi catatan terstruktur berisi preferensi, batasan, dan kesempatan mendatang, sementara sistem manajemen hubungan pelanggan tetap menjadi catatan utama pelanggan. Sebagai contoh, pelanggan yang lebih suka berbahasa Spanyol dan hanya bisa berbicara setelah pukul 17.00 tidak perlu mengulangi informasi tersebut saat menelepon lagi.

Routines, yang juga akan hadir, dirancang untuk mengotomatiskan pekerjaan bertahap sebelum, selama, dan sesudah percakapan dengan menghubungkannya ke perangkat dan sistem yang sudah ada. Contohnya mencakup melakukan penyaringan awal terhadap pemohon hipotek lalu meneleponnya kembali dalam hitungan menit, mengingatkan pasien tentang jadwal kunjungan dan menawarkan slot yang dibatalkan kepada pasien dalam daftar tunggu, mengirim laporan lewat email, menulis ke sistem manajemen hubungan pelanggan, atau memulai panggilan. Secara keseluruhan, fitur-fitur ini memperluas fungsi ElevenAgents, dari sekadar menjawab pertanyaan menjadi menyimpan konteks dan menuntaskan pekerjaan yang terkait dengan percakapan.

Untuk karyawan, Staniszewski memperkenalkan ElevenAI, aplikasi yang mendengarkan percakapan lisan, termasuk rapat tatap muka, lalu menyusun catatan, ringkasan, dan daftar tindakan. Aplikasi ini juga dapat memberikan bantuan langsung dan meneruskan konteks antara orang dan agen. ElevenLabs mengatakan bahwa aplikasi tersebut membuat catatan rapat dengan persetujuan peserta serta dilengkapi mekanisme pemberitahuan dan persetujuan.

Akses awal gratis ke ElevenAI dibuka bersamaan dengan pengumuman tersebut. Fitur dikte dan catatan rapat menggunakan Scribe v3, yang menurut ElevenLabs merupakan model transkripsi audio rekaman mereka yang mencakup 102 bahasa; varian Scribe v3 Live yang terpisah dirancang untuk pemrosesan audio waktu nyata dengan latensi rendah.

Mitra, Marketplace, dan Infrastruktur NVIDIA

ElevenLabs melaporkan memiliki lebih dari 550 mitra di 44 negara, termasuk Google Cloud, IBM, Deloitte, DXC, dan Genesys. Program Mitra baru memungkinkan konsultan, integrator sistem, vendor perangkat lunak, dan agensi mengintegrasikan ElevenAgents ke dalam tumpukan teknologi perusahaan atau bekerja sama dengan para insinyur lapangan ElevenLabs untuk penerapan yang kompleks. Aliansi dengan McKinsey dan QuantumBlack, AI by McKinsey, memadukan platform tersebut dengan upaya transformasi perusahaan McKinsey.

Marketplace yang menyertainya pada awalnya menawarkan katalog pilihan aplikasi buatan mitra untuk layanan kesehatan, jasa keuangan, asuransi, pendidikan, dan ritel. Perusahaan dapat menelusuri aplikasi tersebut dan menghubungi pengembangnya; pembelian melalui komitmen ElevenLabs yang sudah ada direncanakan mulai pada 2027.

ElevenLabs dan NVIDIA mengumumkan bahwa Nemotron 3.5 Super VL tersedia di ElevenAgents dan ElevenLabs berencana menambahkan kapasitas komputasi NVIDIA Vera Rubin sebesar 15 MW di samping sistem Blackwell Ultra yang telah dimilikinya. Kapasitas tambahan ini ditujukan untuk penerapan berskala besar dengan persyaratan keamanan atau residensi data, serta untuk memberi para peneliti ElevenLabs akses ke komputasi yang dioptimalkan.

Kolaborasi yang diperluas ini juga mencakup agen suara yang dijalankan di infrastruktur lokal untuk Centralna e-Rejestracja, sistem janji temu pusat pada platform e-Health nasional Polandia, dengan EasyCall mendukung pelaksanaannya. Agen ini menelepon pasien yang hanya memiliki telepon rumah untuk mengingatkan mereka tentang janji temu dan membantu mereka menjadwalkan ulang. ElevenLabs menyatakan bahwa sistem pusat tersebut menangani 40 juta janji temu setiap tahun dan memiliki tingkat ketidakhadiran pasien sebesar 10% hingga 20%; penerapannya menggunakan NVIDIA Confidential Computing untuk menjaga data warga dan audio tetap berada dalam infrastruktur pemerintah serta melindunginya selama pemrosesan.

Paket Summit menjadikan strategi perusahaan ElevenLabs bergantung pada lebih dari sekadar kinerja model: penyetelan dan Memory memanfaatkan data yang terkumpul dari penggunaan langsung, Routines menghubungkan percakapan dengan sistem bisnis, sedangkan program mitra dan Marketplace membuka jalur untuk menjangkau perusahaan. Karena itu, tantangan utama pelaksanaannya terdiri atas dua hal: memperluas penggunaan produk yang telah diperkenalkan dalam pratinjau dan akses awal ke tahap produksi, serta mengubah penelusuran di Marketplace menjadi pembelian melalui komitmen ElevenLabs yang telah ada.