Alexey Aylarov, Co-Founder dan CEO Voximplant – Seri Wawancara

Alexey Aylarov mendirikan Voximplant setelah menghabiskan satu dekade membangun alat komunikasi dari awal. Pekerjaan awalnya termasuk pengembangan IP PBX dan menjalankan perusahaan perangkat lunak telekomunikasi sendiri jauh sebelum teleponi awan menjadi mainstream. Zingaya datang berikutnya, membawa click-to-call di dalam browser. Voximplant mengikuti, tumbuh menjadi platform tanpa server yang digunakan pengembang untuk suara dan video waktu nyata. Alexey menulis tentang sisi praktis Voice AI, terutama di mana model bahasa besar bertabrakan dengan kenyataan yang kacau dari teleponi global.

Anda memulai karir Anda sebagai insinyur VoIP di pertengahan 2000-an, jauh sebelum AI memasuki komunikasi waktu nyata. Apa yang menjadi kesenjangan terbesar yang Anda lihat saat itu yang akhirnya mendorong Anda untuk mendirikan Voximplant?

Saya telah terlibat dengan sistem VoIP sejak 2005. Saat itu, membangun komunikasi yang dapat diandalkan lambat dan kompleks. Saya menyadari bahwa banyak pengembang berbagi frustrasi saya – tim mencoba menghubungkan komponen telekomunikasi alih-alih fokus pada pengalaman produk yang sebenarnya mereka ingin kirim. Ini mendorong saya untuk bergerak menuju gagasan komunikasi yang dapat diprogram untuk pengembang. Kami ingin menciptakan produk yang akan memungkinkan semua orang untuk membangun produk tanpa perlu menjadi ahli telekomunikasi.

Sebelum Voximplant, saya mendirikan layanan panggilan SIP Flashphone dan Zingaya, yang menawarkan produk click-to-call awal. Permintaan membuktikan sekali lagi bahwa tim ingin komunikasi yang dapat diprogram, tetapi alatnya belum ada. Semua itu mengarah pada penciptaan Voximplant pada 2013.

Hari ini, kita melihat kesenjangan serupa, tetapi dalam skala yang lebih besar. Voice AI memasuki alur produksi, LLM terus berkembang setiap bulan, tetapi jaringan telepon global masih terfragmentasi. Tidak ada vendor tunggal yang dapat menyelesaikan semuanya dari ujung ke ujung. Itulah mengapa Voximplant bertindak sebagai lapisan orkestrasi, menawarkan pengembang cara yang cepat dan efektif biaya untuk bereksperimen dengan alat dan alat canggih terbaru dan menerapkan Agen Suara pada panggilan nyata, tanpa perlu khawatir tentang infrastruktur teleponi atau kompleksitas streaming.

Voximplant memposisikan diri sebagai lapisan orkestrasi daripada penyedia AI atau teleponi tunggal. Mengapa Anda percaya orkestrasi adalah lapisan abstraksi yang tepat untuk dibangun untuk masa depan voice AI?

Hal ini penting bagi kami dari awal untuk menjadi global, dan Anda tidak dapat menyediakan platform teleponi global tanpa melakukan beberapa orkestrasi teleponi. Persyaratan teknis dan infrastruktur bervariasi menurut negara, dan kami menawarkan nomor telepon di lebih dari 190 negara, sehingga kami melakukan banyak mediasi teknis.

Selain itu, standar teleponi seperti SIP telah berkembang menjadi banyak rasa di seluruh vendor. Menghubungkan berbagai operator telekomunikasi dan infrastruktur komunikasi pelanggan memerlukan sistem yang fleksibel yang dapat beradaptasi dengan cepat. Jaringan telepon baru, seperti WhatsApp, misalnya, terus mendorong kebutuhan di sini – dan ini semua sebelum menambahkan logika kontrol komunikasi yang sebenarnya mengeksekusi logika aplikasi unik pelanggan kami.

Di sisi AI, pasar sangat intens dan berkembang dengan cepat. Vendor “terbaik” hari ini kemungkinan akan berada di tempat kedua atau ketiga minggu depan. Pendekatan kami adalah untuk mendukung sebanyak mungkin penyedia terkemuka. Kami ingin pelanggan kami selalu memiliki set lengkap pilihan canggih untuk dipilih. Mereka dapat memilih penyedia AI yang tepat untuk aplikasi yang diberikan – atau bahkan mencampur dan mencocokkan. Platform orkestrasi kami juga bertujuan untuk membuat beralih antara penyedia lebih sederhana – sambil masih mengekspos kemampuan penuh mereka sehingga pengembang tidak terjebak dengan set fitur yang paling umum.

Banyak tim meremehkan betapa sulitnya bagi agen AI suara untuk menempatkan dan mengelola panggilan telepon nyata. Dari perspektif Anda, apa yang membuat teleponi dunia nyata sangat menantang dibandingkan dengan interaksi AI digital murni?

Jaringan telepon masih sangat terfragmentasi dan tidak konsisten di seluruh wilayah, membuatnya bahkan lebih tidak terduga. Di beberapa negara, protokol tertentu mungkin dibatasi atau diblokir, operator mengalami gangguan sebagai bagian dari operasi normal, dan pola pengalihan panggilan dapat berubah sepanjang hari. Ada juga wilayah di mana teleponi awan dapat menjadi rumit secara hukum.

Kami juga telah melihat kasus di mana infrastruktur itu sendiri menjadi bottleneck. Misalnya, sebuah startup kesehatan Australia yang membangun AI caller untuk memeriksa pasien berbahasa Kanton yang sudah lanjut usia mengalami latensi tinggi ke penyedia AI AS (seperti OpenAI atau ElevenLabs), dan ketersediaan TTS Kanton yang berkualitas tinggi terbatas membuat percakapan terasa lambat dan tidak alami.

Di atas keandalan, ada lapisan kepatuhan. Persyaratan bervariasi secara luas dari negara ke negara dan sering tumpang tindih dengan kerangka seperti HIPAA, PCI DSS, dan GDPR.

Kinerja ucapan itu sendiri tidak universal juga. Tidak ada mesin STT atau TTS yang bekerja terbaik di setiap lingkungan. Aksen, kebisingan latar, fluktuasi kualitas panggilan, atau bahkan degradasi penyedia dapat menyebabkan penurunan tiba-tiba dalam akurasi dan pengalaman pengguna.

Beberapa sistem Voice AI saat ini bergantung pada beberapa vendor untuk LLM, speech-to-text, text-to-speech, dan pengalihan. Mengapa fragmentasi ini tidak dapat dihindari, dan mengapa mengganti penyedia AI atau ucapan harus menjadi perubahan kode yang cepat daripada proyek teknik besar?

Pada awal Voice AI, tidak ada opsi speech-to-speech yang sebenarnya, sehingga Anda harus menggabungkan speech-to-text, LLM, dan text-to-speech. Hari ini, beberapa vendor LLM mengintegrasikan ucapan secara langsung (sering dengan beberapa tingkat dukungan barge-in), menghilangkan kebutuhan untuk membangun pipa penuh. Sistem ini lebih cepat dan sangat interaktif, tetapi masih memiliki keterbatasan dalam aspek seperti panggilan fungsional dan menawarkan lebih sedikit pilihan untuk meningkatkan transkripsi dan suara. Kami berharap LLM berbasis ucapan akan setara dengan model teks segera. Bahkan kemudian, pelanggan mungkin masih ingin menggunakan penyedia ucapan yang berbeda untuk kebutuhan spesifik mereka. Beberapa pemisahan pipa juga menambahkan pilihan untuk redundansi.

Mengganti penyedia AI dan ucapan di platform kami tidak memerlukan upaya teknik besar, tetapi lebih dari satu baris kode, juga. Penyedia ucapan terus berjuang melawan komoditisasi dengan memperkenalkan fitur unik. Kami menjaga konektor kami tetap konsisten sebanyak mungkin sambil mengekspos kemampuan penyedia, sehingga mengambil keuntungan dari fitur unik ini, mengganti penyedia sering kali berarti mengubah beberapa baris kode.

Bagaimana agen AI suara mulai mengubah ekonomi dukungan pelanggan, penjualan, dan operasi B2C lainnya dibandingkan dengan model pusat panggilan tradisional?

Mungkin terlalu dini untuk berbicara tentang perubahan signifikan dalam ekonomi dukungan pelanggan, tetapi pasti akan datang. Hari ini, ada wilayah di mana perwakilan dukungan pelanggan berbiaya lebih rendah daripada layanan LLM, namun model ini datang dengan tantangan yang sudah diketahui sekitar skalabilitas, kelelahan, manajemen, dan operasi. Saya berasumsi ekonomi akan berubah secara signifikan karena optimisasi LLM terus membaik, meskipun masih membutuhkan waktu.

Apa yang menjadi sinyal yang menunjukkan bahwa Voice AI bergerak dari eksperimen ke infrastruktur kritis untuk perusahaan?

Sinyal terkuat di sini adalah investasi dalam infrastruktur Voice AI, yang tumbuh dengan cepat. Ada cara untuk melacak panggilan atau menit Voice AI di skala global, jika tidak secara akurat, melalui perkiraan. Sementara saya dapat melacak ini secara langsung hanya untuk Voximplant, kami jelas melihat pertumbuhan yang kuat.

Bagaimana Anda pikir harapan pengembang sekitar fleksibilitas dan kontrol telah berubah seiring model AI dan teknologi suara beriterasi lebih cepat?

Itu pertanyaan menarik. Ketika datang ke kecepatan perubahan, AI tidak tertandingi oleh apa pun yang telah kita lihat dalam sejarah. Kontrol dan fleksibilitas kurang langsung, tergantung pada apa yang kita maksud dengan istilah tersebut. Ketika datang ke kontrol, ada banyak tantangan yang sudah diketahui, dan mengatasi mereka tidaklah mudah. Sebagian besar perusahaan AI menghabiskan upaya signifikan pada pembatas model, tetapi melakukan ini dengan baik memerlukan keahlian yang mendalam, dan perusahaan yang berbeda jelas memiliki tujuan yang berbeda.

Apa kesalahan yang paling umum dilakukan perusahaan ketika mencoba menerapkan agen AI suara langsung di atas sistem teleponi tradisional?

Sistem teleponi tradisional tidak kompatibel langsung dengan layanan Voice AI, sehingga mereka biasanya memerlukan integrasi tambahan, biasanya melalui protokol SIP atau WebSockets. Kesalahan umum termasuk manajemen failover yang tidak memadai, masalah latensi (yang dapat disebabkan oleh berbagai faktor), dan tantangan skalabilitas.

Teleponi itu sendiri berskala cukup baik, terutama dengan VoIP. Layanan Voice AI lebih sulit untuk diskalakan karena kebutuhan perangkat keras yang diperlukan untuk menjalankan LLM, dan bahkan pemain infrastruktur besar seperti Amazon (AMZN ) dapat menghadapi keterbatasan kapasitas ketika datang ke perangkat keras inferensi.

Menghadap ke depan, apa kemampuan yang harus didukung oleh platform AI suara untuk tetap relevan karena AI waktu nyata menjadi lebih otonom?

Saya pikir platform Voice AI perlu fokus pada SLA, karena ini masih dapat menjadi masalah terkadang, dan pada alat tambahan untuk pengujian dan pengamatan.

Akhirnya, platform yang paling canggih akan menawarkan semua yang diperlukan, tetapi hari ini, kami masih belajar pelajaran baru setiap hari, banyak di antaranya harus menjadi bagian dari tumpukan inti. Jika Anda bekerja dengan perusahaan besar atau di lingkungan yang diatur, memiliki versi on-prem dari produk Anda dapat sangat kritis.

Ketika Anda memikirkan kembali perjalanan Anda dari infrastruktur VoIP awal ke memimpin platform AI suara hari ini, apa yang paling mengejutkan Anda tentang bagaimana industri telah berkembang?

Banyak hal yang mengejutkan saya, tetapi salah satunya adalah bahwa perubahan dalam infrastruktur VoIP membutuhkan waktu bertahun-tahun untuk terjadi. Contoh yang baik adalah bahwa teleponi masih bergantung pada codec audio narrow-band (G.711, G.729), sementara orang sudah terbiasa dengan audio wideband di layanan komunikasi online seperti Zoom, Google Meet, WhatsApp, dll.

Sebagian besar model AI dilatih pada data audio wideband juga. Semua ponsel modern memiliki codec audio wideband yang dibangun, tetapi masih ada tantangan interoperabilitas yang signifikan pada tingkat operator yang mencegah audio wideband digunakan dalam panggilan telepon tradisional. Ini tidak berarti tidak ada kemajuan sama sekali, tetapi menurut pendapat saya, itu sangat modest.