Alex Smola, Salah Satu Pendiri Boson AI – Seri Wawancara

Alex Smola adalah salah satu pendiri Boson AI, tempat ia mengembangkan AI suara percakapan dan sistem multimodal. Kariernya mencakup riset akademis di Carnegie Mellon University serta inisiatif AI berskala besar di AWS. Ia memadukan pengalaman riset dan pengembangan produk tersebut untuk membangun asisten yang mampu memahami isyarat dalam percakapan, menangani interupsi, dan menyelesaikan pekerjaan yang bermanfaat.

Boson AI mengembangkan model fondasi dan perangkat untuk interaksi suara, audio, dan multimodal. Model Higgs Realtime-nya mendukung percakapan langsung dari ucapan ke ucapan, sementara platformnya yang lebih luas mencakup pembuatan ucapan ekspresif, avatar, dan agen suara untuk perusahaan. Dalam wawancara ini, Smola membahas kecerdasan percakapan, kinerja multibahasa, keekonomian inferensi, serta pengamanan yang diperlukan agar agen suara dapat digunakan dalam alur kerja bisnis nyata.

Karier Anda membawa Anda dari riset akademis di Carnegie Mellon University ke posisi memimpin inisiatif AI berskala besar di AWS, dan kini menjadi salah satu pendiri Boson AI. Apa yang mendorong Anda berfokus pada AI suara percakapan, dan keterbatasan mendasar apa dalam interaksi manusia-AI yang ingin Anda atasi?

Manusia berkomunikasi dengan lebih dari sekadar kata-kata. Kita bisa mendengar keraguan dalam suara seseorang atau melihat bahwa ia belum memahami penjelasan. Tanggapan singkat dapat memberi tahu kita untuk terus berbicara. Kita menangkap isyarat-isyarat ini tanpa berpikir, tetapi mengajari komputer untuk mengenalinya masih merupakan pekerjaan yang belum tuntas.

Itulah yang membuat bidang ini sangat menarik bagi saya. Kini kita memiliki sistem dengan kecerdasan yang cukup tinggi, tetapi berkomunikasi dengannya masih bisa terasa canggung. Saya ingin orang dapat menjelaskan kebutuhan mereka dengan kata-kata sendiri, tanpa harus mencari tahu cara berbicara dengan perangkat lunak.

Di AWS, saya belajar untuk mencermati apa yang ingin dilakukan pelanggan dan apakah produk membantu mereka melakukannya. Kami menerapkan pendekatan itu di Boson, dengan keleluasaan untuk bergerak cepat seiring kemajuan riset.

Suara dan video memberi kita lebih banyak informasi untuk dimanfaatkan. Jika seseorang tampak bingung atau ragu-ragu, asisten berkesempatan merespons sebelum percakapan melenceng. Mewujudkan interaksi sehari-hari yang berjalan baik merupakan bagian penting dari ambisi kami.

Boson AI baru-baru ini memperkenalkan Higgs Realtime, yang dirancang untuk memungkinkan interaksi alami secara langsung dari ucapan ke ucapan. Apa yang secara mendasar membedakan pendekatan ini dari sistem tradisional yang menggabungkan pengenalan ucapan, model bahasa, dan pengubahan teks menjadi ucapan, dan mengapa perbedaan itu penting bagi masa depan asisten AI?

Dalam alur kerja tradisional, pengenalan ucapan mengubah kata-kata Anda menjadi teks, model bahasa menghasilkan jawaban, lalu model ucapan membacakannya. Setiap tahap bergantung pada tahap sebelumnya, sehingga percakapan bisa terasa lambat dan terputus-putus.

Higgs Realtime adalah model ucapan-ke-ucapan yang dirancang khusus untuk audio dan dibuat untuk interaksi langsung. Pelatihannya mencakup perilaku percakapan, termasuk pergiliran bicara dan menanggapi perubahan permintaan. Pendekatan ini sangat berbeda dari sekadar menambahkan suara pada chatbot berbasis teks.

Bayangkan saat Anda mengajukan pertanyaan sulit kepada seseorang. Sambil mencari jawabannya, ia mungkin berkata, “Biar saya cari tahu dulu.” Anda tahu bahwa ia sudah mendengar pertanyaan Anda dan sedang berusaha menjawabnya. Asisten AI juga perlu melakukan hal yang sama saat mencari informasi atau menggunakan alat, agar Anda tidak bertanya-tanya apakah asisten itu memahami Anda atau berhenti bekerja.

Hal itu menjadi lebih penting lagi untuk tugas yang lebih panjang. Asisten perlu terus memberi tahu Anda apa yang sedang dikerjakannya dan merespons jika Anda mengajukan pertanyaan atau berubah pikiran.

Salah satu tantangan terbesar dalam AI percakapan adalah mengetahui kapan harus berbicara, kapan harus mendengarkan, serta cara menangani interupsi atau perubahan arah percakapan. Bagaimana Boson AI mengatasi tantangan ini, dan terobosan teknis apa yang masih diperlukan agar percakapan dengan AI terasa benar-benar alami?

Tanggapan singkat dan interupsi bisa terdengar sangat mirip, tetapi keduanya memerlukan respons yang berbeda. Jika seseorang berkata “ya” saat Anda berbicara, mungkin ia ingin Anda melanjutkan. Jika ia mengoreksi satu digit pada nomor teleponnya, Anda perlu berhenti dan menggunakan nomor yang benar. Asisten AI harus mampu membedakan keduanya.

Higgs Realtime menggunakan makna ucapan seseorang untuk membantu menentukan apakah ia sudah selesai berbicara atau sedang berhenti sejenak. Merespons dengan cepat itu penting, tetapi mengetahui cara merespons juga sama pentingnya.

Konsisten melakukannya dengan benar masih cukup sulit. Orang tidak berbicara secara bergiliran dengan rapi, dan kata-kata yang sama bisa memiliki arti berbeda bergantung pada percakapannya. Asisten harus memahami apa yang berubah dan mengingat apa yang sedang dikerjakannya.

Boson AI telah mengembangkan tolok ukur seperti IHBench untuk mengukur kemampuan agen suara dalam memulihkan percakapan setelah terinterupsi. Apa yang terungkap dari evaluasi ini tentang kelemahan model suara terkemuka saat ini, dan bagaimana seharusnya industri memikirkan kembali cara mengukur kecerdasan percakapan?

Kami membuat IHBench untuk menguji apa yang terjadi ketika seseorang menyela agen suara. Jika Anda mengoreksi sesuatu di tengah proses pemesanan, agen seharusnya menerima koreksi itu dan melanjutkan dari titik yang tepat. Anda tidak seharusnya perlu mengulang dari awal atau mendengarkan lagi informasi yang sudah disampaikan. Hasilnya sangat bervariasi, bergantung pada model dan jenis interupsi. Ada satu temuan yang sebenarnya tidak terlalu ingin kami publikasikan: secara umum, sistem berbobot tertutup menangani interupsi dengan lebih baik dan tetap berkinerja lebih baik ketika interupsi terjadi semakin jauh dalam percakapan.

Itu merupakan kesenjangan nyata dalam ekosistem terbuka, dan kami lebih memilih mengukurnya secara terbuka daripada berpura-pura bahwa kesenjangan itu tidak ada. Itu juga menjadi alasan utama keberadaan tolok ukur ini. Kesenjangan tidak bisa ditutup jika belum ada kesepakatan tentang cara mengukurnya. Kami menerbitkan tolok ukur tersebut tanpa menyertakan model kami sendiri. Saat kami kemudian menyertakannya, Higgs Realtime meraih skor 71.2 untuk kualitas pemulihan, mengungguli GPT Realtime 1.5 dengan skor 65.5, GPT Realtime 2 dengan 62.4, dan Gemini 3.1 Flash Live dengan 61.1. Jadi, kesenjangan itu bisa ditutup, dan sebuah model berbobot terbuka berhasil menutupnya.

Saya lebih suka menunjukkan hal itu melalui pengujian yang kami rancang agar sulit dan kami publikasikan sebelum memiliki apa pun untuk ditampilkan. Secara lebih luas, menurut saya, bidang ini mengukur hal yang keliru. Suara bisa terdengar sepenuhnya alami, tetapi tetap gagal menjalankan tugasnya, karena tolok ukur yang penting adalah apakah agen menyelesaikan tugas tersebut. Jika Anda harus terus mengingatkan agen tentang apa yang sedang Anda lakukan, sebaik apa pun suaranya terdengar, hal itu akan segera tidak lagi berarti.

Ada perbedaan besar antara demonstrasi AI suara yang mengesankan dan agen otonom yang mampu menangani interaksi pelanggan sungguhan. Apa yang membedakan keduanya, dan kemampuan apa yang perlu ditingkatkan sebelum perusahaan dapat menerapkan agen suara dengan yakin dalam alur kerja yang sangat penting bagi bisnis?

Kapan terakhir kali Anda senang menelepon perusahaan penyedia layanan kabel? Bagi kebanyakan orang, jawabannya adalah tidak pernah. Anda dialihkan dari satu petugas ke petugas lain, dan setiap kali harus menjelaskan lagi nama, tanggal lahir, dan masalah Anda, agar petugas berikutnya bisa menanyakan semuanya sekali lagi. Jadi, bayangkan panggilan keempat mengenai masalah yang sama. Anda tentu ingin agen mengetahui apa yang terjadi dalam tiga panggilan sebelumnya. Jika memulai ulang router tidak berhasil, mungkin sudah waktunya mengirim teknisi, dan Anda seharusnya tidak perlu mengajukan alasan itu sendiri. Agar bisa melakukannya, agen perlu memiliki akses ke riwayat akun Anda dan sistem untuk menjadwalkan kunjungan.

Agen juga harus mampu menangani kegagalan pemesanan dan mengetahui kapan harus mengalihkan Anda kepada orang yang benar-benar bisa mengatasinya. Itulah situasi yang perlu diuji oleh perusahaan sebelum menggunakan agen untuk menangani panggilan pelanggan. Lalu ada biaya operasionalnya. Sistem yang bekerja dengan sangat baik dalam demonstrasi bisa jadi terlalu mahal untuk menangani ribuan panggilan per hari. Karena itu, efisiensi merupakan bagian dari kesiapan bisnis, bukan persoalan terpisah.

Selama beberapa bulan, kami telah menjalankan skenario yang sama persis ini bersama sebuah perusahaan asuransi global. Ini bukan uji coba yang berjalan berdampingan dengan sistem sebenarnya. Sistem ini menangani percakapan langsung dengan pelanggan, baik panggilan masuk maupun keluar, bersama agen penjualan manusia di pusat kontak mereka. Sistem ini menangani ribuan panggilan secara bersamaan dengan biaya sekitar sepertiga dari biaya agen manusia.

Yang menurut saya lebih menarik daripada biayanya adalah sistem ini meningkat tanpa perlu dipindahkan dari tempatnya. Evaluasi internal mereka memberi kualitas percakapan kami skor 30 saat kami mulai. Lima bulan kemudian, skornya mencapai 80, yaitu skor yang mereka gunakan untuk telemarketer manusia berkualifikasi. GPT-4o Realtime mendapat skor 55 dalam evaluasi yang sama. Kami tidak mencapai hasil itu dengan menyetel model di laboratorium. Sistem ini membaik berdasarkan lalu lintas panggilan yang benar-benar ditanganinya, satu-satunya jenis peningkatan yang penting bagi pusat kontak.

Seiring agen suara beralih dari sekadar menjawab pertanyaan ke menjalankan tugas, mengakses informasi pelanggan, dan berinteraksi dengan sistem perusahaan, bagaimana pengembang sebaiknya menyeimbangkan otonomi dengan pengawasan manusia? Perlindungan apa yang penting untuk membangun kepercayaan jangka panjang terhadap sistem ini?

Saya akan mulai dengan bertanya, apa yang Anda percayakan untuk dilakukan oleh agen tersebut? Mengizinkannya memeriksa saldo akun sangat berbeda dengan mengizinkannya memindahkan uang atau membatalkan layanan. Hak aksesnya harus disesuaikan dengan hal itu, dan sistem yang terhubung dengannya harus menegakkan batasan tersebut. Anda tidak bisa menyerahkan semuanya pada instruksi di dalam prompt.

Orang-orang juga harus tahu apa yang mereka setujui. Sebelum membuat perubahan yang sulit dibatalkan, agen harus menjelaskan konsekuensinya dan meminta konfirmasi. Dengan begitu, jika agen menemui jalan buntu, meminta bantuan seseorang seharusnya mudah dilakukan.

Kesalahan tetap akan terjadi. Jika itu terjadi, Anda perlu bisa melihat tindakan yang dilakukan agen dan titik saat agen berhenti, agar seseorang dapat memperbaiki masalahnya. Suara yang terdengar yakin bisa membuat kita menganggap sistem tahu apa yang dilakukannya, tetapi kepercayaan itu harus diperoleh melalui perilakunya yang konsisten dan andal.

Higgs Realtime mendukung lebih dari 100 bahasa, termasuk kemampuan untuk berganti bahasa selama percakapan. Apa tantangan teknis terbesar dalam menghadirkan kecerdasan percakapan yang konsisten di berbagai bahasa, aksen, dan gaya komunikasi, khususnya dalam memahami konteks emosional dan maksud pengguna?

Cakupan bahasa terdengar seperti sekadar daftar, padahal bukan. Beberapa waktu lalu, seorang pelanggan membutuhkan dukungan bahasa Thai. Cakupan kami saat itu masih parsial, dan hal pertama yang kami sadari adalah bahwa kami sama sekali tidak memahami bahasa Thai itu sendiri. Misalnya, bahasa Thai tertulis pada dasarnya tidak menggunakan tanda baca. Hal ini menggugurkan asumsi tentang batas kalimat yang menjadi dasar sebagian besar sistem pengenalan ujaran. Kami bisa saja menunda memasuki pasar tersebut. Namun, kami justru mencari ilmuwan komputer yang bisa berbahasa Thai dan membangun ulang sistem penanganannya dengan benar.

Sekitar enam minggu kemudian, kami berada di Bangkok untuk mendemonstrasikannya. Selama demonstrasi, saya tidak tahu bagaimana tanggapan orang-orang—saya hanya mendengarkan mereka menguji sistem dalam bahasa yang tidak saya kuasai—dan setelahnya mereka mengatakan bahwa sistem itu bagus, yang tentu sangat melegakan. Kebiasaan berkomunikasi berbeda sama besarnya dengan kosakata. Dalam bahasa Jepang, pendengar memberikan tanggapan singkat saat Anda berbicara untuk menunjukkan bahwa mereka menyimak. Jika asisten berhenti setiap kali untuk memberikan giliran bicara, ritme percakapan akan rusak.

Kata-katanya bisa saja sempurna, tetapi percakapannya tetap gagal. Cara Anda mengatakan sesuatu sama pentingnya dengan apa yang Anda katakan. Kata-kata yang persis sama bisa disampaikan dengan penuh kasih sayang atau secara sarkastis, dan respons yang tepat untuk masing-masingnya sangat berbeda. Mempertahankan nada dan konteks saat bahasa berubah di tengah kalimat merupakan bagian besar dari hal yang membuat bidang ini menarik bagi saya.

Perusahaan seperti OpenAI dan Google berinvestasi besar-besaran dalam AI multimodal waktu nyata. Bagaimana perusahaan khusus seperti Boson AI dapat bersaing dengan organisasi yang memiliki sumber daya komputasi jauh lebih besar, dan di mana Anda melihat peluang terbesar untuk menciptakan diferensiasi dalam arsitektur model, kinerja, dan keekonomian inferensi?

Memiliki daya komputasi lebih besar tidak otomatis berarti kita menggunakannya dengan baik. Dalam percakapan langsung, Anda bisa menghabiskan banyak uang untuk menjalankan model yang sangat canggih hanya untuk memproses ucapan seseorang seperti “hmm” atau “ya, mungkin.” Model itu akan menggunakan banyak kecerdasannya untuk menyimak kata-kata pengisi. Otak itu mahal dan mengonsumsi banyak energi; inferensi juga demikian. Pada akhirnya, pelanggan yang menanggung biayanya.

Manusia mengatasi hal ini dengan membagi perhatian. Anda bisa berada di kedai kopi, terlibat dalam percakapan yang agak membosankan, sementara sebagian pikiran Anda memikirkan masakan untuk makan malam. Bagian depan pikiran Anda mengikuti percakapan. Lalu, ketika lawan bicara menanyakan sesuatu yang benar-benar sulit, Anda mencurahkan seluruh perhatian dan sepenuhnya tenggelam dalam percakapan itu. Kami membangun sistem percakapan dengan cara yang sama.

Model yang murah menangani bagian awal percakapan, lalu penalaran yang lebih mahal dan pemanggilan alat digunakan saat tugas memang membutuhkannya. Bagian lainnya adalah kami membeli perangkat komputasi, bukan menyewanya. Perhitungannya tidak rumit: ambil biaya per jam untuk sebuah instans cloud, kalikan dengan jumlah jam dalam setahun, dan hasilnya mendekati harga perangkat keras jika dibeli langsung. Kami menghitung titik impas untuk setiap komponen, lalu membangun sistem dari sana. Kenyataannya, prosesnya lebih sulit daripada yang terdengar, dan tidak semuanya berjalan sempurna. Namun, cara ini menyingkirkan opsi peningkatan skala secara paksa, sehingga setiap peningkatan harus berasal dari data dan arsitektur yang lebih baik. Cara ini juga ternyata melindungi kami: komponen yang ditawarkan kepada kami dengan harga di bawah $100.000 berharga kira-kira dua kali lipatnya enam bulan kemudian. Kami dapat bergerak cepat karena tim kami kecil dan berfokus pada satu hal. Seorang peneliti dapat mengembangkan sebuah ide, mengujinya, lalu memasukkannya sendiri ke dalam produk. Kami juga mendapat manfaat dari komunitas riset terbuka dan turut berkontribusi di dalamnya, sehingga tim kecil dapat melakukan jauh lebih banyak daripada yang mungkin diperkirakan dari ukurannya.

Riset Anda tentang ProactBench mengeksplorasi dimensi penting kecerdasan percakapan: mengenali kebutuhan pengguna meskipun mereka tidak memintanya secara eksplisit. Bagaimana Anda membayangkan agen suara berkembang dari asisten reaktif menjadi kolaborator proaktif, dan di mana batas antara mengantisipasi kebutuhan pengguna dan bertindak terlalu jauh sebaiknya ditetapkan?

Misalnya, Anda sedang membuat janji dengan dokter dan di awal percakapan menyebutkan bahwa Anda tidak bisa mengemudi. Asisten yang baik akan mengingatnya dan menyarankan janji temu jarak jauh atau membantu mengatur transportasi. Anda tidak seharusnya harus mengulangi informasi tersebut.

Itulah yang sedang kami teliti melalui ProactBench: apakah asisten dapat menggunakan informasi yang Anda sampaikan untuk mengantisipasi kebutuhan dan menawarkan bantuan yang tidak Anda minta secara langsung.

Tentu saja, mungkin Anda sudah mengatur tumpangan ke tempat janji temu. Asisten sebaiknya menawarkan pilihan itu dan membiarkan Anda memutuskan, bukan berasumsi bahwa ia tahu rencana Anda. Saya ingin sistem seperti ini mengurangi kerepotan, tetapi tetap membiarkan orang mengendalikan apa yang terjadi.

Melihat lima tahun ke depan, apakah Anda yakin suara akan menjadi antarmuka utama yang digunakan orang untuk berinteraksi dengan AI dan perangkat lunak? Jika ya, bagaimana perubahan itu dapat membentuk ulang aplikasi tradisional, perangkat lunak perusahaan, serta peran layar dan antarmuka pengguna grafis?

Saya memperkirakan kita akan lebih sering berbicara dengan komputer, sering kali sambil menggunakan video. Saat melihat seseorang tampak kebingungan, Anda tahu bahwa mungkin Anda perlu menjelaskan sesuatu dengan cara berbeda. Demonstrasi audio-video kami menunjukkan awal dari jenis interaksi seperti itu, dengan AI yang merespons apa yang dilihatnya sekaligus apa yang didengarnya.

Saya tetap lebih suka menggunakan papan ketik untuk menulis kode. Jika sedang membandingkan informasi, saya mungkin ingin melihatnya di layar agar bisa meninjaunya dengan kecepatan saya sendiri.

Untuk perangkat lunak bisnis, saya membayangkan kita bisa memulai tugas dengan menjelaskan apa yang dibutuhkan, lalu meninjau hasilnya di layar dan langsung membuat perubahan. Dalam lima tahun ke depan, saya rasa beralih di antara cara-cara kerja tersebut akan jauh lebih mudah. Kita bisa berbicara saat itu nyaman, lalu menggunakan layar ketika perlu bekerja dengan presisi.

Terima kasih atas wawancara yang luar biasa ini. Pembaca yang ingin menjelajahi AI suara percakapan dan agen suara untuk perusahaan dapat mengunjungi Boson AI.