AI Dapat Membantu Anda Menghubungi Orang Nyata Lebih Cepat

Penelitian baru menunjukkan bahwa pengaturan AI ChatGPT-style open source dapat memotong panggilan ke orang yang tepat di pusat panggilan menggunakan bahasa alami, tanpa mengikuti pilihan menu yang menjengkelkan yang berbeda setiap minggu, tampaknya sengaja menghalangi.

Mencoba menghubungi orang nyata di pusat panggilan dapat menjadi pengalaman yang frustrasi, karena perlu menavigasi pilihan ganda dengan kecepatan yang lambat – sering tanpa kepastian tentang mana dari pilihan tersebut yang sesuai dengan kasus Anda. Jika tidak ada yang sesuai, pengguna berpengalaman cenderung mengadopsi trik dan cara untuk mendapatkan akses ke penasihat manusia dan keluar dari ‘neraka pilihan’. Banyak dari kita akan mengenali ini sebagai pengalaman yang lebih atau kurang ‘kompetitif’ dan tidak ramah pengguna.

Tidak mengherankan, pusat panggilan berada di garis depan untuk peningkatan atau penggantian oleh sistem AI; dan, meskipun pendekatan yang hati-hati dianjurkan dari beberapa kalangan, otomatisasi AI pusat panggilan tetap buah yang mudah dipanen untuk judul teknologi, dan untuk prospek inovasi berbasis AI yang dapat menawarkan ROI awal yang tidak biasa.

Toko Tutup

Tapi ada beberapa area di mana prinsip open source dan data yang tersedia secara gratis jarang diterapkan atau tersedia, dan ini adalah salah satunya. Ini masuk akal: setiap perusahaan yang tertarik untuk mengotomatisasi sistem respons pelanggan mereka akan memiliki minat yang terbatas atau nol untuk berbagi data yang memuat wawasan mereka, metodologi, atau IP perusahaan.

Untuk satu hal, berbagi sumber daya ini akan menghabiskan mereka keunggulan kompetitif; lebih penting lagi, mengingat bagaimana sistem AI yang rentan terhadap mengungkapkan informasi yang diprivilegi, ini secara hukum berisiko.

Hal ini telah menyebabkan beberapa pemain yang berinvestasi dengan baik mengembangkan sistem respons pusat panggilan AI-aided secara independen dari satu sama lain (presumably dengan beberapa redundansi upaya yang tidak terhindarkan); dan untuk proliferasi startup B2B dan pemain mapan yang mencari untuk memenuhi permintaan yang meningkat untuk kemampuan respons pelanggan yang didorong AI.

Asisten suara PolyAI membuka panggilan layanan pelanggan untuk perusahaan fiktif ‘Augusta Lawn Care’, mengandalkan kuantitas besar percakapan pelatihan untuk mengotomatisasi respons melalui infrastruktur pusat panggilan yang ada. Sumber

Tambahan lagi, lomba untuk menghilangkan frustrasi menavigasi labirin pusat panggilan telah terbukti sebagai pendorong untuk upaya penelitian – meskipun sebagian besar publikasi tersebut cenderung terjadi di luar jaringan publikasi penelitian terbuka seperti Arxiv, sesuai dengan sifat umum yang tertutup dari pengembangan IVR.

Sebaliknya, penelitian, data, dan intelijen bisnis yang terkait dengan otomatisasi AI sistem respons pelanggan semua dijaga ketat, dengan sangat sedikit opsi open source yang tersedia – bahkan jika penggunaan sistem FOSS dan data menawarkan opsi yang sah secara hukum, yang meragukan.

Panggilan Lokal

Dengan ini, itu menyegarkan untuk melihat kertas baru dari Kolombia yang mencoba untuk mengeluarkan IVR dari vault perusahaan, setidaknya sedikit. Karya baru, sebuah entri yang ringkas berjudul Beyond IVR Touch-Tones: Customer Intent Routing using LLMs, berasal dari seorang peneliti di Universidad Distrital Francisco José de Caldas di Bogotá, dan mengklaim sebagai proyek non-tertutup pertama yang menggunakan Large Language Models (LLMs) untuk menghasilkan skema kerja untuk sistem Customer Intent Routing (CIR).

Sebagai gantinya mencoba mengakses data panggilan dunia nyata atau pohon menu proprietary, proyek baru ini menghasilkan semua komponen dari awal menggunakan tiga model AI: satu untuk menciptakan menu pusat panggilan yang realistis; yang lain untuk mensimulasikan ratusan keluhan panggilan; dan yang ketiga untuk bertindak sebagai chatbot, mencoba untuk mengarahkan keluhan tersebut ke tujuan yang tepat.

Hasilnya adalah uji coba sintetis yang sepenuhnya meyakinkan, menampilkan perusahaan telekom fiktif, bersama dengan 920 kueri pengguna yang berbeda, memungkinkan eksperimen untuk melewati risiko hukum sambil menyelidiki bagaimana AI saat ini dapat menafsirkan ucapan yang tidak jelas dan kacau, dan masih menghubungkan panggilan ke orang yang tepat.

Uji coba menunjukkan bahwa skema sistem dapat mencocokkan keluhan panggilan bebas bentuk dengan tujuan pusat panggilan yang tepat dengan akurasi hingga 89,13%, terutama ketika diberikan ‘menu datar’ sebagai gantinya dari deskripsi menu yang panjang (lebih lanjut tentang ini nanti).

Penelitian juga menemukan bahwa ketika panggilan menggunakan bahasa yang lebih santai atau bervariasi, AI melakukan kesalahan lebih; tetapi bahwa beberapa kesalahan tersebut terjadi tidak karena AI salah mengerti, tetapi karena menu telepon itu sendiri yang membingungkan.

Contoh interaksi pelanggan, dibagikan sebagai bagian dari proyek baru. Sumber

Data untuk proyek ini telah dibuat tersedia secara publik.

Metode

Model pertama dalam pendekatan tripartit ini menciptakan menu telepon yang terperinci untuk perusahaan telekom fiktif; model kedua menghasilkan pesan panggilan unik – beberapa sederhana, lainnya ditekan atau dibuat lebih santai – untuk mensimulasikan bagaimana orang berbicara ketika menelepon untuk meminta bantuan. Mengenai hal ini, 920 contoh dibuat untuk proyek.

Model ketiga diberi tugas untuk menghubungkan setiap panggilan ke departemen yang tepat, berdasarkan hanya pada pesan dan versi menu. Skema ini memungkinkan eksperimen untuk sepenuhnya dapat diulang, sambil melewati kebutuhan akan data panggilan nyata atau mengungkapkan informasi pelanggan:

Tiga sistem yang dipilih untuk pendekatan tripartit. Sumber

Tiga model yang digunakan, secara berturut-turut, adalah gpt-3.5-turbo; gpt-4o-mini; dan gpt-4.1-mini.

Untuk mensimulasikan lingkungan layanan pelanggan yang meyakinkan, perlu untuk mensintesis menu telepon yang kompleks dari awal. Karena kelangkaan dataset yang relevan, model gpt-3.5-turbo dipicu untuk menghasilkan struktur penuh, multi-cabang untuk penyedia telekom fiktif.

Setiap cabang dikonfigurasi untuk mewakili area layanan seperti penagihan, dukungan teknis akun, dan layanan baru, dengan sub-opsi yang realistis dan kedalaman yang bervariasi di seluruh pohon. Dari menu buatan ini, dua versi dibuat untuk pengujian nanti: satu sebagai hierarki teks polos, untuk meniru bagaimana manusia membaca seluruh menu; dan lainnya sebagai daftar titik akhir, masing-masing dengan urutan tekan tombolnya sendiri.

Hal ini memungkinkan sistem untuk diuji baik pada versi terperinci dan pada ‘versi yang disederhanakan’ dari tantangan pengaturan:

Dua versi menu telepon disediakan untuk AI: hierarki teks terperinci, dan daftar opsi menu langsung, untuk membandingkan seberapa baik format mana yang mendukung pengaturan panggilan ke tempat yang tepat.

Untuk menciptakan pesan panggilan yang diperlukan untuk pengujian, model bahasa kedua digunakan untuk menghasilkan set pesan asli atau permintaan, dengan sepuluh contoh unik dibuat untuk setiap titik akhir menu.

Masing-masing dari ini kemudian diperluas menjadi beberapa versi yang ditekan kembali, untuk meniru berbagai cara orang berbicara ketika menelepon untuk meminta bantuan, dan memperkenalkan perubahan dalam panjang, nada, dan bahkan kesalahan kecil atau ‘kata pengisi’.

Kesembilan ratus dua puluh pesan panggilan yang dihasilkan pada awalnya dirancang untuk menguji presisi sistem dan mensimulasikan ketidakpastian ucapan dunia nyata.

Tahap ketiga menguji seberapa akurat model terakhir dapat memetakan setiap pesan panggilan ke tujuan menu yang tepat, berdasarkan dua cara yang berbeda untuk menyajikan sistem IVR (lihat gambar di atas).

Dalam versi pertama, AI diberi garis besar penuh dan deskriptif dari pohon telepon, dengan setiap cabang dan sub-opsi yang dilayout dalam bentuk teks. Dalam versi kedua, hanya daftar titik akhir yang diberikan, masing-masing dengan urutan tekan tombolnya sendiri.

Tujuan adalah untuk melihat apakah versi yang disederhanakan dari menu akan membuatnya lebih mudah bagi model untuk memutuskan ke mana setiap panggilan harus pergi. Dalam kedua kasus, sistem menerima satu pesan pada satu waktu, dan diminta untuk mengembalikan hanya jalur, tanpa kata-kata tambahan atau penjelasan, untuk memfasilitasi skoring otomatis.

Isolasi

Untuk menghindari pencemaran hasil uji, eksperimen menjaga setiap model terisolasi dari yang lain: menu telepon disusun oleh model pertama, tetapi kemudian diperbarui secara manual, sehingga tetap tidak dikenal oleh sistem lain.

Pesan panggilan kemudian dihasilkan secara terpisah oleh gpt-4o-mini, menggunakan hanya nama titik akhir, dan tanpa akses ke struktur menu. Akhirnya, gpt-4.1-mini, yang menangani pengaturan, hanya melihat teks menu dan pesan masuk, dan tidak terlibat dalam membuat salah satunya.

Metrik

Untuk mengukur seberapa baik sistem pengaturan kinerja, dua metrik standar digunakan: akurasi didefinisikan sebagai persentase kasus di mana model mengembalikan jalur yang tepat (seperti 1‑2‑3). Untuk mengisolasi lokasi kesalahan, matriks kebingungan juga dihasilkan*, menunjukkan seberapa sering setiap jalur salah dengan yang lain. Evaluasi dilakukan dalam Python menggunakan perpustakaan pandas dan scikit-learn.

Hasil

Dalam uji coba, akurasi model sangat bergantung pada bagaimana menu telepon disajikan: ketika diberikan daftar jalur menu yang rata, sistem mencapai akurasi 89,13% pada dataset yang lebih sederhana, dibandingkan dengan 81,30% ketika menggunakan versi deskriptif penuh dari menu:

Akurasi pengaturan untuk model ketiga (LLM3), di seluruh format prompt yang berbeda dan jenis dataset, menunjukkan bahwa jalur menu yang rata konsisten outperformed deskripsi hierarkis, dan bahwa akurasi menurun sedikit ketika input diperkaya dengan bahasa yang ditekan kembali atau informal.

Polanya ini berlaku juga untuk dataset yang lebih besar, dengan variasi linguistik, di mana versi yang rata kembali performa lebih baik, mencetak 86,52% dibandingkan dengan 77,07% untuk format deskriptif.

Hasil ini, makalah tersebut mencatat, menunjukkan bahwa prompt yang lebih sederhana, berbasis daftar, membantu model mencocokkan kueri lebih andal daripada deskripsi hierarkis yang panjang.

Akurasi juga menurun sedikit ketika versi yang ditekan kembali dan informal dari pesan panggilan diperkenalkan, menunjukkan bahwa variasi yang lebih besar meningkatkan realisme, tetapi juga membuat klasifikasi lebih sulit.

Makalah tersebut menyimpulkan:

‘Hasil kami menunjukkan bahwa LLM mengarahkan niat lebih akurat ketika diberikan jalur IVR yang rata (hingga 89,13) daripada deskripsi menu yang panjang (sebanyak 77,07%), menunjukkan bahwa prompt yang ringkas dan terstruktur mengurangi kebisingan dan selaras lebih baik dengan tugas pengaturan.

‘Hal ini mendukung prinsip bahwa kejelasan dan kesederhanaan meningkatkan kinerja LLM dalam pengaturan.

‘Pentingnya, mengubah menu menjadi jalur yang rata adalah proses yang sederhana dan dapat diotomatisasi untuk penggunaan dunia nyata.’

Kesimpulan

Itu menyegarkan untuk melihat setidaknya beberapa pekerjaan terbuka yang terjadi di salah satu cabang penelitian yang paling tertutup dan eksklusif dalam literatur. Apa yang masih harus dilihat adalah apakah ‘arsitektur pembingkaian’ yang mengkontekstualkan LLM akan diperlukan di masa depan, atau apakah model hanya perlu mengakses intelijen bisnis yang tersedia secara lokal, menghilangkan kebutuhan bagi perusahaan untuk berbagi data dengan penyedia pihak ketiga.

Secara keseluruhan, prinsip desain yang lebih luas yang bekerja di sini tampaknya kemungkinan akan diadopsi secara alami oleh sistem AI di masa depan, bahkan di domain di luar layanan pelanggan, tanpa memerlukan penyesuaian yang disengaja dengan kasus penggunaan tersebut.

* Silakan merujuk ke makalah sumber untuk ini.

Dipublikasikan pertama kali pada hari Rabu, 29 Oktober 2025