Ryan McDonald, Ilmuwan Utama di ASAPP – Seri Wawancara

Ryan McDonald adalah Ilmuwan Utama di ASAPP. Ia bertanggung jawab untuk menetapkan arah penelitian dan kelompok ilmu data untuk mencapai visi ASAPP untuk meningkatkan aktivitas manusia secara positif melalui kemajuan AI. Kelompok ini saat ini fokus pada pengembangan bidang dialog yang berorientasi tugas dalam situasi dunia nyata seperti perawatan pelanggan. Dalam lingkungan dinamis seperti itu, ada banyak komponen yang berinteraksi: percakapan antara pelanggan dan agen; lingkungan dan alat yang digunakan agen; berbagai ukuran keberhasilan; berbagai kebutuhan dan situasi pelanggan. Mengoptimalkan lingkungan ini untuk menghasilkan hasil yang berkualitas bagi pelanggan, agen, dan perusahaan memerlukan investasi penelitian yang signifikan dalam pengambilan, generasi bahasa, optimasi terbatas, pembelajaran, dan, secara kritis, evaluasi.

Ryan telah bekerja pada pemahaman bahasa dan pembelajaran mesin selama lebih dari 20 tahun. Penelitiannya di University of Pennsylvania fokus pada metode pembelajaran mesin baru untuk prediksi terstruktur dalam NLP, terutama ekstraksi informasi dan analisis sintaksis. Di Penn, penelitiannya sangat penting dalam mengembangkan bidang parsing ketergantungan dan adaptasi domain dalam komunitas NLP. Setelah menyelesaikan PhD, Ryan bergabung dengan grup Penelitian Google (GOOGL ). Di sana, ia meneliti analisis sentimen dan model ringkasan untuk ulasan konsumen, yang menghasilkan salah satu sistem ringkasan konsumen skala besar pertama yang dikonsumsi oleh jutaan pengguna setiap hari.

Penelitian Ryan kemudian beralih ke pemahaman bahasa multibahasa besar. Awalnya, penelitiannya fokus pada meningkatkan terjemahan mesin, tetapi pentingnya multibahasa dalam pengambilan informasi dan asisten digital mengarahkan penelitiannya ke teknologi-teknologi ini. Tim Ryan sangat penting dalam pengembangan Google Assistant sebagai teknologi global. Selama waktu itu, ia juga memimpin konsorsium Ketergantungan Universal dengan sejumlah besar kolaborator akademis. Ini adalah konsorsium data bahasa multibahasa terbesar yang ditujukan untuk sumber daya bahasa sintaksis. Setelah lebih dari satu dekade bekerja pada produk konsumen, Ryan beralih ke perusahaan dan memimpin banyak proyek NLP dan ML untuk meningkatkan layanan Cloud Google, termasuk inti NLP API, solusi untuk Call Center AI dan penemuan pengetahuan dari literatur ilmiah. Penelitian Ryan tentang NLP dan ML perusahaan berlanjut di ASAPP.

Ryan telah menerbitkan lebih dari 100 makalah penelitian di jurnal dan konferensi tingkat atas yang telah dikutip ribuan kali. Ia telah memenangkan penghargaan makalah terbaik di konferensi internasional utama (EMNLP, NAACL) untuk karyanya tentang analisis sintaksis multibahasa. Buku ‘Dependency Parsing’ telah menjadi salah satu sumber pedagogis utama dalam parsing sintaksis selama lebih dari satu dekade. Selain menjadi ketua bidang di hampir semua konferensi NLP dan ML tingkat atas, ia telah menjadi editor untuk dua jurnal teratas di bidang ini — Transactions of the Association for Computational Linguistics dan Computational Linguistics. Ia telah membimbing banyak mahasiswa PhD dan magang dan memberikan ceramah tamu di konferensi, lokakarya, dan universitas terkemuka di seluruh dunia.

Apa yang awalnya membuat Anda tertarik dengan pembelajaran mesin dan lebih khusus lagi pemrosesan bahasa alami?

Saya adalah seorang sarjana dengan gelar ganda di ilmu komputer dan filsafat. Saya sangat tertarik dengan filsafat AI serta aspek praktis tentang bagaimana AI bekerja. Saya beruntung mendapatkan proyek penelitian dengan Gerald Penn di University of Toronto yang fokus pada mengringkas berita untuk ponsel. Itu lebih dari 20 tahun yang lalu dan menggunakan metode yang sangat primitif menurut standar hari ini. Gerald adalah seorang mentor yang hebat dan membuat saya tertarik dengan model formal untuk struktur bahasa (sintaksis dan semantik). Saya terpesona oleh kompleksitas bahasa dan kerangka matematika untuk menjelaskan fenomena yang manusia parse secara alami setiap hari. Sekitar waktu itu, mesin pencari sudah sangat umum, dan saya bisa melihat potensi besar untuk NLP dan ML di masa depan.

Anda telah menerbitkan lebih dari 100 makalah penelitian di jurnal dan konferensi tingkat atas yang telah dikutip ribuan kali, menurut Anda, makalah penelitian mana yang paling berpengaruh?

Pertanyaan ini selalu sulit dijawab. Dan seiring waktu, saya pikir jawaban saya berubah. Jika Anda bertanya kepada saya beberapa tahun yang lalu, itu akan menjadi karya yang saya lakukan tentang menggunakan algoritma grafik untuk parsing ketergantungan. Makalah ini, bersama dengan karya Joakim Nivre, memicu lebih dari satu dekade penelitian cepat tentang parsing ketergantungan sintaksis, yang memiliki dampak besar pada adopsi NLP di perusahaan teknologi, termasuk sejumlah besar karya yang saya dan rekan saya lakukan di Google untuk Search, Translate, Assistant, dll.

Namun, dengan adopsi cepat jaringan neural, penggunaan representasi bahasa sintaksis diskret telah menurun. Saya sekarang akan mengatakan bahwa itu adalah karya seminal yang saya lakukan dengan John Blitzer dan Fernando Pereira tentang adaptasi domain. Metode yang kami gunakan dalam makalah itu tidak terlalu relevan hari ini, namun, saya pikir makalah itu (bersama dengan karya kontemporer oleh Hal Daume) memperkuat kerangka penelitian dan pentingnya bagi bidang ini. Sekarang bahwa saya secara eksklusif bekerja di perusahaan, saya sangat menyadari masalah yang kami angkat kembali saat itu dan bahwa kami masih memiliki banyak lagi untuk diselesaikan.

Anda menghabiskan sebagian besar karir Anda di Google membantu membangun teknologi NLP dan ML kelas dunia dan mendorongnya ke produksi. Apa beberapa kesimpulan utama yang Anda dapatkan dari pengalaman ini?

Kesimpulan utama saya adalah bahwa ketika membangun model NLP dan ML, Anda tidak pernah bisa memprediksi kapan hal-hal akan salah. Anda harus terobsesi dengan data, analisis kesalahan, metrik, dll. pada semua titik proses. Mencoba menebak titik-titik kesulitan sering kali tidak berguna dan seringkali lebih efisien untuk membangun model ujung-ke-ujung secepat mungkin dan menyesuaikan.

Sebagai peneliti NLP/ML, kami fokus pada di mana model mungkin gagal dan asumsi pemodelan apa yang tidak akan berlaku ketika karet bertemu dengan jalan. Tapi seringkali itu adalah pengolahan data atau UX yang menjadi kunci untuk membuat produk NLP/ML yang sukses. Hanya ketika ini padat, maka kita dapat benar-benar mengulangi kualitas untuk mengeluarkan semua nilai dari model.

Pada awal 2021, Anda bergabung dengan ASAPP sebagai ilmuwan utama, sebuah perusahaan yang menawarkan alat AI untuk memberdayakan agen layanan pelanggan, apa yang menarik Anda ke posisi ini?

Untuk jawaban yang lebih lengkap, baca posting blog saya tentang topik ini. Tapi untuk menyintesis, alasan utamanya adalah:

• Masalahnya sulit. Agen yang terlibat dalam interaksi layanan pelanggan yang sulit perlu membawa banyak informasi dan pengalaman untuk menyelesaikan masalah pelanggan. Membangun model yang menambah nilai atas sejumlah besar pengetahuan domain ini sulit, terutama ketika sinyalnya lemah. Misalnya, apakah skor kepuasan pelanggan rendah karena agen melakukan sesuatu yang salah, atau karena pelanggan hanya marah?
• Perusahaan dan agen yang bekerja di ruang ini sangat antusias tentang AI yang akan membantu mereka meningkatkan pengalaman pelanggan. Mereka tidak melawan kemajuan, tetapi melihatnya sebagai alat kritis untuk menyelesaikan masalah nyata yang mereka hadapi. Memiliki mitra yang terlibat seperti itu luar biasa.
• Akhirnya, tidak seperti teknologi konsumen, himpunan domain dan masalah di lingkungan perusahaan sangat heterogen sehingga adaptasi (lihat jawaban saya untuk pertanyaan 2) adalah masalah yang perlu diselesaikan. Kami tidak bisa hanya membangun layanan untuk satu perusahaan atau satu industri, tetapi semua. Ini adalah tes stres yang luar biasa untuk keadaan AI saat ini.
• ASAPP secara khusus fokus pada masalah ini.

Apakah Anda bisa membahas visi ASAPP untuk meningkatkan aktivitas manusia secara positif melalui kemajuan AI?

Hipotesis sentral kami di ASAPP adalah bahwa AI harus tidak menggantikan manusia, tetapi meningkatkan mereka dengan cara yang positif dan produktif. Visi ini luas dan kami memiliki ambisi untuk menerapkannya pada semua aktivitas manusia yang relevan. Namun, karena ini adalah mandat yang luas, area pertama yang kami pilih untuk fokus adalah domain pengalaman pelanggan.

Domain pengalaman pelanggan menyimpan semua tantangan dan hadiah yang datang dengan meningkatkan aktivitas manusia. Agen terlibat dalam tugas pemecahan masalah yang kompleks yang memerlukan mereka untuk mengikuti alur kerja, mengambil informasi relevan dari basis data pelanggan dan pengetahuan, dan menyesuaikan diri dengan situasi yang halus yang mungkin ditemukan pelanggan. Ini memberikan banyak kesempatan bagi AI untuk meningkatkan proses ini. Namun, kami pikir itu penting untuk melakukan ini dengan cara yang positif, yaitu:

• Peningkatan terjadi pada titik-titik yang alami dan lancar selama proses pekerjaan agen. Ini sangat penting. Jika AI mengganggu atau menginterupsi pada saat yang tidak tepat atau dengan latensi yang buruk, ini akan sebenarnya memiliki efek negatif pada pengalaman agen karena mereka akan perlu secara sadar mengabaikan AI.
• Lebih kritis, kami ingin AI mencapai hasil positif untuk semua manusia yang terlibat. Dalam hal ini, itu adalah pelanggan, agen, dan organisasi. Pelanggan ingin masalah mereka ditangani secara efisien dan efektif. Agen ingin melakukan itu untuk pelanggan. Selain itu, agen melakukan pekerjaan yang sulit, sering kali menangani pelanggan yang tidak puas. AI harus membantu mereka menyeimbangkan pekerjaan dan beban kognitif untuk mengurangi kelelahan dan kebosanan dan meningkatkan kepuasan kerja. Setelah semua, agen di pusat panggilan memiliki salah satu tingkat perputaran kerja tertinggi (hingga 100% setiap tahun di beberapa pusat panggilan) dari pekerjaan apa pun di Amerika. Akhirnya, kami ingin hasil bisnis yang positif untuk perusahaan yang menjalankan pusat panggilan. Ini dapat berupa kepuasan pelanggan, jumlah masalah yang dapat ditangani dalam sehari atau bahkan jumlah penjualan.

Untuk pusat panggilan, kami sering berpikir bahwa hasil positif antara pelanggan, agen, dan perusahaan berada dalam konflik satu sama lain. Tapi AI yang baik akan membantu mengoptimalkan ketiganya.

Apakah Anda bisa membahas anatomi AI saat ini dari pusat panggilan?

Hari ini, hampir setiap tahap kontak Anda dengan pusat panggilan memiliki beberapa bentuk AI yang mengemudi atau menginformasikan bagaimana masalah ditangani.

Langkah pertama adalah respon suara interaktif (IVR) atau chatbot. Ini sepenuhnya otomatis dan tujuan utamanya adalah untuk memahami mengapa pelanggan menelepon dan untuk mengarahkannya sesuai. Sistem ini mungkin juga mencoba mengumpulkan sebanyak mungkin informasi sebelum mengirim pelanggan ke agen untuk memaksimalkan kemungkinan agen dapat dengan cepat menyelesaikan masalah. Banyak bot modern mungkin juga langsung menyelesaikan masalah pengguna tanpa memerlukan agen – disebut “penahanan” karena panggilan tidak perlu intervensi manusia. Ini dapat dicapai dengan merekomendasikan FAQ atau hanya mengeksekusi beberapa tugas sederhana untuk pelanggan.

Setelah itu, panggilan masuk ke agen. Setelah agen, peran utama AI adalah untuk membimbing dan membuat saran kepada agen. Apa yang harus mereka katakan selanjutnya? Apa alur yang harus mereka ikuti? Apa artikel basis data yang akan membantu menyelesaikan masalah? Model ini biasanya dilatih pada data historis dan dioptimalkan untuk beberapa indikator kinerja utama, yang dapat berupa waktu penanganan (berapa cepat masalah diselesaikan) atau skor kepuasan pelanggan (apakah pelanggan puas dengan pengalaman).

Setelah panggilan atau obrolan selesai, AI masih bekerja. Di kebanyakan pusat panggilan, agen akan meninggalkan informasi terstruktur dan catatan tentang apa yang terjadi selama panggilan. Ini untuk tujuan analitik tetapi juga untuk agen mana pun yang mengambil masalah jika belum diselesaikan. AI membantu dengan semua langkah ini.

Akhirnya, di pusat panggilan, ada pengawas yang ada untuk membantu agen dan tumbuhkan keterampilan mereka. AI dapat sangat kritis di sini. Di pusat panggilan dengan ratusan agen yang menangani ribuan panggilan setiap hari, bagaimana pengawas dapat mengidentifikasi masalah yang memerlukan intervensi mereka? Bagaimana mereka dapat memahami apa yang terjadi selama hari itu? Bagaimana mereka dapat menemukan area perbaikan untuk agen untuk tumbuh keterampilan mereka?

Bagaimana ASAPP membantu mengurangi turnover karyawan pusat panggilan?

Perusahaan besar yang menawarkan barang dan jasa konsumen menghabiskan jutaan, dan terkadang milyaran dolar setiap tahun untuk pusat kontak yang melayani pelanggan mereka, dengan biaya tenaga kerja yang mewakili 80-90% dari total biaya. Ini adalah masalah besar yang mendorong turnover agen menjadi 40% – dan terkadang 100% atau lebih – setiap tahun.

Seringkali ada karikatur bahwa agen acuh tak acuh dengan masalah Anda dan hanya melakukan tugas mereka. Tidak ada yang lebih jauh dari kebenaran. Agen, seperti semua orang, mendapatkan kepuasan dari membantu pelanggan menyelesaikan masalah mereka. Bagaimana Anda lebih suka menghabiskan hari Anda, mendengar “terima kasih” yang kuat atau pelanggan yang marah? Dalam sebuah studi baru-baru ini yang kami lakukan, kami menemukan bahwa 90% agen melaporkan bahwa panggilan dengan pelanggan membuat hari mereka, dan sebagian besar mengatakan bahwa mereka puas dengan pekerjaan mereka. Tapi, agen ingin memiliki alat dan pelatihan yang diperlukan untuk membuat pelanggan puas. Pelanggan yang tidak puas menyebabkan agen frustrasi, lelah, dan stres. Ini adalah pengemudi utama turnover.

AI untuk meningkatkan agen selama panggilan (seperti yang dijelaskan sebelumnya) sudah membantu. Jika agen memiliki alat dan bimbingan tentang cara efektif dan cepat menyelesaikan masalah pelanggan, maka kemungkinan pelanggan puas hanya dapat lebih tinggi, yang pada gilirannya harus mengarah ke kepuasan kerja yang lebih tinggi.

Namun, ASAPP tidak dimulai dari sana. Sementara bimbingan dinamis waktu nyata sangat penting, pelatihan, pelatihan, dan umpan balik yang lebih terstruktur juga penting. Banyak agen melatih pada masalah atau prosedur baru ‘live’. Artinya, mereka mendapatkan deskripsi prosedur, tetapi hanya melihatnya dalam praktek ketika mereka menerima panggilan dengan pelanggan nyata. Bayangkan kita memberi pilot manual pesawat dan kemudian mengatakan kepada mereka untuk terbang 300 penumpang ke Denver? Karena itu, kami fokus pada menggunakan AI untuk membantu membangun alat untuk agen untuk berlatih prosedur dan menangani situasi sulit sebelum mereka berhadapan dengan pelanggan langsung. Ketika ini dipasangkan dengan umpan balik yang ditargetkan (baik oleh pengawas atau secara otomatis), ini akan memungkinkan agen untuk tumbuh keterampilan mereka dalam lingkungan yang kurang stres.

AI yang lebih baik untuk meningkatkan kepuasan pelanggan dalam situasi dinamis serta AI untuk pelatihan yang terarah – itulah cara ASAPP memfokuskan pada agen dengan tujuan akhir mengurangi turnover.

Apakah ada contoh hasil yang dapat dicapai dengan mengintegrasikan AI di pusat panggilan?

Seperti yang dibagikan di atas, AI dapat menjadi teknologi transformatif dalam meningkatkan produktivitas. Untuk sebuah maskapai AS yang kami kerjakan, kami melihat produktivitas agen meningkat 86% dan peningkatan throughput organisasi (jumlah total interaksi di semua saluran layanan pelanggan dibagi dengan tenaga kerja yang dihabiskan untuk memenuhi kebutuhan tersebut) sebesar 127%. Untuk sebuah operator jaringan global yang menggunakan layanan ASAPP, skor promotor jaringan (kesediaan pelanggan untuk merekomendasikan produk atau layanan perusahaan kepada orang lain) meningkat 45%. Untuk perusahaan kabel teratas yang menggunakan ASAPP, biaya per interaksi menurun 52%. Contoh-contoh ini menunjukkan bagaimana AI dapat meningkatkan produktivitas, meningkatkan kualitas layanan pelanggan, dan mengurangi biaya bisnis.

Apa visi pribadi Anda untuk masa depan AI di tempat kerja?

AI sudah cukup umum di tempat kerja. Saat saya menulis ini, pemeriksa ejaan dan tata bahasa serta pengisi teks otomatis membantu saya. Saya memiliki filter spam dan klasifikasi pesan pada alat email/pesan saya. Saya menggunakan pencarian yang ditenagai AI untuk menemukan informasi relevan yang saya butuhkan untuk mengeksekusi. Ini akan tumbuh serta adopsi saya seiring dengan peningkatan jumlah fitur AI yang ditenagai dan kualitasnya.

Namun, saya akan menyebut AI ini sebagai peningkatan atomik. Ini tentu saja membantu saya, tetapi pada saat-saat yang sangat spesifik yang memungkinkan prediksi presisi tinggi. Saya tentu tidak bisa meminta AI untuk menjawab pertanyaan ini, misalnya — yet 🙂

Lebih serius, visi saya adalah untuk melihat adopsi AI ujung-ke-ujung di seluruh tempat kerja. Saya tidak bermaksud ujung-ke-ujung dalam arti pemodelan machine learning. Apa yang saya maksud adalah bahwa AI akan mengoptimalkan tugas besar dan kompleks secara holistik untuk tujuan keseluruhan dan tidak hanya pada titik-titik atomik selama proses. ASAPP sudah membawa ini ke pusat panggilan. Misalnya, kami mengoptimalkan apa yang akan dikatakan agen selanjutnya berdasarkan pada sejumlah faktor holistik tentang di mana agen berada dalam percakapan dan apa tujuan akhirnya. Tapi di luar itu, bayangkan seorang ilmuwan yang mencoba menulis tinjauan sistematis tentang topik penting, seorang insinyur perangkat lunak yang membangun platform atau mengintegrasikan sistem kompleks, seorang pengacara yang menulis brief hukum, dll. Di masa depan, setiap profesional ini akan bergantung pada AI untuk dengan cepat meningkatkan efektivitas mereka dalam tugas-tugas ini dan mengoptimalkan hasil yang diinginkan, membebaskan mereka untuk tantangan yang lebih kritis.

Apakah ada yang lain yang ingin Anda bagikan tentang ASAPP?

Tim penelitian kami di ASAPP memiliki fokus yang jelas: kami memajukan AI untuk meningkatkan aktivitas manusia untuk menangani masalah dunia nyata untuk perusahaan. Peneliti di ASAPP bekerja untuk memajukan secara fundamental ilmu NLP dan ML menuju tujuan kami untuk menerapkan solusi AI khusus domain ke produk kami. Mereka menggunakan jumlah data yang besar yang dihasilkan oleh produk kami, dan kemampuan kami untuk menerapkan fitur AI ke penggunaan dunia nyata untuk mengajukan dan menangani pertanyaan penelitian dasar dengan cara baru.

Temukan makalah penelitian terbaru kami di https://www.asapp.com/ai-research/.

Terima kasih atas jawaban yang rinci, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi ASAPP.