Saya Membangun Sistem AI untuk Hidup. Inilah yang Salah Paham Banyak Orang

Saya membangun sistem AI untuk pusat kontak perusahaan.

Bukan demo, benchmark, atau proyek penelitian. Sistem produksi yang berinteraksi dengan pelanggan, menavigasi kebijakan, mengambil informasi dari platform perusahaan yang terputus, dan beroperasi di lingkungan yang dibentuk oleh data yang kacau, catatan yang bertentangan, suara latar, dan perilaku manusia yang tidak terduga.

Pengalaman itu telah memberi saya tempat duduk di barisan depan salah satu kesenjangan terbesar di industri AI. Percakapan publik tentang AI sering didominasi oleh apa yang teknologi itu mungkin menjadi suatu hari nanti, sementara organisasi mencoba memahami bagaimana menggunakannya dengan sukses hari ini. Itu adalah percakapan yang sangat berbeda.

Pertanyaan yang saya habiskan waktu untuk menjawab jarang melibatkan kecerdasan buatan umum atau apakah mesin akan menggantikan manusia suatu hari nanti. Mereka cenderung lebih praktis. Apakah sistem dapat secara konsisten menafsirkan permintaan pelanggan? Apakah dapat mengambil informasi akurat di seluruh platform perusahaan? Apakah dapat pulih ketika data tidak lengkap? Apakah dapat meningkatkan dengan benar ketika kepercayaan rendah? Apakah tim dapat mempercayainya cukup untuk menggunakannya dalam skala besar?

Pertanyaan-pertanyaan itu mungkin kurang menarik daripada judul-judul utama, tetapi itulah yang menentukan apakah AI perusahaan berhasil. Selama waktu, saya telah percaya bahwa sebagian besar organisasi mengoverestimasi pentingnya model itu sendiri dan mengunderestimasi semua yang diperlukan untuk membuat model itu berguna di dalam bisnis nyata.

Demo Bukanlah Penerapan

Siapa pun yang bekerja erat dengan AI perusahaan memahami kesenjangan antara demonstrasi yang terkendali dan penerapan produksi.

Kami menemukan contoh-contoh ini secara konstan. Salah satu sistem AI yang kami kerjakan mengalami kesulitan sekitar setengah waktu untuk menafsirkan dengan benar nomor pesanan 16 digit yang diucapkan dalam kata-kata. Kegagalan-kegagalan semacam itu mirip dengan masalah “berapa banyak r di strawberry?” yang terkenal, di mana model bahasa canggih mengalami kesulitan dengan tugas yang tampaknya sepele bagi manusia. Model yang sama dapat mencetak nilai yang sangat baik pada ujian seperti MCAT. Kontras itu mengungkapkan sesuatu yang penting: kinerja benchmark dan keandalan operasional bukanlah hal yang sama.

Saat AI memasuki produksi, ia mewarisi semua kompleksitas lingkungan di sekitarnya. Sistem perusahaan mengandung catatan yang tidak lengkap, informasi yang bertentangan, proses yang ketinggalan zaman, aplikasi yang terputus, dan kasus tepi yang telah menumpuk selama dekade. Pelanggan mengajukan pertanyaan yang tidak jelas. Kebijakan berubah. Kualitas data bervariasi. Perilaku manusia tetap tidak terduga dan indah.

Kenangan-kenangan itu membentuk hasil jauh lebih dari skor benchmark karena AI tidak beroperasi dalam benchmark. Ia beroperasi di dalam proses bisnis, sistem, dan alur kerja yang memperkenalkan kompleksitas yang model tidak dapat menyelesaikan sendiri.

AI Perusahaan Memiliki Lapisan Operasional

Salah satu pelajaran yang konsisten mengejutkan orang adalah betapa cepatnya kinerja model berhenti menjadi faktor pembatas. Begitu sistem mencapai produksi, tantangan operasional sering menjadi lebih penting daripada model itu sendiri. Inisiatif AI yang sukses bergantung pada desain proses, keselarasan organisasi, kualitas data, integrasi sistem, visibilitas, jalur eskalasi, tata kelola, dan kepercayaan.

Tim memerlukan prosedur yang jelas untuk menangani kegagalan. Mereka memerlukan visibilitas ke dalam bagaimana sistem membuat keputusan. Mereka memerlukan kepercayaan bahwa masalah dapat diidentifikasi dan diselesaikan sebelum mempengaruhi pelanggan. Organisasi sering menemukan bahwa pekerjaan di sekitar sistem AI memerlukan perhatian yang sama dengan sistem AI itu sendiri.

Lapisan operasional itu adalah tempat di mana banyak penerapan akhirnya berhasil atau berjuang.

Pelayanan Pelanggan Tetap Menjadi Salah Satu Masalah Terberat

Pengalaman pelanggan menawarkan salah satu contoh kompleksitas yang paling jelas.

Interaksi sederhana telah menjadi lebih mudah dikelola untuk sistem AI. Memeriksa saldo akun. Mengatur ulang kata sandi. Mencari status penerbangan. Ini adalah tugas yang sangat terstruktur dengan hasil yang dapat diprediksi.

Percakapan pelanggan yang nyata jarang tetap sederhana.

Pelanggan yang mencoba menyelesaikan masalah maskapai yang melibatkan poin loyalitas, operator mitra, sengketa pengembalian, pengecualian kebijakan, dan interaksi sebelumnya yang berbeda-beda menawarkan tantangan yang sangat berbeda. Konteksnya terfragmentasi. Tujuannya mungkin tidak jelas. Kebijakan mungkin bertentangan. Emosi sering memasuki percakapan.

Interaksi-interaksi ini terus mewakili sebagian besar pekerjaan pelayanan pelanggan, dan mereka memerlukan penalaran di seluruh sistem, proses, dan aturan bisnis dengan cara yang tetap sulit bagi AI. Kemajuan telah luar biasa. Kompleksitas tetap nyata.

Data Perusahaan Akhirnya Menjadi Dapat Digunakan

Salah satu area di mana saya melihat transformasi yang berarti terjadi hari ini melibatkan data perusahaan.

Sebagian besar organisasi telah menghabiskan tahun-tahun untuk mengumpulkan informasi di seluruh puluhan atau ratusan sistem yang terputus. Pengetahuan yang berharga ada, tetapi menemukannya dan menggunakannya secara efektif seringkali sulit. AI membuat informasi itu lebih dapat diakses.

Organisasi mulai mensintesis data di seluruh sistem, menyajikan konteks yang relevan lebih efisien, dan membantu karyawan menavigasi informasi yang sebelumnya tersebar di seluruh aplikasi dan repositori. Kemampuan untuk mengoperasikan pengetahuan perusahaan ini mungkin terbukti lebih transformatif daripada banyak demonstrasi AI yang mendominasi diskusi publik.

Tantangan Berikutnya: AI Bekerja dengan AI

Gelombang inovasi berikutnya kemungkinan akan melibatkan beberapa sistem AI yang bekerja bersama.

Organisasi sudah bereksperimen dengan alur kerja di mana agen berbagi informasi, mengkoordinasikan tugas, dan berkontribusi pada proses bisnis yang lebih besar. Ini menciptakan tantangan baru seputar akuntabilitas, kepercayaan, eskalasi, komunikasi, dan tata kelola.

Manusia telah mengembangkan keterampilan kolaborasi implisit selama berabad-abad. Kami memahami bagaimana meminta bantuan, mengkomunikasikan ketidakpastian, mengeskalasi risiko, dan pulih dari kesalahan. Membangun perilaku-perilaku itu ke dalam sistem AI adalah disiplin yang jauh lebih baru.

Sebagian besar dari bab berikutnya tentang AI perusahaan akan melibatkan mengajar sistem bagaimana beroperasi secara efektif bersama-sama sambil tetap sejalan dengan tujuan organisasi.

Apa yang Sebenarnya Dibutuhkan AI Perusahaan

Setelah bertahun-tahun membangun dan menerapkan sistem AI, saya telah menjadi yakin bahwa organisasi menghabiskan terlalu banyak waktu mengevaluasi kecerdasan model dan tidak cukup waktu mempersiapkan lingkungan di sekitarnya.

Kecerdasan yang ditunjukkan oleh model-model ini dapat luar biasa. Setiap tahun mereka menjadi lebih mampu, lebih berguna, dan lebih canggih. Namun, penerapan yang sukses masih bergantung pada dasar-dasar: data yang dapat dipercaya, proses yang dirancang dengan baik, tata kelola yang bijaksana, akuntabilitas yang jelas, dan orang-orang yang memahami bagaimana untuk mengintegrasikan teknologi baru ke dalam operasi yang ada.

Organisasi yang melihat nilai terbesar dari AI memperhatikan dasar-dasar itu. Karena kecerdasan saja tidak menciptakan transformasi.

Transformasi terjadi ketika teknologi, data, proses, dan orang-orang bekerja bersama untuk menghasilkan hasil yang lebih baik.

Mengintegrasikan teknologi baru ke dalam operasi yang ada. Organisasi yang melihat nilai terbesar dari AI memperhatikan dasar-dasar itu. Karena kecerdasan saja tidak menciptakan transformasi. Transformasi terjadi ketika teknologi, data, proses, dan orang-orang bekerja bersama untuk menghasilkan hasil yang lebih baik.