Empat Kegagalan Paling Mahal dari AI yang Tidak Diuji dengan Baik

Ketika perusahaan mengirimkan AI tanpa pengawasan manusia yang ketat, mereka secara efektif meminta sistem otomatis yang tidak deterministik untuk memvalidasi dirinya sendiri.

Masalahnya tidak selalu bahwa AI buruk dalam pengujian. AI sangat baik dalam melakukan hal-hal yang telah dilakukan sebelumnya, terutama mengikuti aturan yang telah Anda tetapkan secara eksplisit. Namun, kegagalan yang sebenarnya merusak merek Anda? Mereka hidup di ruang di mana penilaian manusia paling penting. Sebuah halusinasi tentang kebijakan pengembalian. Sebuah respons yang tidak sesuai dengan keluhan sensitif. Sebuah penjaga keamanan yang tidak dapat menahan tekanan.

Dengan 70% pelanggan yang bersedia beralih setelah satu interaksi AI yang buruk, taruhan sangat tinggi. Namun, sebagian besar perusahaan mengirimkan AI yang divalidasi oleh alat-alat yang sudah ketinggalan zaman atau hanya otomatis, yang dirancang untuk perangkat lunak deterministik. Tumpukan itu tidak pernah dirancang untuk menangkap kegagalan yang sebenarnya mengusir orang.

Di seluruh keterlibatan Teslio untuk tim perusahaan, empat mode kegagalan menyebabkan sebagian besar kerusakan yang terlihat oleh pelanggan. Tidak satu pun dari mereka yang ditangkap oleh pengujian otomatis saja.

1. Penjaga Keamanan dan Keselamatan yang Tidak Benar-Benar Melindungi

Seorang pelanggan bertanya kepada chatbot Anda pertanyaan yang tepat dengan cara yang tepat. Bot menawarkan mereka item seharga $1.000 untuk $10. Atau itu mengungkapkan informasi yang tidak boleh diungkapkan. Atau itu melanggar aturan bisnis dasar karena tidak ada yang menguji kondisi batas.

Risikonya sangat jelas. Kerusakan itu segera dan kerusakan itu publik.

Masalah sebenarnya tidak hanya otomatisasi, meskipun itu adalah bagian dari masalah. Penjaga keamanan tidak standar, mereka harus disesuaikan dengan konteks bisnis spesifik Anda. Dan bahkan ketika praktik terbaik diikuti, penjaga keamanan tetap rentan. Teknik seperti “penjara puisi” menunjukkan kepada kita bahwa penjaga keamanan yang baik dapat dimanipulasi dengan cara yang tidak pernah dibayangkan oleh penciptanya. Pertanyaan yang perlu ditanyakan perusahaan bukanlah “apakah penjaga keamanan kami mengikuti standar industri?” tetapi “bagaimana model ini dapat dimanipulasi?”

Ini memerlukan pemikiran lawan. Orang-orang kreatif yang memahami baik desain penjaga keamanan maupun permukaan serangan. Menguji batas-batas, menguji stres, mengajukan pertanyaan yang kompleks. Ini adalah perbedaan antara penjaga keamanan yang lulus pemeriksaan dan penjaga keamanan yang sebenarnya menahan.

2. Kegagalan Akurasi dan Logika Bisnis yang Tersembunyi dalam Halusinasi

Kenyataannya adalah bahwa AI mengalami halusinasi. Apa yang saya pelajari adalah bahwa ketika Anda memiliki keahlian di bidang tertentu, Anda segera menyadari halusinasi tersebut. Anda melihat langsung melalui itu.

Namun, ada kelemahan kritis dalam mengandalkan hanya tim internal: mereka memiliki titik buta. Ketika Anda mengetahui produk dengan baik, Anda tahu persis pertanyaan apa yang harus diajukan untuk mendapatkan jawaban yang tepat. Anda tidak dapat menemukan ketidakakuratan jika Anda tidak mencarinya. Tim internal mengetahui bagaimana produk seharusnya bekerja, bukan bagaimana produk sebenarnya bekerja untuk pengguna nyata dengan model mental yang berbeda, konteks yang berbeda, dan cara yang berbeda untuk mematahkan asumsi Anda.

Itulah di mana pengawasan dari orang-orang yang mendekati sistem dengan cara yang segar datang. Mereka tidak hanya memvalidasi bahwa AI melakukan apa yang Anda perintahkan; mereka mengungkapkan masalah yang mungkin menarik bagi departemen yang berbeda dan menyoroti area kegagalan dunia nyata.

Ketika perusahaan mulai membangun di atas model bahasa besar, ketika mereka menambahkan proses dan alur kerja mereka sendiri, persyaratan pengujian menjadi sangat kritis.

3. Kegagalan Penggunaan dan Pengalaman Pengguna

Apakah itu terasa benar? Apakah itu terlihat benar? Apakah proses pembayaran memakan waktu sedikit terlalu lama? Apakah responsnya membawa nada yang tepat untuk pelanggan yang frustrasi atau kecepatan yang tepat untuk pengguna pertama kali.

Ini adalah jenis pertanyaan yang tidak dapat dijawab oleh alat otomatis. Dan ini adalah jenis pertanyaan yang sangat penting bagi pelanggan.

Ada perbedaan mendasar antara lulus tes dan benar-benar baik. Interaksi AI dapat memeriksa setiap kotak dalam kriteria penerimaan Anda dan masih dianggap salah oleh pengguna. Ini dapat secara teknis benar tetapi kikuk secara organisasional. Ini dapat mengirimkan informasi yang akurat dengan irama atau nada yang salah.

Inilah di mana manusia-dalam-layanan sangat penting. Anda memerlukan orang-orang yang terlatih untuk mengenali bagaimana AI gagal, menguji di daerah di mana pelanggan Anda tinggal, dengan perangkat dan metode pembayaran yang mereka gunakan sebenarnya. Seseorang yang menguji di iPhone teratas di San Francisco tidak memiliki pengalaman yang sama dengan seseorang yang menguji di Android mid-range dengan koneksi data yang tidak stabil di Jakarta. Tanpa keberagaman dalam siapa yang menguji dan di mana, Anda mendapatkan hasil simulasi yang akan gagal saat produk Anda bertemu dengan kenyataan.

Anda harus memiliki seseorang yang benar-benar menggunakan produk, benar-benar memikirkan apa yang dimaksudkan dengan pengalaman, benar-benar menolak ketika sesuatu tidak terasa benar.

4. Ilusi Keahlian yang Divalidasi

Ini adalah kegagalan yang paling halus, dan mungkin yang paling berbahaya. Ketika perusahaan mengirimkan AI tanpa pengujian yang tepat, mereka sering bertaruh bahwa AI telah menyerap cukup pengetahuan untuk menangani domain dengan benar. Mereka berasumsi bahwa karena AI dapat terdengar percaya diri tentang sesuatu, itu mungkin tahu apa yang dibicarakan.

Namun, ada dimensi lain dari risiko ini. Sebagian besar orang yang menggunakan fitur AI membuat asumsi yang sama. Mereka tidak mempertanyakan output. Jika itu terdengar berwenang dan tidak jelas salah, mereka percaya. Saran medis yang buruk. Bimbingan hukum yang tidak tepat. Rekomendasi keuangan yang bermasalah. Konsekuensi bertumpuk ketika pengguna berasumsi AI benar dan tidak memiliki alasan untuk meragukannya.

AI sangat baik dalam mengetahui apa yang telah dilakukan. Ini tidak baik dalam mengetahui apa yang harus dilakukan dalam situasi baru. Setiap bisnis memiliki situasi baru. Setiap produk memiliki kasus tepi. Setiap perjalanan pelanggan memiliki saat di mana jawaban yang benar adalah jawaban yang AI belum dilatih untuk memberikan.

Mengedefinisikan Kesiapan Rilis

Strategi rilis AI yang matang memerlukan melampaui pola pikir hanya otomatisasi. Ini melibatkan membangun kerangka kerja terstruktur dari keahlian manusia-dalam-layanan.

• Teknik: Tim ini harus memiliki integritas sistem, menentukan apa yang gagal terlihat pada lapisan model dan infrastruktur, dan di mana penjaga keamanan perlu duduk.
• Produk: Pemimpin harus memiliki batas keputusan, menilai keputusan apa yang diizinkan AI untuk membuat secara otonom, yang mana memerlukan persetujuan manusia, dan yang mana tidak boleh disentuh sama sekali.
• Desain dan QA: Profesional ini harus memiliki pengalaman pengguna, apakah pengguna memahami apa yang dilakukan AI, dapat mengenali ketika AI salah, dan memiliki tindakan yang berarti ketika AI salah.

Kita harus menerima bahwa meskipun AI dapat menciptakan pengalaman luar biasa untuk pelanggan kita, AI tidak dapat menjadi hakim dan juri sendiri. Tanggung jawab untuk kualitas AI adalah tanggung jawab organisasional, didistribusikan di seluruh tim, berakar pada keahlian manusia, dan berdasar pengujian dunia nyata.