Semakin Kritis Keputusan, Semakin Sedikit AI Bekerja Sendiri

Agen AI jelas memiliki masalah yang disembunyikan sebagai presentasi tentang kelebihan mereka. Agen berbicara dengan percaya diri dan menulis dengan elegan, memproses informasi lebih cepat daripada manusia. Ini dapat memberikan kesan bahwa AI siap beroperasi secara otonom. Namun, kenyataannya, begitu keputusan melibatkan uang sungguhan, harapan pelanggan, dan kepercayaan, AI tidak boleh menjadi sistem otonom, karena masih memerlukan pengawasan orang dewasa.

Pelajaran ini tidak berasal dari teori – ini dipelajari melalui pengujian, ketika AI layanan gaya hidup mewah dapat berinteraksi dengan pelanggan sungguhan.

Nasihat yang Baik yang Dapat Berbahaya

Dalam pengujian awal aplikasi manajemen gaya hidup yang didukung AI, sistem tampak mengesankan pada pandangan pertama. Ini dapat mengompilasi daftar restoran, menyarankan pilihan hiburan, menyusun itinerari untuk kegiatan lokal, dan menggabungkan semua ini menjadi rekomendasi yang jelas dan berkualitas tinggi. Namun, dalam sekitar 15% kasus, itu hanya membuat detail – dan melakukannya dengan cukup meyakinkan untuk dipercaya.

Ada contoh yang membuat masalah ini tidak dapat diabaikan: AI merekomendasikan restoran di Dubai yang telah tutup delapan bulan sebelumnya. Ketika ditanya tentang itu, itu tidak ragu atau mengakui kesalahan. Agen mempertahankan dengan membuat ulasan dan mengutipnya.

Kemudian ada insiden dengan permainan padel. Seorang pelanggan bertanya tentang klub olahraga dengan lapangan padel. AI hampir mengarahkannya ke tempat yang hanya memiliki lapangan tenis. Mengapa? Karena di suatu tempat di data sumber, itu menemukan artikel berita yang menyatakan bahwa lapangan padel direncanakan untuk dibangun di sana, dan itu mengubah “direncanakan” menjadi “sudah ada”. Ini adalah apa yang membuat model menjadi eksperimen berisiko di sektor jasa: bahkan jika AI tidak memiliki data yang lengkap dan akurat, itu tidak berhenti – itu berimprovisasi.

Halusinasi AI sebagai Ancaman Bisnis

Masalah ini tidak terbatas pada industri pariwisata – ini terletak pada implementasi AI itu sendiri.

Dalam parameter yang jelas, AI bekerja dengan sangat baik. Anda dapat memberikan data yang terstruktur, API yang mutakhir, dan itu akan mengungguli Anda dengan margin yang lebar. Ini akan mengatur kasus menurut tujuh belas parameter, memindai aturan secara instan, dan menghasilkan draf yang siap digunakan dalam hitungan detik. Namun, dunia nyata jauh dari database yang terstruktur. Kenyataan penuh dengan kasus tepi, informasi yang sudah ketinggalan zaman, preferensi yang ambigu, kata-kata yang samar, dan celah operasional.

Inilah tempat halusinasi mulai menjadi ancaman bisnis. Studi telah berulang kali memperingatkan bahwa halusinasi dapat menghancurkan kepercayaan secara instan, terutama ketika pelanggan menerima informasi yang akurat tetapi tidak akurat pada saat pengambilan keputusan. Orang-orang sudah secara luas menggunakan perencana AI, tetapi kepercayaan masih kurang.

HNWI sebagai Tes Stres Utama untuk AI

Sekarang mari kita tingkatkan taruhan.

AI dengan mudah menangani tugas standar – contoh tugas seperti itu adalah memesan perjalanan dari London ke Dubai: kelas bisnis, hotel bintang empat selama tiga malam. Tes stres yang sebenarnya adalah brief dari HNWI: ini adalah ulang tahun pernikahan kami. Ia menyebutkan restoran di Amalfi dengan pintu biru. Ia mencintai peonies tetapi membenci mawar, dan ia akan merasa lebih nyaman dengan sopir yang berbicara bahasa Perancis.

Permintaan seperti itu terdengar elegan, tetapi dari sudut pandang operasional, ini adalah ranjau. Agen AI pasti akan menyarankan pilihan, tetapi juga dapat memberikan 40% informasi yang salah dengan kepercayaan penuh.

Pelanggan di segmen mewah dan HNWI mengungkapkan keterbatasan AI lebih cepat daripada tes apa pun, karena permintaan mereka tidak standar, dan harapan mereka bersifat emosional, tergantung konteks, dan sangat spesifik. Lebih sering daripada tidak, permintaan seperti itu sulit untuk diverifikasi secara otomatis.

Selain itu, kegagalan untuk melayani klien HNWI secara efektif tidak akan berakhir dengan pengembalian uang sederhana. Ini akan merusak reputasi perusahaan, karena rekomendasi dan kepercayaan sangat penting di segmen ini.

Karyawan sungguhan menangani halusinasi seperti ini setiap hari. Mereka memperhatikan restoran yang kebetulan tutup pada hari Selasa ketika klien tiba, dan jalan kaki lima menit yang sebenarnya berubah menjadi jalan kaki dua puluh lima menit menanjak dengan tas. Spesialis terlatih tidak akan melewatkan hotel butik yang terlihat sempurna dalam foto tetapi sebenarnya ditutupi dengan scaffolding karena renovasi.

Mengapa Fintech Memerlukan Akurasi, Bukan Kecepatan

Kita dapat menerapkan logika yang sama pada seluruh sektor fintech. AI dapat menganalisis produk, membandingkan pilihan, mengidentifikasi anomali, dan menghasilkan rekomendasi dengan cepat dan efisien. Namun, ketika berbicara tentang uang, tidak ada toleransi untuk kesalahan acak.

Perusahaan fintech tiba-tiba membayar harga untuk keputusan yang diambil oleh otomatisasi – dalam bentuk kehilangan kepercayaan pelanggan. Perusahaan yang sukses menerapkan mekanisme kontrol sejak awal, bukan memperkenalkannya secara retroaktif setelah kerusakan telah terjadi; model yang tepat melibatkan pengawasan manusia.

Lapisan verifikasi tambahan diperlukan antara AI dan klien – tahap di mana hasilnya diverifikasi secara menyeluruh dan aman. Di bidang di mana biaya kesalahan tinggi, lapisan ini menjadi dasar produk.

Konsep yang lebih berguna adalah infrastruktur. AI seharusnya fokus pada tugas yang terstruktur: penelitian, pengaturan, perbandingan, dan penyusunan. Dalam proses ini, manusia harus membuat keputusan akhir. Secara bertahap, beberapa proses kerja akan menjadi stabil enough untuk sepenuhnya otomatis. Pada titik itu, kemungkinan besar akan memungkinkan untuk menetapkan baseline, tetapi ini harus dilakukan berdasarkan bukti, bukan iman.

Ide-ide ini mungkin terdengar kurang menginspirasi daripada masa depan yang sepenuhnya otonom, tetapi inilah cara perusahaan serius akan berhasil pada akhirnya.