Interaksi Mesin ke Manusia: Masalah “Mile Terakhir” yang Menghambat AI Perusahaan

Hingga baru-baru ini, percakapan di ruang rapat tentang AI berfokus pada model-model itu sendiri. Apakah outputnya akurat? Bagaimana kebersihan data pelatihan? Bagaimana kita dapat mengurangi bias? Apakah halusinasi dapat dikendalikan? Pertanyaan-pertanyaan itu masih penting, tentu saja, tetapi output tidak lagi menjadi satu-satunya hal yang diperhatikan oleh dewan dan pemegang saham. Sebaliknya, mereka menjadi tertarik pada sesuatu yang jauh lebih sulit untuk diukur – apakah sistem AI benar-benar bekerja dengan orang-orang dengan efektif dalam interaksi sehari-hari.

Itulah sebabnya IBM baru-baru ini menemukan dirinya menghadapi proposal pemegang saham yang menuntut transparansi lebih besar tentang bagaimana mereka mengelola bias AI dan tata kelola. Proposal tersebut berfokus pada mitigasi bias, tetapi kesimpulan yang lebih luas adalah bahwa ketika AI menjadi lebih dalam tertanam dalam proses pengambilan keputusan, itu dinilai berdasarkan akuntabilitas operasional dan hasil bisnis yang dapat diukur daripada kemampuan dasarnya.

Apa yang saya lihat dalam percakapan dengan perusahaan adalah bahwa sangat sedikit orang yang masih memperdebatkan apakah model-model itu sendiri memiliki kemampuan. Sebagian besar organisasi sudah tahu bahwa sistem-sistem ini dapat menghasilkan output, mengotomatisasi alur kerja, dan menyajikan wawasan dengan kecepatan luar biasa. Pertanyaan yang lebih sulit adalah apakah semua itu konsisten meningkatkan hasil di dalam bisnis. Apakah karyawan benar-benar menggunakan sistem-sistem ini dengan cara yang bermakna? Apakah mereka mempercayai rekomendasi yang mereka terima? Apakah keputusan menjadi lebih jelas, lebih cepat, atau lebih konsisten? Atau apakah organisasi hanya menghasilkan lebih banyak konten, lebih banyak analisis, dan lebih banyak kebisingan tanpa mengubah cara orang beroperasi? Jarak antara kemampuan AI dan adopsi manusia adalah apa yang saya sebut sebagai “mile terakhir” dari AI perusahaan. Itulah tempat di mana ROI, kepercayaan, akuntabilitas, dan konsistensi operasional bersatu, dan itulah tempat di mana banyak penerapan mulai terhambat.

Kemampuan bukanlah bottleneck – konteks manusia adalah

Proposal pemegang saham IBM itu sendiri berfokus pada bias, masalah yang familiar dan tumbuh di industri. Resolusi tersebut menuntut IBM untuk menghasilkan pelaporan tambahan tentang metode yang mereka gunakan untuk mengidentifikasi dan mitigasi bias di seluruh model AI mereka, termasuk risiko potensial yang terkait dengan upaya mitigasi tersebut. IBM membalas, berargumen bahwa sebagian besar informasi tersebut sudah tersedia secara publik melalui kartu model, dokumentasi tata kelola, pelaporan transparansi, dan pengajuan ke Indeks Transparansi Model Fondasi Stanford. Sebagian besar pengamat mengakui bahwa IBM telah melakukan lebih banyak daripada banyak vendor untuk mengoperasikan praktik AI yang bertanggung jawab, sementara juga mengakui bahwa tata kelola dan bias tetap menjadi tantangan industri yang belum terpecahkan.

Apa yang menarik bagi saya bukanlah apakah tanggapan IBM benar atau salah. Itu tentang apa situasi tersebut mengatakan tentang di mana percakapan AI perusahaan menuju. Dewan telah sebagian besar pindah ke fase baru evaluasi AI yang berfokus pada kualitas keputusan, dampak operasional, kepercayaan karyawan, dan adopsi jangka panjang di dalam bisnis.

Ini adalah tempat di mana lensa neurosains membawa saya ke kesimpulan yang berbeda dari sebagian besar percakapan AI perusahaan saat ini. Manusia bukanlah mesin input-output rasional. Kami mendekati keputusan dengan perhatian terbatas, kepercayaan yang berfluktuasi, kelebihan kognitif, dan niat yang terus-menerus berubah. Ketika interaksi terasa lambat, ketika respons yang sudah jadi melewatkan apa yang sebenarnya kami maksud, atau ketika orang harus melawan sistem untuk mendapatkan sesuatu yang berguna, keterlibatan runtuh jauh sebelum metrik adopsi menangkapnya. Risiko halusinasi, inkonsistensi, dan bias hanya memperburuk masalah, menciptakan gesekan di dalam alur kerja yang awalnya dimaksudkan untuk meningkatkan produktivitas dan pengambilan keputusan. “Mile terakhir” ini adalah apa yang sebagian besar organisasi masih meremehkan: nilai AI tidak diciptakan ketika model menghasilkan jawaban, tetapi ketika itu memberikan jawaban yang tepat pada waktu yang tepat dan manusia dapat mempercayainya cukup untuk bertindak berdasarkan apa yang dihasilkannya.

Mengapa kita mengabaikan “manusia di dalam loop” yang sebenarnya – pengguna?

Kita telah mendengar banyak tentang “manusia di dalam loop” dan pentingnya memiliki manusia hadir untuk menandatangani output yang dihasilkan AI. Tapi apa jika manusia yang paling penting – pengguna – tidak dipahami dengan baik? Interaksi manusia-ke-manusia kompleks dan multi-faset, tetapi alasan komunikasi langsung bekerja dengan baik adalah karena tidak ada nuansa yang hilang. Jika seseorang ragu, kehilangan kepercayaan, menjadi frustrasi atau bingung, atau niatnya berubah, itu membawa dampak selama interaksi dan percakapan berubah sesuai. Sebagian besar sistem AI masih berjuang untuk mengenali sinyal-sinyal tersebut karena mereka lebih atau kurang “on rails” dalam arti mereka hanya merespons prompt terakhir dari pengguna.

Menurut saya, ini menjadi salah satu keterbatasan yang membedakan penerapan AI perusahaan saat ini. Kami telah membangun sistem yang luar biasa baik dalam menghasilkan informasi sambil tetap terbatas dalam kemampuan mereka untuk mengenali apakah informasi tersebut membantu seseorang membuat keputusan yang lebih baik.

Sebuah organisasi dapat menerapkan alat AI perusahaan untuk ribuan karyawan dan masih gagal mencapai keselarasan yang signifikan dalam cara sistem-sistem tersebut digunakan. Kerangka seperti Kerangka Manajemen Risiko AI NIST, ISO/IEC 42001, dan Undang-Undang AI UE mendorong organisasi menuju kematangan tata kelola dan akuntabilitas operasional yang lebih besar. Namun, tata kelola di atas kertas hanya berjalan sejauh jika keterlibatan karyawan dengan AI tetap terfragmentasi. Jika tim yang berbeda mempercayai dan menggunakan AI dengan cara yang sama sekali berbeda, mengukur ROI secara konsisten menjadi hampir mustahil, dan itu adalah masalah yang tidak dapat diperbaiki dengan prompting.

Biaya kelebihan AI

Kita sekarang memasuki fase di mana AI menjadi sepenuhnya ubic di dalam alur kerja AI. Ada copilot yang tertanam dalam suite produktivitas, ringkasan pertemuan yang dihasilkan AI setelah setiap panggilan, dasbor yang menyajikan wawasan prediktif secara real-time, mesin rekomendasi yang memberikan karyawan saran konstan, dan analisis otomatis yang muncul lebih cepat daripada sebagian besar tim dapat memprosesnya secara realistis. Secara teori, ini tampak seperti kemajuan – bisnis menghasilkan lebih banyak informasi daripada sebelumnya. Namun, ilmu kognitif telah jelas tentang hal ini selama beberapa dekade: lebih banyak informasi tidak secara otomatis menghasilkan keputusan yang lebih baik.

Orang hanya dapat menyerap sejumlah informasi sebelum kelebihan mulai terjadi. Terlalu banyak rekomendasi menciptakan keraguan. Terlalu banyak peringatan menjadi kebisingan latar belakang. Terlalu banyak pilihan yang dihasilkan AI dapat meninggalkan karyawan dengan keraguan daripada bertindak dengan percaya diri. Apa yang menarik adalah bahwa sistem AI menjadi sangat baik dalam menghasilkan informasi sambil tetap relatif buruk dalam memahami bagaimana manusia menerima, menafsirkan, dan merespons informasi tersebut dalam konteks. Dewan akhirnya tidak peduli berapa banyak ringkasan, rekomendasi, atau wawasan yang dihasilkan sistem. Mereka peduli apakah keputusan menjadi lebih jelas dan lebih dapat diandalkan di seluruh bisnis.

AI telah memasuki fase akuntabilitas

Proposal pemegang saham IBM mungkin berasal dari kekhawatiran tentang bias, tetapi saya pikir itu mencerminkan sesuatu yang jauh lebih luas yang terjadi di seluruh AI perusahaan. Kebaharuan AI telah berlalu, dan perusahaan yang mencari pengembalian investasi AI yang solid tidak lagi dapat melihat ke kemampuan model saja. Teknologi telah membuktikan dirinya, tetapi sekarang memerlukan ukuran akuntabilitas. Seberapa konsisten karyawan menggunakan sistem-sistem ini? Apakah keputusan membaik? Apakah kepercayaan dan keterlibatan meningkat seiring waktu, atau secara bertahap menghilang? Ketika AI menjadi lebih tertanam dalam alur kerja sehari-hari, generasi sistem berikutnya mungkin perlu menjadi lebih sadar akan perilaku manusia, perhatian, kepercayaan, dan niat jika bisnis ingin adopsi yang berkelanjutan dan ROI yang dapat diukur. Sampai saat itu, “mile terakhir” kemungkinan akan tetap menjadi salah satu tantangan terbesar dalam adopsi AI perusahaan.