Bagaimana Saya Mengubah Pengetahuan Saya ke Sistem AI yang Dapat Benar-Benar Membuat Keputusan seperti Ahli Manusia

Ketika saya meninggalkan Microsoft dan terus bekerja dengan perusahaan pada penyebaran AI mereka, saya terus melihat bahwa sebagian besar sistem AI yang orang-orang gemari tidak dapat benar-benar membuat keputusan dengan penilaian manusia yang sebenarnya. Tentu, mereka dapat menulis, meringkas, dan menghasilkan teks yang luar biasa yang terdengar seperti keputusan, tetapi ketika Anda meletakkan sistem ini ke dalam lingkungan operasional nyata, di mana ada pertukaran, ketidakpastian, instruksi yang tidak lengkap, dan konsekuensi nyata, mereka berjuang dengan cepat. Ini sesuai dengan data dari Proyek MIT NANDA yang menunjukkan bahwa sementara 60% organisasi mengevaluasi alat AI, hanya 20% mencapai tahap pilot, dan hanya 5% mencapai produksi. Dengan kata lain, industri ini berjuang untuk membangun sistem yang benar-benar dapat bertahan di dalam alur kerja nyata.

Dalam pengaturan perusahaan, terutama di bidang seperti rantai pasokan, manufaktur, dan operasi, mendapatkan jawaban tidak sulit; itu mengetahui jawaban mana yang dapat dipercaya, variabel mana yang paling penting, dan apa yang mungkin rusak di hilir jika Anda salah. Dalam pandangan saya, ini adalah masalah keahlian dan penilaian.

Untuk menjelaskan, AI telah membuat kemajuan luar biasa dalam menghasilkan output yang lebih baik. Tetapi output yang lebih baik tidak sama dengan keputusan yang lebih baik. Ini adalah dua tonggak yang berbeda, dan saya pikir industri telah menghabiskan banyak waktu untuk menganggapnya sebagai sesuatu yang dapat dipertukarkan.

Kurangnya keahlian dan penilaian adalah alasan saya tertarik untuk membangun AI yang dapat diajari oleh ahli manusia untuk membuat keputusan kompleks dengan cara mereka. AI tidak hanya harus tentang mengotomatisasi tugas, tetapi tentang mentransfer penilaian manusia ke AI yang dapat bertahan.

Model bahasa besar (LLM) berbicara seperti pembuat keputusan, tetapi mereka tidak

Tidak ada keraguan bahwa LLM berguna, tetapi mereka tidak, secara default, sistem pembuatan keputusan. Mereka adalah sistem prediksi yang dibungkus dengan bahasa. Dan bahasa itu persuasif, yang merupakan bagian dari masalah. Jika suatu sistem dapat menjelaskan dirinya dengan fasih, kita dengan mudah melebih-lebihkan apa yang dipahaminya. Anda bertanya kepadanya pertanyaan bisnis, ia memberikan jawaban yang terstruktur dengan pertukaran, catatan, dan ringkasan kecil di akhir, membuatnya terdengar lebih pintar daripada yang sebenarnya. Terdengar kohesif dan kompeten operasional tidak sama, dan inilah tempat banyak AI perusahaan gagal. Model dapat memberitahu Anda apa yang terdengar seperti keputusan yang baik tanpa memiliki pemahaman tentang apa yang membuat keputusan baik di bawah tekanan, seiring waktu, atau dalam konteks. Ini adalah salah satu alasan banyak organisasi berjuang untuk melampaui eksperimen. Gartner menemukan bahwa setidaknya 50% proyek AI generatif ditinggalkan setelah bukti konsep, jauh sebelum mereka memberikan dampak operasional nyata, sering karena nilai dan kontrol risiko yang tidak jelas.

Informasi tidak sama dengan keahlian

Salah satu perangkap termudah untuk jatuh dengan AI adalah menganggap bahwa jika suatu sistem memiliki cukup informasi, maka harus dapat berperforma seperti ahli. Terdengar masuk akal, tetapi ketika Anda memikirkannya dalam kehidupan sehari-hari, meningkatkan informasi tentang sesuatu tidak secara otomatis membuat kita ahli. Anda dapat membaca setiap manual penerbangan dan masih tidak siap untuk mendaratkan pesawat. Anda dapat menghafal setiap praktik terbaik dalam rantai pasokan dan masih membeku ketika tiga hal salah sekaligus.

Saya bisa melanjutkan, tetapi poinnya adalah bahwa informasi tidak setara dengan kemampuan. Kemampuan datang dari pengalaman, terutama, paparan berulang terhadap situasi yang kacau di mana jawabannya tidak jelas.

Setiap hari, saya melihat bahwa sebagian besar sistem AI saat ini dilatih pada contoh statis. Ini semua berguna untuk membuat prediksi, tetapi itu hanya sebagian kecil dari pembuatan keputusan. Perusahaan tidak kekurangan data per se, tetapi mereka membutuhkan lingkungan terstruktur untuk berlatih, yang berarti memberikan sistem lingkungan di mana mereka dapat berulang kali:

• Menghadapi skenario realistis
• Membuat pilihan
• Melihat apa yang terjadi
• Menerima umpan balik
• Meningkatkan seiring waktu

AI dapat dilatih menggunakan algoritma prediktif, tetapi pendekatan ini memiliki keterbatasan. Apa yang dibutuhkan selanjutnya adalah AI yang dapat dilatih dalam lingkungan simulasi dengan pengawasan manusia. Saya menyebut ini pengajaran mesin, metode yang memecah keputusan kompleks menjadi skenario dan keterampilan, memberikan panduan bagi ahli manusia untuk mengajar AI melalui simulasi. Umpan balik dan trial-and-error yang dihasilkan akhirnya memungkinkan agen untuk belajar dan bertindak dengan otonomi nyata langsung dari orang-orang yang membangun proses tersebut.

Berhenti mengobati AI seperti monolit

Kesalahan lain yang saya lihat banyak adalah asumsi bahwa satu model besar harus melakukan semuanya. Tidak ada tim bola basket yang terdiri dari hanya satu orang. Tidak ada pabrik yang dijalankan oleh seorang individu. Sistem kompleks bekerja karena komponen yang berbeda melakukan pekerjaan yang berbeda, dan ada struktur yang memegangnya bersama.

AI harus dibangun dengan cara yang sama. Saya tidak berpikir bahwa masa depan pembuatan keputusan perusahaan adalah satu model raksasa yang duduk di tengah perusahaan dan berpura-pura menjadi kompeten secara universal. Lebih mungkin terlihat seperti tim agen khusus.

Satu agen bisa menjadi ahli dalam pengambilan data. Yang lain lebih baik dalam mengevaluasi skenario. Yang lain menangani perencanaan. Satu memeriksa kepatuhan atau menangkap kontradiksi. Yang lain bertindak lebih seperti supervisor, memutuskan kapan untuk meningkatkan atau kapan kepercayaan diri terlalu rendah untuk melanjutkan. Arsitektur tim membuat lebih banyak sense bagi saya karena itu memetakan cara kerja organisasi nyata dan selaras dengan tren pasar yang lebih luas. Temuan McKinsey memperkuat bahwa organisasi mendapatkan nilai terbesar dari AI dengan merancang ulang alur kerja dan struktur operasional di sekitarnya.

Tidak semua keputusan dibuat dengan cara yang sama, dan terlalu sering kita menganggap model yang sama, data yang sama, dan jenis penalaran yang sama dapat menangani semuanya. Dalam kenyataan, keputusan yang berbeda memerlukan mekanisme yang berbeda.

Empat cara keputusan sebenarnya terjadi

Dalam pengalaman saya, sebagian besar keputusan cenderung jatuh ke dalam beberapa kategori:

1. Sistem kontrol (aturan dan rumus): Keputusan dibuat dengan menerapkan persamaan atau aturan yang telah ditentukan sebelumnya ke input yang diketahui. Jika X terjadi, lakukan Y.
2. Pencarian dan optimasi: Keputusan dibuat dengan mengevaluasi banyak pilihan dan memilih yang terbaik berdasarkan tujuan yang telah ditentukan.
3. Pembelajaran penguatan (trial dan error): Keputusan dipelajari seiring waktu dengan mengambil tindakan, mengamati hasil, dan menyesuaikan berdasarkan reward atau hukuman.
4. Praktik dan pengalaman (pembelajaran gaya manusia): Keputusan dibentuk melalui paparan berulang, umpan balik yang dipandu, dan penilaian yang terkumpul dalam skenario dunia nyata.

Sebagian besar AI perusahaan melakukan dengan baik dalam dua kategori pertama. Kategori ketiga dan keempat lebih menantang bagi AI, karena di sanalah penilaian manusia hidup.

Otonomi tanpa struktur adalah risiko

Setiap kali orang berbicara tentang AI otonom, percakapan cenderung terbagi menjadi dua ekstrem. Satu sisi berpikir bahwa sistem ini hampir ajaib dan siap untuk menjalankan semuanya. Sisi lain bertindak seolah-olah mereka tidak boleh dipercaya dengan apa pun yang berarti.

Saya tidak berpikir bahwa salah satu pandangan itu berguna. Kami harus fokus pada otonomi dalam struktur karena otonomi tanpa pengawasan, logika eskalasi, batasan, atau akuntabilitas adalah sumber utama risiko. Kekhawatiran risiko mulai muncul lebih banyak sekarang, termasuk dalam percakapan yang dibentuk oleh upaya seperti Kerangka Manajemen Risiko AI Institut Nasional untuk Standar dan Teknologi, yang mencerminkan seberapa serius organisasi mengambil pertanyaan tentang pengawasan, akuntabilitas, dan kepercayaan operasional.

Masa depan AI perusahaan terletak pada tim agen. Organisasi yang mendapatkan nilai terbesar dari AI tidak akan menjadi mereka yang mengotomatisasi kata-kata terbanyak. Mereka adalah mereka yang memahami bagaimana mentransfer keahlian nyata ke sistem yang dapat bertahan ketika lingkungan menjadi kacau. Itu, dalam pandangan saya, adalah perbedaan antara AI yang terlihat mengesankan dan AI yang menjadi benar-benar berguna, menghasilkan ROI nyata.