Bagaimana Saya Mengubah Pengetahuan Saya ke Sistem AI yang Dapat Membuat Keputusan Seperti Ahli Manusia

Ketika saya meninggalkan Microsoft dan terus bekerja dengan perusahaan pada penyebaran AI mereka, saya terus melihat bahwa sebagian besar sistem AI yang orang sangat antusias tidak dapat benar-benar membuat keputusan dengan penilaian manusia yang sebenarnya. Ya, mereka dapat menulis, meringkas, dan menghasilkan teks yang sangat fasih yang terdengar seperti keputusan, tetapi ketika Anda meletakkan sistem ini ke dalam lingkungan operasional nyata, di mana ada kompromi, ketidakpastian, instruksi yang tidak lengkap, dan konsekuensi yang sebenarnya, mereka berjuang dengan cepat. Ini sesuai dengan data dari Proyek NANDA MIT yang menunjukkan bahwa sementara 60% organisasi mengevaluasi alat AI, hanya 20% mencapai tahap pilot, dan hanya 5% mencapai produksi. Dengan kata lain, industri ini berjuang untuk membangun sistem yang dapat benar-benar bertahan di dalam alur kerja nyata.

Di pengaturan perusahaan, terutama di bidang seperti rantai pasokan, manufaktur, dan operasi, mendapatkan jawaban tidak sulit; itu adalah mengetahui jawaban mana yang dapat dipercaya, variabel mana yang paling penting, dan apa yang mungkin rusak di hilir jika Anda salah. Menurut saya, ini adalah masalah keahlian dan penilaian.

Untuk menjelaskan, AI telah membuat kemajuan luar biasa dalam menghasilkan output yang lebih baik. Tetapi output yang lebih baik tidak sama dengan keputusan yang lebih baik. Ini adalah dua tonggak yang berbeda, dan saya pikir industri telah menghabiskan banyak waktu untuk mengobati mereka sebagai sesuatu yang dapat dipertukarkan.

Kurangnya keahlian dan penilaian adalah alasan saya menjadi tertarik untuk membangun AI yang dapat diajarkan oleh ahli manusia untuk membuat keputusan kompleks dengan cara mereka. AI tidak hanya seharusnya tentang mengotomatisasi tugas, tetapi tentang mentransfer penilaian manusia ke dalam AI yang dapat bertahan.

Model bahasa besar (LLM) berbicara seperti pembuat keputusan, tetapi mereka bukan

Tidak ada keraguan bahwa LLM berguna, tetapi mereka tidak, secara default, sistem pembuat keputusan. Mereka adalah sistem prediksi yang dibungkus dengan bahasa. Dan bahasa itu persuasif, yang merupakan bagian dari masalah. Jika sebuah sistem dapat menjelaskan dirinya dengan fasih, kita dengan mudah melebih-lebihkan apa yang dipahami. Anda bertanya kepada mereka sebuah pertanyaan bisnis, mereka memberikan jawaban yang terstruktur dengan kompromi, catatan, dan ringkasan kecil di akhir, membuatnya terdengar lebih pintar daripada yang sebenarnya. Terdengar kohesif dan kompeten operasional tidak sama, dan ini adalah tempat di mana banyak AI perusahaan gagal. Model dapat memberitahu Anda apa yang terdengar seperti keputusan yang baik tanpa memiliki pemahaman tentang apa yang membuat keputusan baik di bawah tekanan, seiring waktu, atau dalam konteks. Ini adalah salah satu alasan banyak organisasi berjuang untuk melampaui eksperimen. Gartner menemukan bahwa setidaknya 50% proyek AI generatif ditinggalkan setelah bukti konsep, jauh sebelum mereka menghasilkan dampak operasional yang sebenarnya, sering karena nilai dan kontrol risiko yang tidak jelas.

Informasi tidak sama dengan keahlian

Salah satu perangkap termudah untuk jatuh ke dalam AI adalah berasumsi bahwa jika sebuah sistem memiliki cukup informasi, maka harus dapat berperforma seperti ahli. Terdengar masuk akal, tetapi ketika Anda memikirkannya dalam kehidupan sehari-hari, meningkatkan informasi tentang sesuatu tidak secara otomatis membuat kita ahli. Anda dapat membaca setiap manual penerbangan dan masih tidak siap untuk mendaratkan pesawat. Anda dapat menghafal setiap praktik terbaik dalam rantai pasokan dan masih membeku ketika tiga hal salah sekaligus.

Saya bisa melanjutkan, tetapi poinnya adalah bahwa informasi tidak sama dengan kemampuan. Kemampuan datang dari pengalaman, khususnya, paparan berulang kali terhadap situasi yang kacau di mana jawabannya tidak jelas.

Setiap hari, saya melihat bahwa sebagian besar sistem AI saat ini dilatih pada contoh statis. Ini semua berguna untuk membuat prediksi, tetapi itu hanya sebagian kecil dari pembuatan keputusan. Perusahaan tidak kekurangan data per se, tetapi mereka membutuhkan lingkungan yang terstruktur untuk berlatih, yang berarti memberikan sistem lingkungan di mana mereka dapat berulang kali:

• Menghadapi skenario realistis
• Membuat pilihan
• Melihat apa yang terjadi
• Menerima umpan balik
• Meningkatkan dari waktu ke waktu

AI dapat dilatih menggunakan algoritma prediktif, tetapi pendekatan ini memiliki keterbatasan. Apa yang dibutuhkan selanjutnya adalah AI yang dapat dilatih dalam lingkungan simulasi dengan pengawasan manusia. Saya menyebut ini sebagai pengajaran mesin, metode yang memecah keputusan kompleks menjadi skenario dan keterampilan, memberikan pedoman bagi ahli manusia untuk mengajar AI melalui simulasi. Umpan balik dan trial-and-error yang dihasilkan akhirnya memungkinkan agen untuk belajar dan bertindak dengan otonomi dunia nyata langsung dari orang-orang yang membangun proses tersebut.

Berhenti memperlakukan AI seperti monolit

Kesalahan lain yang saya lihat banyak adalah asumsi bahwa satu model besar harus melakukan segalanya. Tidak ada tim bola basket yang terdiri dari hanya satu orang. Tidak ada pabrik yang dijalankan oleh seorang individu. Sistem kompleks bekerja karena komponen yang berbeda melakukan pekerjaan yang berbeda, dan ada struktur yang memegang mereka bersama.

AI harus dibangun dengan cara yang sama. Saya tidak berpikir bahwa masa depan pembuatan keputusan perusahaan adalah satu model raksasa yang duduk di tengah perusahaan dan berpura-pura menjadi kompeten secara universal. Ini lebih mungkin terlihat seperti tim agen khusus.

Satu agen bisa menjadi ahli dalam pengambilan data. Yang lain lebih baik dalam mengevaluasi skenario. Yang lain menangani perencanaan. Satu memeriksa kepatuhan atau menangkap kontradiksi. Yang lain bertindak lebih seperti supervisor, memutuskan kapan untuk menaikkan atau ketika kepercayaan terlalu rendah untuk melanjutkan. Arsitektur tim membuat lebih banyak sense bagi saya karena itu memetakan bagaimana organisasi nyata sebenarnya bekerja dan selaras dengan tren pasar yang lebih luas. Temuan McKinsey memperkuat bahwa organisasi mendapatkan nilai terbesar dari AI dengan merancang ulang alur kerja dan struktur operasional di sekitarnya.

Tidak semua keputusan dibuat dengan cara yang sama, dan terlalu sering kita berasumsi bahwa model yang sama, data yang sama, dan jenis penalaran yang sama dapat menangani semuanya. Dalam kenyataan, keputusan yang berbeda memerlukan mekanisme yang berbeda.

Empat cara keputusan sebenarnya terjadi

Dalam pengalaman saya, sebagian besar keputusan cenderung jatuh ke dalam beberapa kategori:

1. Sistem kontrol (aturan dan rumus): Keputusan dibuat dengan menerapkan persamaan atau aturan yang telah ditentukan sebelumnya ke input yang diketahui. Jika X terjadi, lakukan Y.
2. Pencarian dan optimisasi: Keputusan dibuat dengan mengevaluasi banyak pilihan dan memilih yang terbaik berdasarkan tujuan yang ditentukan.
3. Pembelajaran penguatan (trial dan error): Keputusan dipelajari seiring waktu dengan mengambil tindakan, mengamati hasil, dan menyesuaikan berdasarkan hadiah atau hukuman.
4. Praktik dan pengalaman (pembelajaran gaya manusia): Keputusan dibentuk melalui paparan berulang, umpan balik yang dipandu, dan penilaian yang terkumpul dalam skenario dunia nyata.

Sebagian besar AI perusahaan berfungsi dengan baik dalam dua kategori pertama. Kategori ketiga dan keempat lebih menantang bagi AI, karena di situlah penilaian manusia hidup.

Otonomi tanpa struktur adalah risiko

Setiap kali orang berbicara tentang AI otonom, percakapan cenderung terbagi menjadi dua ekstrem. Satu sisi berpikir bahwa sistem ini hampir ajaib dan siap untuk menjalankan semuanya. Sisi lain bertindak seolah-olah mereka tidak boleh dipercaya dengan apa pun yang berarti.

Saya tidak berpikir bahwa salah satu pandangan itu berguna. Kami harus fokus pada otonomi dalam struktur karena otonomi tanpa pengawasan, logika eskalasi, batasan, atau akuntabilitas adalah sumber utama risiko. Kekhawatiran risiko muncul lebih sekarang, juga, termasuk dalam percakapan yang dibentuk oleh upaya seperti Kerangka Manajemen Risiko AI Institut Nasional untuk Standar dan Teknologi, yang mencerminkan bagaimana serius organisasi mengambil pertanyaan tentang pengawasan, akuntabilitas, dan kepercayaan operasional.

Masa depan AI perusahaan terletak pada tim agen. Organisasi yang mendapatkan nilai terbesar dari AI tidak akan menjadi mereka yang mengotomatisasi kata-kata terbanyak. Mereka adalah mereka yang menemukan cara untuk mentransfer keahlian nyata ke dalam sistem yang dapat bertahan ketika lingkungan menjadi kacau. Itu, menurut saya, adalah perbedaan antara AI yang terlihat mengesankan dan AI yang menjadi benar-benar berguna, menghasilkan ROI yang sebenarnya.