Masalah Keandalan AI yang Tidak Banyak Dibicarakan

Narasi dominan tentang keandalan AI adalah sederhana: model mengalami halusinasi. Oleh karena itu, agar perusahaan dapat memperoleh manfaat maksimal dari mereka, model harus ditingkatkan. Lebih banyak parameter. Data pelatihan yang lebih baik. Lebih banyak pembelajaran penguatan. Lebih banyak penyelarasan.

Dan yet, bahkan ketika model-model pionir menjadi lebih mampu, debat tentang keandalan tetap tidak mau pergi. Pemimpin perusahaan masih ragu untuk membiarkan agen melakukan tindakan yang berarti dalam sistem inti. Dewan masih bertanya: “Apakah kita bisa mempercayainya?”

Tapi halusinasi bukanlah terutama masalah model. Mereka adalah masalah konteks. Kami meminta sistem AI untuk beroperasi pada infrastruktur perusahaan tanpa memberikan mereka visibilitas struktural yang diperlukan untuk berpikir dengan aman. Lalu kami menyalahkan model ketika itu menebak.

Sesungguhnya, celah keandalan tidak terletak pada bobot sebagai banyaknya pada lapisan informasi.

Seorang Ahli Bedah Tanpa Pencitraan

Bayangkan seorang ahli bedah yang melakukan operasi tanpa pencitraan. Tidak ada MRI. Tidak ada CT scan. Tidak ada visualisasi waktu nyata dari jaringan sekitar. Hanya pemahaman umum tentang anatomi dan skalpel. Bahkan ahli bedah yang paling terampil akan dipaksa untuk menebak. Untuk mengapproximasi. Untuk mengandalkan penalaran probabilistik.

Itulah yang sedang dilakukan oleh agen AI perusahaan sekarang.

Ketika sistem AI diminta untuk memodifikasi alur kerja, memperbarui aturan ERP, atau memicu otomatisasi di seluruh alat, itu jarang memiliki grafik ketergantungan penuh dari lingkungan. Ini tidak tahu mana “lapangan yang tidak digunakan” yang memberdayakan dashboard hilir. Ini tidak melihat mana otomatisasi yang merujuk pada aturan validasi itu. Ini tidak dapat memprediksi dampak orde kedua dengan andal.

Jadi itu melakukan apa yang dilakukan oleh model bahasa besar yang dilatih: itu memprediksi. Prediksi bukanlah pemahaman. Dan prediksi tanpa konteks struktural terlihat seperti halusinasi.

Kita Terus Mengarahkan Debat yang Salah

Komunitas AI telah terkunci dalam percakapan tentang keandalan model. Makalah tentang hukum penskalaan. Penelitian tentang rantai pemikiran prompting. Teknik augmentasi pengambilan. Benchmarks evaluasi.

Semua diperlukan. Semua berharga. Tapi perhatikan apa yang hilang: diskusi tentang topologi sistem perusahaan.

Keandalan dalam konteks perusahaan tidak hanya berarti “model menghasilkan teks yang benar.” Ini berarti “sistem membuat perubahan yang aman, dapat dilacak, dan dapat diprediksi.”

Itu adalah persyaratan yang secara fundamental berbeda.

Ketika OpenAI dan Anthropic menerbitkan evaluasi kinerja model, mereka mengukur akurasi pada tugas penalaran, benchmark pengkodean, atau pengingatan pengetahuan. Ini adalah sinyal yang berguna. Namun, mereka tidak mengukur kemampuan agen AI untuk dengan aman memodifikasi sistem pendapatan langsung dengan 15 tahun akumulasi utang otomatisasi.

Masalahnya bukan apakah model dapat menulis kode yang sintaksis benar; itu adalah apakah AI memahami lingkungan ke mana kode itu diterapkan.

Sistem Hidup Mengumpulkan Entropi

Sistem perusahaan bukanlah basis data statis. Mereka adalah sistem hidup. Setiap integrasi baru meninggalkan jejak. Setiap kampanye memperkenalkan lapangan. Setiap “perbaikan cepat” memperkenalkan lapisan otomatisasi tambahan. Seiring waktu, lapisan-lapisan ini berinteraksi dengan cara yang tidak sepenuhnya dipahami oleh satu orang.

Ini adalah fungsi pertumbuhan. Sistem adaptif kompleks secara alami mengumpulkan entropi. Penelitian dari MIT’s Sloan School telah lama menyoroti bagaimana asimetri informasi di dalam organisasi memperburuk risiko operasional. Sementara itu, Gartner memperkirakan bahwa kualitas data yang buruk menghabiskan biaya rata-rata $12,9 juta per tahun untuk organisasi.

Sekarang bayangkan memasukkan agen otonom ke dalam lingkungan itu tanpa mengatasi opasitas strukturalnya terlebih dahulu.

Kita tidak boleh terkejut ketika hasilnya terasa tidak terduga. Agen itu tidak jahat atau bodoh. Ini buta. Ini membangun di ruang gelap.

Pengambilan Informasi Bukan Cukup

Beberapa akan berargumen bahwa generasi yang ditingkatkan dengan pengambilan (RAG) menyelesaikan masalah ini. Berikan model akses ke dokumentasi. Beri makan skema deskripsi. Hubungkan ke API.

Itu membantu.

Tapi dokumentasi bukanlah topologi.

Sebuah PDF yang menjelaskan bagaimana alur kerja “seharusnya” beroperasi tidak sama dengan grafik waktu nyata tentang bagaimana itu benar-benar berinteraksi dengan 17 otomatisasi lainnya.

Kenyaatan perusahaan jarang sesuai dengan dokumentasi perusahaan.

Sebuah studi 2023 yang diterbitkan di Communications of the ACM menemukan bahwa dokumentasi yang usang adalah kontributor utama kegagalan pemeliharaan perangkat lunak. Sistem berevolusi lebih cepat dari narasi mereka.

Jadi bahkan ketika kita memberikan agen AI dengan dokumentasi, kita sering memberikan mereka peta sebagian atau ideal.

Peta sebagian masih menghasilkan kesalahan yang percaya diri.

Lapisan Agen adalah Lapisan Keamanan yang Sebenarnya

Kita cenderung berpikir tentang keamanan sebagai pelatihan penyelarasan, penghalang, tim merah, dan filter kebijakan. Semua penting. Tapi dalam konteks perusahaan, keamanan adalah kontekstual. Ini adalah mengetahui:

• Apa yang bergantung pada lapangan ini?
• Apa otomatisasi yang merujuk pada objek ini?
• Mana laporan hilir yang akan rusak?
• Siapa yang memiliki proses ini?
• Kapan ini terakhir dimodifikasi?
• Apa perubahan historis yang mendahului konfigurasi saat ini?

Tanpa lapisan ini, agen AI secara efektif melakukan improvisasi di dalam kotak hitam. Dengan lapisan ini, itu dapat mensimulasikan dampak sebelum bertindak. Perbedaan antara halusinasi dan keandalan seringkali visibilitas.

Mengapa Model Mendapat Salah

Mengapa, maka, debat fokus begitu banyak pada model? Karena model itu dapat dibaca. Kami dapat mengukur kekacauan. Kami dapat membandingkan skor benchmark. Kami dapat menerbitkan kurva penskalaan. Kami dapat mendebat kualitas data pelatihan.

Topologi informasi di dalam perusahaan jauh, jauh lebih berantakan. Ini memerlukan koordinasi fungsional lintas. Ini menuntut disiplin tata kelola. Ini memaksa organisasi untuk menghadapi kompleksitas akumulasi sistem mereka sendiri.

Lebih mudah mengatakan “model tidak siap” daripada mengakui “infrastruktur kita tidak transparan.”

Tapi ketika agen AI berpindah dari generasi konten ke eksekusi operasional, kerangka ini menjadi berbahaya.

Jika kita mengobati keandalan hanya sebagai masalah model, kita akan terus menerapkan agen ke dalam lingkungan yang tidak dapat mereka pahami secara bermakna.

Otonomi Memerlukan Konteks

Eksperimen terbaru Anthropic dengan tim pengembangan perangkat lunak multi-agents menunjukkan bahwa sistem AI dapat berkoordinasi di seluruh tugas kompleks ketika diberikan konteks terstruktur dan memori yang persisten. Batas kemampuan sedang berkembang dengan cepat. Tapi otonomi tanpa kesadaran lingkungan ini rapuh.

Mobil self-driving tidak hanya mengandalkan jaringan saraf yang kuat. Ini bergantung pada lidar, kamera, sistem pemetaan, dan penginderaan lingkungan waktu nyata. Model adalah satu lapisan dalam tumpukan persepsi yang lebih luas.

AI perusahaan memerlukan setara dengan lidar. Bukan hanya akses API. Bukan hanya dokumentasi. Tapi pemahaman struktural dan dinamis tentang ketergantungan sistem.

Sampai itu ada, debat tentang halusinasi akan terus mendiagnosis penyebab akar.

Risiko Tersembunyi: Kelebihan Kepercayaan Diri

Ada risiko halus lainnya dalam kerangka saat ini.

Ketika model meningkat, keluarannya menjadi lebih fasih, lebih persuasif, lebih berwibawa.

Kepercayaan diri diperkuat.

Ketika agen dengan percaya diri memodifikasi sistem tanpa konteks penuh, kegagalan tidak segera jelas. Ini mungkin muncul beberapa minggu kemudian sebagai kesalahan pelaporan, celah kepatuhan, atau kesalahan peramalan pendapatan. Karena model tampak kompeten, organisasi mungkin akan melebih-lebihkan keamanan operasionalnya. Mode kegagalan yang sebenarnya adalah kesalahan perhitungan yang masuk akal.

Dan kesalahan perhitungan yang masuk akal berkembang di ruang gelap.

Mengarahkan Kembali Pertanyaan Keandalan

Bukannya bertanya: “Apakah model cukup baik?” Kami harus bertanya: “Apakah agen memiliki konteks struktural yang cukup untuk bertindak dengan aman?” Bukannya mengukur akurasi benchmark, kami harus mengukur visibilitas lingkungan. Bukannya mendebat jumlah parameter, kami harus mengaudit opasitas sistem.

Batas depan keandalan AI berikutnya bukan hanya model yang lebih besar. Ini adalah lapisan konteks yang lebih kaya.

Ini termasuk:

• Grafik ketergantungan sistem perusahaan
• Pelacakan perubahan waktu nyata
• Pemetaan kepemilikan
• Pengetahuan konfigurasi historis
• Simulasi dampak sebelum eksekusi

Tidak ada yang ini yang glamor. Tidak ada yang ini yang tren di media sosial. Tapi ini adalah tempat di mana keandalan akan dimenangkan.

Membangun Dengan Lampu Menyala

Pemimpin perusahaan benar untuk menuntut keandalan sebelum memberikan wewenang operasional kepada agen. Tapi jalan ke depan bukanlah menunggu model yang bebas halusinasi yang mitos.

Ini adalah berinvestasi pada infrastruktur visibilitas yang membuat tindakan cerdas memungkinkan.

Kami tidak akan membiarkan admin junior mengubah sistem produksi tanpa memahami ketergantungan. Kami tidak boleh membiarkan agen AI melakukan hal yang sama.

Tujuannya? Mengurangi titik buta.

Ketika agen beroperasi dengan kesadaran struktural, tingkat halusinasi menurun tidak karena model berubah, tapi karena permukaan tebakan menyusut.

Prediksi menjadi penalaran. Penalaran menjadi simulasi. Simulasi menjadi eksekusi yang aman.

Perubahan Tak Terhindarkan

Dalam lima tahun ke depan, tumpukan AI akan bercabang. Satu lapisan akan fokus pada kemampuan model: kedalaman penalaran, kelancaran multimodal, dan efisiensi biaya. Lapisan lain akan fokus pada topologi informasi/kontekstual: grafik sistem, kecerdasan metadata, dan kerangka tata kelola.

Organisasi yang mengobati keandalan hanya sebagai latihan pemilihan model akan bergelut.

Organisasi yang mengobati keandalan sebagai properti arsitektur akan bergerak lebih cepat dengan risiko yang lebih sedikit.

Debat tentang halusinasi akan terlihat kuno dalam retrospeksi. Cerita yang sebenarnya akan tentang visibilitas.

AI tidak secara inheren sembrono.

Ini beroperasi di ruang gelap.

Sampai kita mengatasi itu, kita tidak membangun sistem cerdas. Kita membangun prediktor yang kuat di dalam lingkungan yang tidak transparan.

Dan itu berarti, meskipun semua kemajuan, AI masih membangun di ruang gelap.