Pemimpin pemikiran
Ketika AI Anda Menciptakan Fakta: Risiko Perusahaan yang Tidak Bisa Diabaikan oleh Pemimpin
Itu terdengar benar. Itu terlihat benar. Itu salah. Itulah AI Anda pada halusinasi. Masalahnya bukan hanya bahwa model AI generatif saat ini halusinasi. Itu karena kita merasa jika kita membangun enough guardrails, fine-tune itu, RAG itu, dan menjinakkan itu dengan cara tertentu, maka kita akan dapat mengadopsinya pada skala Perusahaan.
| Studi | Domain | Tingkat Halusinasi | Temuan Utama |
|---|---|---|---|
| Stanford HAI & RegLab (Jan 2024) | Hukum | 69%–88% | LLM menunjukkan tingkat halusinasi yang tinggi saat merespons kueri hukum, seringkali tidak memiliki kesadaran diri tentang kesalahan mereka dan memperkuat asumsi hukum yang salah. |
| Studi JMIR (2024) | Referensi Akademik | GPT-3.5: 90.6%, GPT-4: 86.6%, Bard: 100% | Referensi yang dihasilkan LLM seringkali tidak relevan, salah, atau tidak didukung oleh literatur yang tersedia. |
| Studi UK tentang Konten AI yang Dihasilkan (Feb 2025) | Keuangan | Tidak spesifik | Disinformasi yang dihasilkan AI meningkatkan risiko bank run, dengan sebagian besar pelanggan bank mempertimbangkan untuk memindahkan uang mereka setelah melihat konten palsu yang dihasilkan AI. |
| Laporan Risiko Global Forum Ekonomi Dunia (2025) | Penilaian Risiko Global | Tidak spesifik | Misinformasi dan disinformasi, yang diperkuat oleh AI, menduduki peringkat sebagai risiko global teratas dalam jangka waktu dua tahun. |
| Vectara Hallucination Leaderboard (2025) | Evaluasi Model AI | GPT-4.5-Preview: 1.2%, Google Gemini-2.0-Pro-Exp: 0.8%, Vectara Mockingbird-2-Echo: 0.9% | Mengevaluasi tingkat halusinasi di berbagai LLM, mengungkapkan perbedaan signifikan dalam kinerja dan akurasi. |
| Studi Arxiv tentang Halusinasi Faktual (2024) | Penelitian AI | Tidak spesifik | Memperkenalkan HaluEval 2.0 untuk secara sistematis mempelajari dan mendeteksi halusinasi dalam LLM, dengan fokus pada ketidakakuratan faktual. |
Tingkat Halusinasi Mencapai dari 0,8% hingga 88%
Ya, itu tergantung pada model, domain, kasus penggunaan, dan konteks, tetapi penyebaran itu seharusnya mengguncang setiap pengambil keputusan perusahaan. Ini bukanlah kesalahan kasus tepi. Mereka sistemik. Bagaimana Anda membuat keputusan yang tepat ketika datang ke adopsi AI di perusahaan Anda? Di mana, bagaimana, seberapa dalam, seberapa luas?
Dan contoh dari konsekuensi nyata dari hal ini muncul di berita Anda setiap hari. Dewan Stabilitas Keuangan G20 telah mengidentifikasi AI generatif sebagai vektor disinformasi yang dapat menyebabkan krisis pasar, ketidakstabilan politik, dan yang lebih buruk–flash crash, berita palsu, dan penipuan. Dalam sebuah cerita yang baru-baru ini dilaporkan, firma hukum Morgan & Morgan mengeluarkan memo darurat kepada semua pengacara: Jangan mengajukan pengajuan yang dihasilkan AI tanpa memeriksa. Kasus hukum palsu adalah “pelanggaran yang dapat dipecat”.
Ini mungkin bukan waktu terbaik untuk bertaruh pada tingkat halusinasi yang cenderung menuju nol dalam waktu dekat. Terutama di industri yang diatur, seperti hukum, ilmu hayat, pasar modal, atau di lainnya, di mana biaya kesalahan bisa tinggi, termasuk penerbitan pendidikan tinggi.
Halusinasi Bukanlah Kesalahan Pembulatan
Ini bukan tentang jawaban yang salah secara terkadang. Ini tentang risiko: Reputasi, Hukum, Operasional.
AI generatif bukanlah mesin penalaran. Ini adalah penyelesaian statistik, burung beo stokastik. Ini menyelesaikan prompt Anda dengan cara yang paling mungkin berdasarkan data pelatihan. Bahkan bagian yang terdengar benar adalah tebakan. Kami menyebut bagian yang paling absurd “halusinasi,” tetapi seluruh output adalah halusinasi. Yang terlihat baik. Tetapi itu bekerja, secara ajaib baik—sampai itu tidak.
AI sebagai Infrastruktur
Dan yet, itu penting untuk dikatakan bahwa AI akan siap untuk adopsi Perusahaan ketika kita mulai memperlakukannya seperti infrastruktur, dan tidak seperti sihir. Dan di mana diperlukan, itu harus transparan, dapat dijelaskan, dan dapat dilacak. Dan jika itu tidak, maka cukup sederhana, itu tidak siap untuk adopsi Perusahaan untuk kasus penggunaan tersebut. Jika AI membuat keputusan, itu harus berada di radar Dewan Anda.
Undang-Undang AI Uni Eropa memimpin di sini. Domain risiko tinggi seperti keadilan, kesehatan, dan infrastruktur akan diatur seperti sistem kritis. Dokumentasi, pengujian, dan keterjelasan akan menjadi wajib.
Apa yang Dilakukan Model AI yang Aman untuk Perusahaan
Perusahaan yang berspesialisasi dalam membangun model AI yang aman untuk perusahaan, membuat keputusan sadar untuk membangun AI secara berbeda. Dalam arsitektur AI alternatif mereka, Model Bahasa tidak dilatih pada data, sehingga mereka tidak “terkontaminasi” dengan apa pun yang tidak diinginkan dalam data, seperti bias, pelanggaran IP, atau kecenderungan untuk menebak atau halusinasi.
Model seperti itu tidak “menyelesaikan pikiran Anda” — mereka menalar dari konten pengguna. Basis pengetahuan mereka. Dokumen mereka. Data mereka. Jika jawabannya tidak ada di sana, model seperti itu mengatakan demikian. Itulah yang membuat model AI seperti itu dapat dijelaskan, dapat dilacak, deterministik, dan pilihan yang baik di tempat-tempat di mana halusinasi tidak dapat diterima.
Buku Pedoman 5 Langkah untuk Akuntabilitas AI
- Petakan lanskap AI – Di mana AI digunakan di seluruh bisnis Anda? Keputusan apa yang mereka pengaruhi? Berapa premi yang Anda tempatkan pada kemampuan untuk melacak keputusan tersebut kembali ke analisis transparan pada bahan sumber yang dapat diandalkan?
- Sesuaikan organisasi Anda – Tergantung pada cakupan penerapan AI Anda, atur peran, komite, proses, dan praktik audit yang sama ketat dengan yang untuk risiko keuangan atau keamanan siber.
- Bawa AI ke tingkat risiko Dewan – Jika AI Anda berbicara dengan pelanggan atau regulator, itu milik laporan risiko Anda. Tata kelola bukanlah pertunjukan sampingan.
- Perlakukan vendor seperti co-liabilitas – Jika AI vendor membuat sesuatu, Anda masih memiliki akibatnya. Perluas prinsip Akuntabilitas AI Anda kepada mereka. Tuntut dokumentasi, hak audit, dan SLA untuk keterjelasan dan tingkat halusinasi.
- Latih skeptisisme – Tim Anda harus memperlakukan AI seperti analis junior — berguna, tetapi tidak tak tercela. Rayakan ketika seseorang mengidentifikasi halusinasi. Kepercayaan harus diperoleh.
Masa Depan AI di Perusahaan tidak tentang model yang lebih besar. Yang dibutuhkan adalah presisi yang lebih baik, transparansi yang lebih baik, kepercayaan yang lebih baik, dan akuntabilitas yang lebih baik.
