Mengapa 95% Inisiatif AI Menghasilkan ROI Nol

Studi terbaru MIT menemukan bahwa 95% organisasi tidak mendapatkan pengembalian dari inisiatif AI generatif; tidak ada dampak P&L yang dapat diukur meskipun investasi yang signifikan. Berita utama memfokuskan pada tingkat kegagalan, tetapi pertanyaan yang sebenarnya bukanlah apakah teknologi tersebut bekerja. Large Language Models kuat, mudah diakses, dan berkembang dengan cepat. Masalahnya adalah bagaimana bisnis mencoba menggunakannya.

Sebagian besar organisasi mendekati agen AI dengan cara yang sama seperti mereka mendekati setiap peluncuran teknologi lainnya. Mereka mengambil proses yang ada, menambahkan beberapa AI, dan berharap keajaiban. Ketika itu tidak berhasil, mereka menyalahkan modelnya. Tetapi kegagalan terjadi jauh sebelum AI terlibat.

Saya telah melihat pola ini berulang kali di seluruh perusahaan yang membangun alur kerja AI. Tim-tim menjadi bersemangat tentang kemungkinan, terburu-buru ke dalam pengembangan, kemudian mengenai hambatan yang sama yang dapat diprediksi. Perbedaan antara 5% yang sukses dan 95% yang menghasilkan ROI nol tidaklah keberuntungan atau anggaran; itu adalah menghindari enam kesalahan kritis yang membunuh nilai agen AI sebelum dimulai.

Data Anda lebih berantakan daripada yang Anda pikir

Sebagian besar tim berpikir bahwa memiliki data berarti mereka siap untuk AI. Mereka menunjuk ke danau data mereka, CRM mereka, database yang dirawat dengan hati-hati, dan menganggap keberhasilan sudah pasti. Kemudian mereka membuang semua ke dalam LLM dan heran mengapa agen mereka menghasilkan output sampah atau membakar anggaran mereka dalam beberapa hari.

Data yang berantakan menciptakan agen yang berantakan. Jika Anda mengirim dump database mentah, ekspor yang diisi dengan HTML, atau blob teks yang tidak terstruktur ke agen AI, Anda mengatur agar gagal. Model-model tersebut menjadi bingung oleh bidang yang tidak relevan, terganggu oleh artefak pemformatan, dan terlalu banyak volume.

Tim-tim secara rutin mengirim catatan pelanggan dengan 47 bidang ketika hanya 3 yang kritis untuk keputusan. Mereka termasuk UUID yang tidak menambah nilai semantik apa pun tetapi mengonsumsi token yang berharga. Mereka memberi makan agen dengan HTML yang diambil dari alat internal bukan informasi yang terstruktur dan bersih.

Anda akan mengenai batas lebih cepat dari yang diharapkan

Setiap tim percaya bahwa mereka tidak akan pernah mengenai batas konteks. “Kami hanya memproses beberapa catatan pelanggan,” kata mereka. “Bagaimana bisa itu sulit?” Kemudian agen mereka perlu menganalisis 500 tiket dukungan, masing-masing dengan riwayat percakapan penuh, dan tiba-tiba mereka mengenai batas token sejuta.

Konteks besar menumpuk lebih cepat dari yang diharapkan. Agen dukungan pelanggan yang menangani eskalasi mungkin perlu akses ke riwayat tiket, artikel basis pengetahuan, interaksi sebelumnya, dan dokumentasi produk. Itu dengan mudah ratusan ribu token per permintaan. Kalikan itu dengan pengguna bersamaan, dan biaya infrastruktur Anda melonjak tidak terkendali.

Pendekatan yang naif adalah hanya mengirim semua ke model dan berharap yang terbaik. Tim-tim yang cerdas memecah permintaan menjadi potongan-potongan, meringkas setiap bagian, kemudian beroperasi pada ringkasan dari ringkasan. Pendekatan hierarkis ini menjaga permintaan tetap terkelola sambil melestarikan informasi kritis yang agen butuhkan untuk membuat keputusan yang baik.

Keamanan menjadi rumit dengan cepat

Tim-tim menjadi bersemangat tentang kepribadian dan kemampuan agen AI mereka, menulis beberapa pedoman dasar, dan berpikir bahwa mereka dilindungi. Pada kenyataannya, agen AI memerlukan pemikiran keamanan yang secara fundamental berbeda dari aplikasi tradisional.

Agen AI dapat ditipu, dimanipulasi, dan dipaksa dengan cara yang melanggar model keamanan konvensional. Input pengguna dapat berisi perintah tersembunyi yang menggantikan prompt yang Anda buat dengan hati-hati. Agen dapat dibujuk untuk mengabaikan pedoman mereka, mengakses data yang tidak seharusnya mereka lihat, atau mengambil tindakan di luar cakupan yang dimaksudkan.

Implementasi yang cerdas memerlukan batasan ketat tentang apa yang dapat dan tidak dapat dilakukan agen. Untuk apa pun yang mengubah status; menulis data, mengirim email, membuat panggilan API; Anda memerlukan alur kerja usul-justifikasi-persetujuan. Agen menjelaskan apa yang ingin mereka lakukan dan mengapa, kemudian menunggu persetujuan manusia sebelum bertindak. Ini mencegah otomatisasi yang tidak terkendali sambil mempertahankan manfaat bantuan AI.

Apa yang sebenarnya berhasil

Dari mengamati ratusan implementasi agen AI, enam praktik memisahkan penerapan yang sukses dari kegagalan yang mahal.

Pertama adalah kebersihan data. Kirim JSON yang ringkas, dengan skema yang tetap. Hilangkan UUID, HTML, bidang duplikat, dan informasi sensitif apa pun kecuali jika itu sangat kritis untuk keputusan. Gantikan data sensitif dengan metadata bila memungkin. Ini menjaga model tetap fokus sambil memotong ukuran payload, biaya, dan latensi.

Kedua adalah manajemen konteks. Anda akan mengenai batas token lebih cepat dari yang diharapkan. Pecah permintaan menjadi potongan-potongan yang lebih kecil, ringkas setiap satu, kemudian beroperasi pada ringkasan. Pendekatan hierarkis ini menjaga permintaan tetap terkendali sambil melestarikan konteks yang diperlukan.

Ketiga adalah keamanan prompt. Tetapkan batasan ketat untuk apa yang dapat dan tidak dapat dilakukan agen Anda. Implementasikan alur kerja usul-justifikasi-persetujuan untuk apa pun yang mengubah status. Perlakukan semua konten pengguna sebagai tidak tepercaya; hilangkan kode dan tautan, dan ingatkan model untuk tidak pernah mengikuti instruksi tersembunyi dalam teks pengguna. Pantau terus prompt dan output untuk perilaku yang tidak biasa atau melanggar kebijakan untuk memastikan batasan tetap efektif seiring waktu.

Keempat adalah kontrol biaya. Tetapkan anggaran token dan biaya per permintaan dan per alur kerja. Log penggunaan token oleh alat dan prompt untuk menangkap regressi lebih awal. Tanpa disiplin, Anda akan menghadapi tagihan yang tidak terkendali atau lonjakan latensi tepat ketika adopsi tumbuh.

Kelima adalah asuransi kualitas. Simpan set evaluasi pribadi dari insiden nyata dan kasus tepi. Lacak presisi, recall, dan regressi. Model baru akan mengejutkan Anda, biasanya dengan cara yang buruk. Untuk alur kerja kritis, gunakan suhu dekat nol dan backend yang ditanam untuk output yang konsisten.

Keenam adalah tata kelola. Kunci perjanjian berbagi data sebelum informasi mengalir. Jelaskan apa yang dibagikan, bagaimana dilindungi, dan siapa yang bertanggung jawab. Ini bukan hanya penutup hukum; itu adalah sinyal kepercayaan bahwa Anda mengambil data serius.

Mengapa sebagian besar tim salah

Proyek agen AI gagal menghasilkan ROI karena tim fokus pada hal yang salah. Mereka terobsesi dengan model mana yang digunakan sambil mengabaikan kualitas data. Mereka membangun alur kerja yang kompleks sambil melewati kontrol keamanan dasar. Mereka menerapkan agen tanpa kontrol biaya, kemudian panik ketika tagihan melonjak.

5% yang sukses memahami bahwa agen AI bukan hanya perangkat lunak; mereka adalah kategori baru pekerja digital yang memerlukan praktik manajemen yang berbeda. Mereka memerlukan data yang bersih, batasan yang jelas, dan pengawasan konstan. Dapatkan fondasi ini benar, dan agen AI menjadi pengali produktivitas yang kuat. Dapatkan salah, dan Anda bergabung dengan 95% yang bertanya-tanya mengapa investasi AI mereka yang mahal menghasilkan ROI nol yang dapat diukur.