Biaya Tersembunyi AI pada Skala Besar

Pada 1 Juni 2026, GitHub secara permanen menghentikan “premium requests” bertarif tetap untuk Copilot dan menggantinya dengan kredit AI berbasis penggunaan. Ketika faktur pertama di bawah model baru tiba satu bulan kemudian, beberapa pengguna agentic melihat tagihan yang tidak mereka siapkan: Seorang pengembang melaporkan biaya bulanan melonjak dari $29 menjadi $750 untuk alur kerja agentic terberat.

Itu merupakan satu contoh nyata dari pergeseran yang lebih luas di seluruh pasar alat AI sepanjang tahun 2026 – dan satu yang mungkin menanti organisasi yang masih membayar tarif tetap hari ini.

Organisasi menghitung jam yang mereka hemat. Banyak di antaranya tidak menghitung apa yang tetap tersembunyi dalam tarif tetap: konsumsi konteks dan percobaan ulang setelah kegagalan. Biaya lain tidak pernah muncul pada faktur vendor sama sekali, termasuk waktu yang dihabiskan untuk meninjau output dan memelihara prompt. Setelah penagihan beralih ke konsumsi aktual, organisasi yang tidak memiliki disiplin biaya berisiko menerima tagihan yang mengejutkan mereka dengan cara yang sama seperti model baru Copilot mengejutkan beberapa pengguna.

Konteks yang Tidak Dihitung Siapa Pun

AI jelas membutuhkan konteks; itu tidak dipertanyakan. Pertanyaannya adalah apakah konteks yang dikirim relevan, atau hanya tersedia secara mudah. Mengirim seluruh dokumen adalah cara tercepat untuk memberi model informasi. Itu tidak otomatis menjadi cara termurah atau terbaik.

Pada Mei 2026, Digital Economy Lab Stanford menerbitkan analisis tugas pengkodean agentic pada delapan model frontier dan menemukan bahwa tugas-tugas ini mengonsumsi hingga seribu kali lebih banyak token dibandingkan obrolan kode sederhana, dengan penyebab utama bukan output model melainkan konteks input yang dikirim ulang berulang-ulang. Agen tersebut membaca ulang seluruh sejarahnya pada setiap langkah berikutnya. Tugas yang sama, dijalankan berkali-kali, variasi konsumsi tokennya hingga tiga puluh kali lipat.

Akurasi juga tidak meningkat secara linier dengan volume konteks: sering kali mencapai puncak pada jumlah sedang dan kemudian hanya menambah biaya tanpa menambah nilai.

Kebutaan token, maka, bukan tentang AI tidak membutuhkan konteks. Ini tentang fakta bahwa tanpa pengukuran, tidak ada yang menanyakan apakah semua konteks itu benar‑benar diperlukan. Di bawah tarif tetap, pertanyaan itu mudah diabaikan. Di bawah penagihan berbasis konsumsi, hal itu menjadi bagian dari biaya.

Saat Anda Membayar Kegagalan Dua Kali

Alur kerja agentic membawa biaya lain yang hampir tidak pernah muncul dalam perhitungan ROI. Bayangkan sebuah rantai sederhana sepuluh langkah, masing‑masing memiliki peluang 95 persen untuk berjalan dengan benar. Itu terdengar cukup dapat diandalkan, tetapi bila dirangkai, rantai tersebut hanya memiliki sekitar 60 persen peluang untuk menyelesaikan seluruh proses tanpa satu kesalahan pun.

Dalam alur kerja yang mengirim konteks yang terkumpul kembali pada setiap panggilan, setiap kegagalan dan percobaan ulang yang mengikutinya tidak hanya menghabiskan biaya langkah yang diulang: Anda juga membayar lagi untuk semua yang telah dikirim sebelumnya.

Itu adalah rasa sakit umum yang hampir semua orang alami saat membangun pipeline agentic pertama mereka. Saya mengalaminya sendiri. Pada awalnya, dengan hanya beberapa agen, hal itu tidak terlalu penting. Namun seiring pertumbuhan pipeline, setiap run yang gagal menjadi lebih mahal, dan itulah yang mendorong saya untuk mulai menanyakan konteks apa yang dibutuhkan setiap agen dan bagaimana menyimpannya, bukan sekadar apakah run berhasil.

Analisis yang sama menghitung bahwa agen sepuluh langkah dengan keandalan 95 persen per langkah membakar sekitar 40 persen lebih banyak token pada percobaan ulang dibandingkan sistem yang sepenuhnya dapat diandalkan. Ini adalah biaya yang akan Anda lihat pada faktur tetapi, kemungkinan, tidak akan ditemukan dalam spreadsheet ROI mana pun.

Pengawasan Bukanlah Bug. Itu Bagian dari Anggaran

Poin ini perlu disampaikan dengan tepat, karena mudah disalahpahami. Meninjau output AI bukan kegagalan sistem; itu merupakan bagian sah dan diharapkan dalam bekerja dengan AI, sama seperti tinjauan kode merupakan bagian sah dalam bekerja dengan pengembang. Masalahnya bukan bahwa output ditinjau. Masalahnya adalah pekerjaan ini hampir tidak pernah dimasukkan ke dalam perhitungan berapa banyak AI sebenarnya menghemat.

Work AI Institute milik Glean mensurvei 6,000 pekerja dan menemukan bahwa otomasi menghemat sekitar 11 jam per minggu, tetapi hampir enam setengah jam dari jam tersebut dihabiskan untuk tugas pemeliharaan: memberikan konteks kepada sistem AI, memeriksa pekerjaan mereka, dan membersihkan kesalahan. Jadi penghematan bersihnya mendekati empat setengah jam – kurang dari setengah angka utama. AI tetap menghemat waktu, hanya tidak sebanyak yang disiratkan oleh angka pertama.

Prompt Memerlukan Pemeliharaan, Bukan Hanya Penulis

Prompt berperilaku lebih seperti kode produksi saat ini: pembaruan model, perubahan konteks, atau penyuntingan kecil yang tampak dapat mengubah kinerjanya. Tanpa versi dan pengujian, perubahan tersebut dapat memperkenalkan masalah secara diam‑diam. Tes regresi yang menjadi praktik standar untuk kode masih sering dilewatkan ketika memverifikasi prompt. Perubahan yang tampak seperti penyuntingan kecil pada satu kalimat dapat masuk ke produksi dan mengurangi akurasi tanpa ada yang menyadarinya sampai masalah tersebut terakumulasi menjadi sesuatu yang terlihat.

Membangun kerangka evaluasi yang tepat – termasuk set tes dan tes regresi otomatis pada setiap perubahan – adalah pekerjaan tambahan yang hampir tidak pernah muncul dalam perhitungan “AI menghemat waktu”.

Token Lebih Murah, Tagihan Lebih Tinggi

GitHub Copilot tidak terkecuali. Sebuah survei yang dikutip oleh CFO Dive menemukan bahwa hampir tujuh dari sepuluh perusahaan AS melaporkan setidaknya sebagian anggaran AI terlampaui selama setahun terakhir, kebanyakan sebelum peralihan penuh ke penagihan berbasis konsumsi, bukan setelahnya.

Bain & Company, dalam analisis token ekonomi pada bulan Juni, menambahkan paradoks yang paling tepat menggambarkan keseluruhan situasi: harga per token turun setengahnya selama setahun, sementara konsumsi dalam periode yang sama meningkat 4,5 kali lipat.

Model menjadi lebih murah, tetapi tagihan tetap keras tinggi. Perusahaan beralih ke model yang lebih baru, memberi agen tugas yang lebih kompleks, dan menemukan lebih banyak alur kerja untuk mereka. Token yang lebih murah tidak berarti pengeluaran lebih rendah; itu berarti ada lebih banyak alasan untuk mengonsumsinya.

Cara Menyiapkan Diri Sebelum Tagihan Datang

Kerangka kerja yang mengikuti ini bukan tentang menggunakan AI lebih sedikit. Ini tentang mengetahui biaya AI sebelum Anda memutuskan untuk memperluasnya lebih jauh.

1. Dapatkan visibilitas terlebih dahulu

Sampai Anda memiliki konsumsi yang dipecah berdasarkan tim, alur kerja, aplikasi dan tugas selesai, setiap perluasan adalah taruhan buta. Visibilitas itu juga tidak gratis: terutama untuk alur kerja agen, menelusuri setiap langkah, mencatat apa yang terjadi dan mengapa, serta memantau loop yang tak terkendali memerlukan waktu dan alat teknik tersendiri. Alokasikan anggaran untuk itu sebagai bagian dari biaya menjalankan AI, bukan sebagai pemikiran tambahan di atasnya.

2. Hitung ulang ROI secara bersih

Kurangi waktu yang dihabiskan untuk peninjauan, perbaikan, dan pemeliharaan prompt dari jam yang dilaporkan sebagai penghematan. Jika penghematan waktu adalah tujuan kasus penggunaan dan hasil bersihnya negatif atau tidak dapat diverifikasi, maka tidak siap untuk diskalakan. Jika manfaat yang dimaksud adalah kualitas, kapasitas, pengurangan risiko, atau pendapatan, ukur hasil tersebut secara langsung.

3. Terapkan disiplin biaya, tetapi tidak secara seragam

Batas pengeluaran keras masuk akal ketika kegagalan murah: alat internal, agen eksperimental, lingkungan pengembangan. Untuk fungsi penting yang berhadapan dengan pelanggan – misalnya asisten layanan pelanggan – batas keras tidak dapat diterapkan, karena menimbulkan risiko gangguan layanan. Di situ, Anda memerlukan fallback berlapis ke model yang lebih murah dan peringatan dini, bukan pemutusan total.

4. Anggap prompt dan evaluasi sebagai aset teknik

Buat versi mereka, uji mereka, dan tinjau perubahan sebelum penyebaran, sama seperti Anda mengelola kode produksi.

Masuki proses perpanjangan dengan data Anda sendiri

Harga vendor sulit dievaluasi tanpa data penggunaan Anda sendiri. Sebelum perpanjangan atau perubahan model, hitung berapa biaya alur kerja Anda yang ada berdasarkan ketentuan yang diusulkan. Tujuannya bukan hanya menegosiasikan harga lebih rendah. Tujuannya adalah mengetahui bagaimana harga tersebut akan berperilaku pada tingkat konsumsi Anda yang sebenarnya, alih-alih mengetahuinya dari faktur.

Tiga hal yang dapat Anda lakukan minggu ini: periksa apakah Anda dapat memecah konsumsi AI berdasarkan tim dan alur kerja; pilih satu kasus penggunaan dan letakkan waktu yang dihabiskan untuk peninjauan di samping jam yang dilaporkan sebagai penghematan; serta temukan di mana batas pengeluaran keras dapat menyebabkan gangguan alih-alih mengendalikan biaya.

Biaya AI dapat dikelola. Hanya saja tidak ketika Anda pertama kali mengetahui apa saja biayanya dari tagihan.