Mengapa Biaya Token Tidak Menunjukkan Apakah AI Perusahaan Berjalan Efektif

AI perusahaan sedang melewati siklus yang sudah lazim. Pada awalnya, organisasi mengerahkan segala upaya dan memilih model terbesar serta paling mumpuni karena teknologinya begitu menarik dan tagihannya belum datang. Ketika tagihan itu akhirnya tiba, responsnya pun sama mudah ditebak: tim mulai membatasi akses, mengurangi eksperimen, dan mencari model yang lebih murah.

Ali Ghodsi, salah satu pendiri sekaligus CEO Databricks, menyebut tahap awal siklus ini sebagai “memaksimalkan penggunaan token”, yaitu ketika konsumsi token yang lebih banyak dianggap sebagai bukti kemajuan. Tahap yang lebih penting adalah “memaksimalkan nilai”, yakni memahami hasil yang diperoleh dari pengeluaran tersebut dan mengarahkannya untuk pekerjaan yang paling penting.

Ini bukan sekadar sebutan baru untuk optimalisasi biaya. Optimalisasi biaya mempertanyakan bagaimana organisasi dapat berbelanja lebih sedikit, sedangkan memaksimalkan nilai mempertanyakan bagaimana organisasi bisa memperoleh lebih banyak dari pengeluarannya. Perbedaan ini akan semakin penting seiring AI beralih dari eksperimen terpisah ke operasional perusahaan sehari-hari.

Model Terbesar Tidak Selalu Tepat

Banyak organisasi memulai program AI mereka dengan menggunakan model paling canggih yang tersedia untuk hampir semua tugas. Pendekatan ini masuk akal pada tahap awal eksperimen, ketika tim berusaha memahami kemampuan teknologi tersebut dan kecanggihan model lebih penting daripada prediktabilitas.

Namun, seiring meluasnya penerapan, biaya penggunaan model terdepan untuk setiap permintaan menjadi sulit dibenarkan. Beberapa organisasi menanggapinya dengan membatasi akses atau meminta tim mengurangi pekerjaan, tetapi pembatasan yang luas dapat menghambat eksperimen yang bermanfaat sekaligus mengurangi pemborosan yang memang perlu ditekan.

Pendekatan yang lebih matang mulai berkembang. Tim mulai mencocokkan model yang lebih kecil dan terspesialisasi dengan pekerjaan rutin, sementara model yang lebih mumpuni disisihkan untuk tugas yang membutuhkan penalaran kompleks atau berisiko tinggi jika gagal. Seiring waktu, beberapa organisasi mungkin juga menerapkan model di infrastruktur mereka sendiri agar dapat mengendalikan biaya, kinerja, dan data sensitif dengan lebih baik.

Pertanyaan pentingnya bukan apakah model besar atau kecil yang lebih baik. Pertanyaannya adalah apakah model tersebut sesuai untuk pekerjaan yang dilakukan dan apakah hasilnya sepadan dengan seluruh biaya untuk menghasilkannya.

Token Menunjukkan Aktivitas, Bukan Nilai

Sebagian besar dasbor AI perusahaan berfokus pada konsumsi. Dasbor tersebut menunjukkan jumlah token yang digunakan, model yang memprosesnya, dan besarnya pengeluaran organisasi. Angka-angka itu memang diperlukan, tetapi tidak mengungkapkan apakah pekerjaan tersebut menghasilkan sesuatu yang bermanfaat.

Tim yang menggunakan token dua kali lebih banyak belum tentu menghasilkan nilai dua kali lebih besar. Tim itu mungkin menangani pekerjaan yang lebih sulit, menggunakan model yang kemampuannya berlebihan untuk kebutuhan tersebut, atau mengandalkan agen yang berulang kali mencoba lagi setelah tugasnya gagal. Beban kerja dengan biaya model yang tinggi tetap dapat menjadi investasi yang sangat baik jika mampu mencegah gangguan, menyelesaikan masalah pelanggan, atau mengembalikan waktu berharga berjam-jam kepada karyawan.

Masalah yang sama telah ada selama bertahun-tahun dalam observabilitas, hanya saja yang diukur adalah gigabita, bukan token. Awalnya, tim mengumpulkan semuanya karena visibilitas maksimum tampak sebagai strategi paling aman. Ketika tagihan penyimpanan dan pemrosesan meningkat, mereka mulai mengambil sampel data, mengurangi masa retensi, dan membuang konteks untuk mengendalikan biaya.

Dalam kedua kasus, respons terhadap kenaikan biaya sering kali berupa pengurangan aktivitas. Padahal, yang dibutuhkan organisasi adalah kemampuan untuk mengenali aktivitas mana yang bernilai, mana yang sia-sia, dan mana yang bisa dibuat lebih efisien tanpa mengorbankan hasil.

Biaya Sebenarnya Tidak Hanya Mencakup Inferensi

Pemanggilan model jarang menjadi keseluruhan beban kerja AI. Sebelum menghasilkan jawaban, agen mungkin mengambil dokumen, mengajukan kueri ke basis data, menelusuri data telemetri, memanggil layanan eksternal, serta memicu aktivitas baru pada aplikasi atau infrastruktur.

Bayangkan sebuah agen yang menyelidiki penyebab meningkatnya latensi proses pembayaran setelah penerapan. Agen itu mungkin memeriksa log, membandingkan metrik, meninjau rekam jejak, mengambil catatan penerapan, dan menganalisis layanan hilir. Jika dugaan awalnya keliru, agen mungkin mengubah rentang waktu, menelusuri nama layanan yang berbeda, dan menyelidiki beberapa kemungkinan penyebab alternatif.

Dengan demikian, satu instruksi manusia dapat memicu ratusan operasi yang dihasilkan mesin. Operasi-operasi itu menggunakan daya komputasi, kapasitas input dan output penyimpanan, kapasitas jaringan, serta kuota API pihak ketiga—yang mungkin tidak tercatat dalam dasbor pengeluaran model organisasi.

Artinya, model yang tampaknya murah dapat mendukung alur kerja yang mahal. Model yang lebih mumpuni mungkin berbiaya lebih tinggi untuk setiap pemanggilan, tetapi dapat mencapai kesimpulan yang benar dengan lebih sedikit langkah sehingga membutuhkan lebih sedikit percobaan ulang dan infrastruktur pendukung yang lebih sedikit. Satu-satunya cara untuk membandingkannya adalah dengan mengamati keseluruhan tugas.

Hubungkan Aktivitas, Biaya, dan Hasil

Memaksimalkan nilai mengharuskan organisasi menghubungkan tiga jenis informasi yang sering kali diukur secara terpisah.

Yang pertama adalah aktivitas AI, termasuk pemilihan model, konsumsi token, latensi, pemanggilan alat, percobaan ulang, dan cabang proses paralel. Yang kedua adalah biaya infrastruktur dan keuangan yang timbul dari aktivitas tersebut, termasuk komputasi, penyimpanan, penggunaan jaringan, beban basis data, dan biaya API eksternal. Yang ketiga adalah hasilnya, yang semestinya menunjukkan apakah pekerjaan berhasil diselesaikan dan apakah ada orang yang menganggap hasilnya bermanfaat.

Tidak semua hasil perlu diterjemahkan menjadi jumlah dolar yang persis. Ukuran praktis mungkin sudah cukup, misalnya apakah suatu jawaban diterima, apakah seseorang harus mengerjakan ulang tugas tersebut, apakah suatu insiden dapat diselesaikan lebih cepat, atau apakah alur kerja otomatis selesai tanpa campur tangan.

Misalnya, penyelidikan insiden yang menghasilkan ratusan kueri mungkin sepadan jika membantu para teknisi memulihkan layanan penting 30 menit lebih cepat. Alur kerja yang jauh lebih kecil tetap bisa menjadi pemborosan jika menghasilkan laporan yang tidak dibaca siapa pun. Konsumsi token saja tidak dapat membedakan keduanya.

Setelah organisasi dapat menghubungkan aktivitas dengan hasil, mereka bisa mengambil keputusan secara terencana tentang di mana model AI tercanggih sebaiknya digunakan, di mana model yang lebih kecil sudah memadai, dan di mana alur kerja perlu dirancang ulang.

Visibilitas Seharusnya Tidak Mengharuskan Penyerahan Kendali

Memahami nilai AI memerlukan akses ke konteks sensitif. Prompt, keluaran model, kode sumber, informasi pelanggan, dan telemetri produksi mungkin merupakan bagian dari alur kerja yang sama.

Organisasi seharusnya tidak perlu mengekspor informasi ini ke layanan eksternal hanya untuk memahami kinerja sistem AI mereka. Prompt dan konteks produksi yang membuat pengukuran bermanfaat mungkin merupakan informasi yang sama yang tidak boleh keluar dari lingkungan organisasi menurut tim keamanan, privasi, dan kepatuhan.

Karena itu, para pemimpin perusahaan perlu menanyakan di mana data AI dan observabilitas mereka diproses, siapa yang dapat mengaksesnya, berapa lama data itu disimpan, dan apakah analisis dapat dilakukan dalam batas keamanan yang sudah mereka terapkan. Tata kelola yang baik bergantung pada visibilitas, tetapi visibilitas tersebut tidak boleh menimbulkan masalah baru terkait kendali atas data.

Dengan menjaga analisis tetap dekat dengan data yang mendasarinya, organisasi juga akan lebih mudah menghubungkan aktivitas AI dengan aplikasi, infrastruktur, dan proses bisnis yang terdampak. Gambaran menyeluruh inilah yang memungkinkan tim memahami bukan hanya jumlah yang mereka belanjakan, melainkan juga hasil yang diperoleh dari pengeluaran tersebut.

Optimalkan Nilai, Bukan Volume

Organisasi yang sukses pada tahap berikutnya dari penerapan AI di perusahaan belum tentu yang menggunakan token paling banyak atau mengeluarkan biaya paling sedikit. Organisasi yang akan berhasil adalah yang dapat melihat model dan beban kerja mana yang menghasilkan manfaat nyata, lalu menggunakan pengetahuan itu untuk memandu penerapannya.

Hal ini menuntut organisasi untuk melampaui dasbor biaya model yang terpisah-pisah. Tim perlu mengamati seluruh proses, mulai dari permintaan pengguna, pemanggilan model, penggunaan alat dan infrastruktur, hingga hasil akhirnya, sembari memastikan informasi sensitif tetap berada di bawah kendali organisasi yang semestinya.

Memaksimalkan penggunaan token merupakan tahap yang berguna karena mendorong eksperimen dan mengungkap kemampuan AI. Tahap selanjutnya adalah disiplin memaksimalkan nilai: memadukan visibilitas, biaya, dan hasil agar organisasi dapat terus bereksperimen tanpa kehilangan kendali atas pengeluaran maupun data mereka.

Penerapan AI di perusahaan tidak perlu diperkecil hanya karena tagihan pertama sudah tiba. Penerapannya perlu dilakukan dengan lebih terencana: upaya disesuaikan dengan tingkat kesulitan, model disesuaikan dengan tugas, dan pengeluaran disesuaikan dengan nilai yang dapat diukur.