Biaya Tersembunyi AI: Bagaimana Model “Black Box” Mengikis Kepercayaan, Anggaran, dan Lingkungan

Industri AI memiliki masalah desain model. Perusahaan mulai merasakannya dalam biaya, kinerja, dan keandalan.

AI dapat berbicara – tetapi bisakah ia mendengarkan? 

Mendengarkan jauh lebih dari sekadar memproses kata; ini tentang menafsirkan sinyal dan memahami nuansa untuk membuat keputusan secara real‑time. Namun kebanyakan model “voice” dibangun untuk mentranskripsi token, bukan untuk mengenali makna halus yang tersembunyi dalam percakapan. Itu berarti mereka kehilangan informasi penting. 

Dalam lingkungan seperti suara, konteks, timing, dan masukan berkelanjutan sangat penting. Saat sistem AI beralih dari demo ke penggunaan dunia nyata, masalah yang lebih mendalam dalam cara sistem ini dibangun menjadi jelas, dan perusahaan mulai merasakan dampak kesenjangan tersebut pada biaya, kinerja, dan keandalan. 

Pendekatan dominan dalam AI saat ini mengutamakan model yang lebih besar dan lebih bersifat umum. Namun ketika model tersebut diterapkan secara luas, keterbatasnya menjadi semakin sulit diabaikan. Mereka mahal untuk dijalankan secara terus‑menerus, sulit diinterpretasikan dan dipercaya, serta sering tidak efisien untuk tugas yang diterapkan. Apa yang tampak seperti demo luar biasa sekali dapat runtuh ketika diterapkan pada skala perusahaan, di mana sistem harus responsif, efisien, dan dapat dipahami sekaligus.

Dinamik ini menciptakan kompromi: lebih banyak pilihan dalam apa yang dapat dilakukan model secara teori, tetapi dengan mengorbankan efisiensi, transparansi, dan pada akhirnya, kegunaan. Biaya menjalankan model besar secara skala terus meningkat, jejak energi (dengan alasan) berada di bawah pengawasan, dan sistem itu sendiri menjadi semakin sulit diinterpretasikan. Sebelum kita mencapai titik tanpa kembali, kita harus bertanya pada diri sendiri: apakah ini benar‑benar cara paling berkelanjutan untuk membangun sistem AI?

Why General-Purpose AI Models Are Inherently Inefficient

Dorongan industri menuju AI serba guna telah menciptakan jenis ketidakefisienan baru: menggunakan model berat yang sama untuk setiap masalah atau tugas, tanpa mempedulikan kompleksitas. Ide ini menarik – satu sistem yang dapat menangani apa saja – tetapi dalam praktiknya, itu adalah alat yang kasar.

Tidak setiap tugas memerlukan model besar. Bahkan, kebanyakan tidak memerlukannya. Ketika organisasi mengandalkan sistem monolitik, mereka harus membayar biaya kompleksitas tersebut pada setiap interaksi. Keputusan sederhana diproses dengan beban komputasi yang sama seperti yang kompleks, dan secara ekonomi cepat menjadi tidak masuk akal pada skala besar.

Hal ini terutama berlaku di lingkungan real‑time seperti suara, di mana sistem harus memproses aliran data yang terus‑menerus. Menerapkan model besar dan serba guna pada setiap momen setiap interaksi sangat mahal dan tidak diperlukan. Semakin luas model ini diterapkan, semakin besar akumulasi ketidakefisienan. Kita berakhir dengan kombinasi terburuk dari keduanya: sistem yang terlalu mahal untuk dijalankan di mana saja, dan terlalu terbatas untuk efektif di tempat mereka berada. 

Contoh yang jelas muncul di pusat kontak. Banyak organisasi ingin menerapkan AI pada setiap interaksi pelanggan, tetapi biaya menjalankan model besar secara terus‑menerus membuat hal itu tidak praktis. Seperti yang dicatat McKinsey dalam Global Survey on AI, organisasi terus berjuang untuk memperluas kasus penggunaan AI secara luas karena biaya dan kompleksitas operasional (untuk memberi gambaran, pusat kontak perusahaan besar sering memproses 5,000 hingga 15,000 panggilan pelanggan per hari, yang berjumlah jutaan bahkan miliaran interaksi setiap tahun). Untuk mengelola volume ini, mereka hanya menganalisis sebagian panggilan atau mengandalkan tinjauan pasca‑insiden. Dampak hilirnya dapat diukur: 39% organisasi melaporkan volume panggilan yang lebih tinggi terkait pertanyaan penipuan, 34% melaporkan waktu penanganan yang lebih lama, dan 29% melaporkan penurunan produktivitas karyawan¹. Hasilnya adalah sistem yang sekaligus terlalu kuat dan kurang dimanfaatkan: mahal untuk dijalankan namun tidak mampu memberikan cakupan penuh atau wawasan real‑time.

Di sinilah overgeneralisasi menjadi beban. Ketika sebuah sistem dirancang untuk melakukan segala hal, ia sering berakhir melakukan setiap hal secara tidak efisien. Hasilnya adalah pemborosan komputasi pada skala besar, menjalankan model mahal di mana pendekatan yang lebih sederhana dan terarah akan lebih efektif. Saat organisasi berusaha menerapkan AI secara lebih luas, ketidakefisienan ini cepat terakumulasi, membuat sulit membenarkan penggunaan terus‑menerus dan real‑time. 

The Black Box Problem: When AI Can’t Explain Itself

Seiring model menjadi lebih kompleks, mereka juga menjadi lebih sulit diinterpretasikan. Dalam banyak kasus, sistem AI dapat menghasilkan output yang sebagian besar akurat, tetapi memberikan sedikit wawasan tentang bagaimana keputusan tersebut dibuat, atau apa yang menyebabkan kesalahan yang tersisa. Kebingungan ini memperlambat orang yang bertanggung jawab untuk menindaklanjuti hasil model, sehingga kehilangan keuntungan yang diperoleh dari percepatan awal.

Hal ini terutama berlaku di bidang seperti deteksi penipuan, di mana keputusan harus dibuat secara real‑time. Jika sebuah sistem menandai panggilan sebagai berisiko tinggi tetapi tidak dapat menjelaskan alasannya, hal itu menimbulkan keraguan tepat pada saat kecepatan paling penting. Tim terpaksa memilih antara mempercayai sistem yang tidak sepenuhnya mereka mengerti atau meragukannya secara real‑time. Kedua pilihan tersebut menimbulkan risiko. Saat AI semakin mendalam dalam alur kerja operasional, kemampuan untuk memahami dan merespons output model secara real‑time menjadi kebutuhan inti, bukan sekadar keinginan.

Di sinilah keterbatasan model besar dan serba guna menjadi lebih jelas. Kompleksitas mereka membuatnya lebih sulit untuk ditanyai, lebih sulit untuk debug, dan lebih sulit untuk disesuaikan. Akibatnya, organisasi tidak hanya menghadapi biaya yang lebih tinggi; mereka juga berurusan dengan sistem yang kurang selaras dengan cara keputusan sebenarnya dibuat.

Where This Breaks Down: Real-Time AI in the Real World

Tantangan ini – biaya, ketidakefisienan, kurangnya transparansi – dapat dikelola dalam kasus penggunaan terisolasi. Namun mereka menjadi jauh lebih sulit diabaikan dalam sistem real‑time, di mana AI tidak hanya menghasilkan output, tetapi secara aktif membentuk keputusan saat terjadi.

Suara merupakan contoh yang baik. Tidak seperti pemrosesan batch atau analisis offline, interaksi suara bersifat kontinu dan sensitif waktu. Sistem tidak dapat berhenti, memproses ulang, atau menunda keputusan; mereka harus beroperasi pada saat itu juga. Sistem AI yang salah mengartikan “Oh bagus, AI lagi” sebagai positif padahal diucapkan secara sarkastik dapat menjadi perbedaan antara mempertahankan atau kehilangan pelanggan, dan harus ditindaklanjuti dalam hitungan detik, sebelum manusia dapat campur tangan. Itu berarti menjalankan model secara terus‑menerus sepanjang percakapan sekaligus menghasilkan output yang dapat langsung ditindaklanjuti oleh manusia.

Di sinilah paradigma saat ini mulai retak. Model besar dan serba guna mahal untuk dijalankan pada skala tersebut, dan outputnya sering terlalu tidak transparan untuk mendukung pengambilan keputusan real‑time. Akibatnya, perusahaan terpaksa membuat kompromi: hanya menganalisis sebagian interaksi, menunda keputusan hingga setelahnya, atau mengandalkan penilaian manusia yang tidak sempurna dalam situasi di mana kecepatan dan akurasi sangat penting.

Dengan kata lain, keterbatasan model saat ini bukan sekadar teori – mereka muncul paling jelas di lingkungan di mana AI diharapkan memberikan nilai terbesar.

A Different Path Forward: Smarter – Not Bigger – AI

Jika pendekatan AI saat ini didefinisikan oleh skala, fase berikutnya akan didefinisikan oleh efisiensi.

Alih‑alih mengarahkan setiap tugas melalui satu model, sistem dapat memecah alur kerja menjadi beberapa tahap, menerapkan model ringan untuk keputusan rutin dan menyisakan pemrosesan berat untuk kasus kompleks.

Perubahan arsitektur yang halus ini mengubah ekonomi. Ketika sistem dapat secara dinamis memutuskan berapa banyak pemrosesan yang diperlukan untuk suatu tugas, mereka menghindari beban menjalankan model besar secara tidak perlu. Hal ini membuat penerapan AI secara terus‑menerus menjadi lebih praktis, bukan selektif. Ini juga membuka peluang untuk transparansi yang lebih besar, karena keputusan dapat dihubungkan dengan sinyal atau komponen spesifik dalam sistem, bukan muncul dari satu model yang tidak transparan.

Bagi perusahaan, inilah yang memungkinkan adopsi lebih luas: kemampuan untuk menganalisis lebih banyak data secara real‑time tanpa biaya atau kompleksitas yang menghalangi membuka kasus penggunaan yang sebelumnya tidak dapat dijangkau.

Industri telah membuat kemajuan signifikan dengan memperbesar model – tetapi satu ukuran tidak cocok untuk semua. Saat AI semakin mendalam dalam sistem operasional, pertanyaannya beralih dari apa yang dapat dilakukan model ke bagaimana model seharusnya dirancang. Masa depan AI tidak akan ditentukan oleh model terbesar, melainkan oleh sistem yang dapat menyampaikan kecerdasan secara efisien, transparan, dan pada skala.