Ekonomi Baru AI Dibangun di Atas Token — Tapi Kami Mengukurnya Semua Salah

Ada pergeseran yang terjadi di AI yang sebagian besar orang merasakan tetapi belum sepenuhnya memahami: kami telah beralih dari menghitung permintaan ke menghitung token.

Di era web, kami mengukur sistem dalam permintaan per detik. Ini bersih, intuitif, dan sebagian besar akurat. Permintaan masuk, respons keluar, dan Anda dapat menskalakan infrastruktur di sekitar model itu.

Abstraksi itu telah hilang.

Di AI, unit dasar tidak lagi permintaan—melainkan token. Setiap prompt, setiap respons, dan setiap rantai penalaran dipecah menjadi token, mewakili pekerjaan yang dilakukan sistem, biaya yang dikeluarkan, dan, semakin banyak, nilai yang diciptakan.

Secara alami, industri telah berkumpul di sekitar pergeseran ini, memperkenalkan metrik seperti token per detik, biaya per token, dan bahkan pendapatan per token. Ini terasa seperti kami telah menemukan cara untuk mengukur sistem AI. Tapi kerangka itu tidak lengkap.

Singkatan industri: token sama dengan nilai

Ada narasi yang berkembang bahwa token adalah mata uang baru AI—bahwa lebih banyak token sama dengan lebih banyak kecerdasan, dan dengan demikian, lebih banyak pendapatan. Ini adalah ide yang menarik, tetapi itu menyederhanakan apa yang sebenarnya terjadi di dalam sistem ini.

Tidak semua token sama. Beberapa token mewakili pekerjaan nyata: menganalisis data, menghasilkan wawasan, mengotomatisasi alur kerja, dan mendukung keputusan yang mengarah pada hasil bisnis. Yang lain jauh menos bermakna—pembuatan konten santai, eksperimen, atau kasus penggunaan yang tidak pernah masuk ke produksi.

Anda sudah dapat melihat ini di dalam perusahaan. Satu tim mungkin menghasilkan jutaan token untuk mendukung produktivitas pengembang atau operasi pelanggan, secara langsung mempengaruhi efisiensi dan pendapatan. Tim lain mungkin menghasilkan volume token yang sama dengan bereksperimen dengan alat yang tidak pernah bergerak melampaui eksplorasi internal. Di atas kertas, hitungan token terlihat identik. Dalam kenyataan, nilai bisnis sangat berbeda.

Menganggap semua token sebagai unit nilai yang dapat dipertukarkan menciptakan pandangan yang terdistorsi tentang apa yang sebenarnya dilakukan AI di dalam sebuah organisasi. Bisnis tidak dibangun di atas volume token; mereka dibangun di atas apa yang token itu izinkan.

Untuk memahami perbedaan itu, Anda harus melihat di bawah permukaan bagaimana sistem ini sebenarnya beroperasi.

Mengapa prompt kedua Anda lebih cepat dari yang pertama

Jika Anda pernah menggunakan alat seperti ChatGPT, Anda mungkin telah memperhatikan bahwa pertanyaan kedua Anda sering kali lebih cepat dari yang pertama. Perilaku itu tidak tentang model yang menjadi lebih pintar—itu tentang bagaimana sistem menggunakannya kembali konteks dari prompt sebelumnya.

Sistem AI modern tidak memproses setiap permintaan dalam isolasi. Mereka membangun konteks, menyimpan prompt dan respons sebelumnya di memori, sering kali dalam apa yang disebut cache KV. Cache ini berada dekat dengan GPU sehingga dapat diakses dengan cepat saat menghasilkan respons lanjutan.

Permintaan pertama mahal karena itu memulai negara—mengalokasikan memori, memproses input, dan membangun konteks. Permintaan berikutnya menggunakannya kembali negara, yang mengurangi latensi dan meningkatkan responsif.

Dinamika ini menjadi lebih penting saat jendela konteks berkembang dari ribuan ke ratusan ribu—atau bahkan jutaan—token. Semakin banyak konteks yang disimpan sistem, semakin banyak tekanan yang diberikan pada memori dan infrastruktur, membuatnya penting untuk memutuskan apa yang disimpan, dikompresi, atau dibuang.

Dari perspektif pengguna, itu terasa seperti sistem yang lebih cepat. Dari perspektif infrastruktur, itu adalah perdagangan yang kompleks antara memori, latensi, dan biaya.

Ini adalah tempat kerja nyata sedang terjadi: tidak hanya di dalam model itu sendiri, tetapi di sistem yang mengelilinginya.

Kendala utama: energi

Setelah Anda melampaui kinerja model, percakapan berubah dengan cepat.

Tim yang menjalankan AI pada skala besar tidak mempertanyakan model mana yang terbaik. Mereka mempertanyakan bagaimana mempertahankannya.

Infrastruktur AI sedang menekan batas fisik: ketersediaan energi, kapasitas pendinginan, dan bandwidth memori. Pusat data sedang dirancang ulang di sekitar kendala ini, dan organisasi yang menggelar sistem AI skala besar mulai beroperasi lebih seperti utilitas daripada perusahaan perangkat lunak tradisional.

Kami sudah melihat ini di perusahaan besar yang membangun infrastruktur AI, di mana daya dan pendinginan—bukan kemampuan model—menjadi kendala utama.

Beban kerja AI tidak berskala dengan baik atau dapat diprediksi. Mereka menggabungkan permintaan di seluruh komputasi, memori, dan jaringan pada saat yang sama. Menghasilkan lebih banyak token tidak hanya masalah menambahkan lebih banyak GPU; itu adalah pertanyaan apakah infrastruktur yang mendasarinya dapat mempertahankan beban energi dan termal yang diperlukan untuk menjaga sistem tersebut berjalan secara efisien.

Biaya menghasilkan token oleh karena itu meluas di luar komputasi. Ini termasuk listrik, pendinginan, infrastruktur fisik, dan kemampuan untuk mempertahankan kinerja di bawah beban tanpa degradasi.

Sebagian besar diskusi “biaya per token” tidak sepenuhnya mencerminkan kenyataan ini. Pada skala besar, energi menjadi anggaran, bukan hanya item lainnya.

Masa depan bukanlah model yang lebih besar. Ini adalah sistem yang lebih baik.

Selama dua tahun terakhir, industri telah fokus pada perbandingan model, melihat benchmark, peringkat, dan perbaikan inkremental dalam kemampuan.

Fokus itu mulai bergeser.

Di lingkungan produksi, kinerja kurang tentang model mana yang Anda pilih dan lebih tentang bagaimana Anda menggunakannya. Organisasi bergerak menuju sistem model—menggabungkan model besar dan kecil, mengarahkan tugas dengan cerdas, dan mengoptimalkan biaya, latensi, dan throughput di seluruh alur kerja.

Sebagai gantinya mengirim setiap permintaan ke model besar tunggal, sistem memecah beban kerja menjadi komponen yang lebih kecil. Tugas yang lebih sederhana dapat ditangani oleh model yang lebih efisien, sementara penalaran yang lebih kompleks disediakan untuk model yang lebih besar. Konteks digunakan kembali di mana pun memungkinkan, dan strategi caching diterapkan secara agresif.

Keputusan ini sering memiliki dampak yang lebih besar pada kinerja dan biaya daripada beralih dari satu model ke model lain. Dalam arti itu, token tetap menjadi unit pekerjaan, tetapi sistem yang menghasilkan dan mengelolanya menjadi pembeda nyata.

Lapisan yang paling diabaikan dalam sistem AI

AI sering digambarkan dalam hal model di satu sisi dan aplikasi di sisi lain, tetapi lapisan di antaranya adalah tempat sebagian besar kompleksitas—dan peluang—hidup.

Lapisan ini tidak hanya memindahkan permintaan; itu membentuknya. Ini menentukan bagaimana lalu lintas mengalir, bagaimana keputusan ditegakkan, dan bagaimana sistem berperilaku di bawah kondisi dunia nyata.

Pengiriman dan keamanan tidak dapat diobati sebagai kekhawatiran terpisah di sini. Lapisan yang sama yang mengarahkan permintaan dan mengelola konteks juga tempat kebijakan diterapkan, risiko dimitigasi, dan kepercayaan dibangun.

Seiring kompleksitas tumbuh, solusi titik runtuh. Apa yang dibutuhkan adalah platform yang terpadu yang dapat mengoordinasikan fungsi ini secara real-time, bukan menjahitnya bersama setelah fakta.

Ini adalah tempat perdagangan dibuat. Ini adalah tempat biaya dikendalikan, kinerja dioptimalkan, dan keputusan keamanan ditegakkan secara real-time. Seiring sistem AI berkembang, lapisan ini menjadi semakin penting. Ini adalah perbedaan antara sistem yang berkinerja baik dalam demo dan satu yang beroperasi secara andal dan efisien dalam produksi. Perubahan itu memiliki implikasi nyata bagi cara organisasi merancang dan mengelola sistem AI.

Apa yang dimaksud dengan ini untuk organisasi

Seiring perusahaan memindahkan AI ke produksi, pertanyaannya bukan hanya model mana yang digunakan—tetapi bagaimana sistem di sekitarnya dirancang untuk beroperasi.

Ini berarti berpikir di luar metrik token dan benchmark model, dan fokus pada bagaimana permintaan diarahkan, bagaimana konteks dikelola, dan bagaimana kebijakan ditegakkan di seluruh alur kerja.

Sebagian besar organisasi masih menjahit potongan-potongan ini bersama—dan pendekatan itu tidak bertahan di bawah tekanan produksi yang sebenarnya.

Kami mengukur hal yang salah

Token menyediakan abstraksi yang berguna. Mereka memberikan industri cara untuk mengukur sesuatu yang sekali terasa tidak nyata, tetapi mereka bukan gambaran lengkap.

Saat ini, industri cenderung menuju apa yang paling mudah diukur—hitungan token, throughput, dan metrik biaya—daripada apa yang paling penting. Tanpa konteks, angka-angka itu bisa menyesatkan.

Fase berikutnya dari AI tidak akan ditentukan oleh siapa yang menghasilkan token terbanyak. Ini akan ditentukan oleh siapa yang memahami apa yang token itu wakili, dan siapa yang dapat membangun sistem yang mengubahnya menjadi hasil yang bermakna, efisien, dan dapat diskalakan.

Karena pada akhirnya, token bukanlah produk. Mereka hanya merupakan produk sampingan dari kecerdasan yang diciptakan.