Model dan platform AI
Komputasi AI pada 2027: Biaya Inferensi Akan Mengubah Pusat Data

Poin utamaPeningkatan perangkat lunak dapat membuka 30% lebih banyak throughput pada akselerator…
Lihat selengkapnya
- Peningkatan perangkat lunak dapat membuka 30% lebih banyak throughput pada akselerator yang sudah terpasang dalam target latensi tetap.
- Memisahkan prefill dari decode hanya bermanfaat ketika bentuk lalu lintas membenarkan kompleksitas jaringan dan operasional tambahan.
- Akselerator alternatif mungkin memenangkan beban kerja penyajian tertentu setelah perbandingan mencakup biaya migrasi dan operasional.
Pusat data bisa dipenuhi akselerator mahal, tetapi tetap kekurangan kapasitas yang dapat dimanfaatkan. Sebagian chip menunggu akses ke memori. Chip lainnya melayani permintaan yang tidak memenuhi target latensinya. Hasil tolok ukur bisa tampak sangat baik, sementara tagihan layanan terus membengkak. Memiliki perangkat keras hanyalah awal dari persoalan ekonomi ini.
Pada 2027, persaingan komputasi akan semakin berfokus pada kemampuan yang dapat diberikan setiap sistem terpasang dalam kondisi yang benar-benar dibutuhkan pelanggan. Hal ini mengalihkan perhatian ke perangkat lunak untuk melayani permintaan, penempatan beban kerja, dan biaya untuk menghasilkan jawaban yang memadai.
Tolok ukur dasarnya sudah berkembang pesat. MLPerf Inference v6.1, yang dirilis pada September 2026, menambahkan pembuatan generasi yang diperkaya dengan pengambilan informasi secara menyeluruh serta beban kerja agentik di edge. Tolok ukur itu juga menjelaskan peralihan menuju rangkaian Endpoints yang berpusat pada API. Ini menunjukkan bahwa perancang tolok ukur sedang beradaptasi dengan beban kerja bertahap, bukan bahwa setiap aplikasi AI dapat direpresentasikan oleh satu skor tolok ukur.
Sementara itu, analisis energi 2026 dari IEA menguraikan ketegangan antara peningkatan efisiensi per tugas dan pertumbuhan aplikasi yang lebih menuntut. Analisis tersebut melaporkan peningkatan penggunaan listrik di pusat data dan menekankan ketidakpastian akibat perubahan beban kerja. Kesimpulan yang saya tarik adalah bahwa penurunan biaya per unit akan memperhebat persaingan dalam desain sistem, sementara daya dan memori tetap menjadi kendala penting. Penurunan biaya per unit tidak serta-merta menurunkan total tagihan infrastruktur.
1. Perangkat lunak akan membuka peningkatan besar lainnya pada perangkat keras yang sudah terpasang
Peningkatan kapasitas berikutnya mungkin hadir melalui penerapan perangkat lunak. Penjadwalan, pengelolaan memori, dan kernel eksekusi dapat mengubah jumlah pekerjaan yang diselesaikan akselerator terpasang tanpa mengubah chip itu sendiri. Saya memperkirakan pada 2027 akan ada hasil yang dapat direproduksi, yang menunjukkan peningkatan throughput setidaknya 30% dalam batas target latensi pada perangkat keras dan model tetap yang ditetapkan di sini. Dampak bisnis yang menarik adalah bertambahnya kapasitas yang dapat digunakan dari pembelian yang sudah dilakukan operator.
Daya tarik ekonominya sederhana. Perangkat keras yang sudah terpasang memiliki biaya kapasitas, baik penjadwalnya memanfaatkannya secara efisien maupun tidak. Pengelompokan batch, eksekusi kernel, alokasi memori, dan perutean permintaan yang lebih baik dapat meningkatkan keluaran yang berguna tanpa menambah akselerator. Hal ini sangat bernilai ketika pemasangan rak baru juga membutuhkan tambahan daya, pendinginan, atau kapasitas jaringan.
Riset asli tentang PagedAttention menunjukkan alasan pengelolaan memori perlu diperhitungkan dalam pembahasan kinerja: pengelolaan cache key-value yang tidak efisien dapat memboroskan kapasitas dan membatasi pengelompokan batch. Hasil historisnya tidak semestinya dianggap sebagai peningkatan kecepatan universal pada sistem saat ini. Hasil tersebut menjelaskan mekanismenya, bukan besarnya peningkatan berikutnya.
Ada bukti terkini bahwa masih tersedia ruang untuk peningkatan. Dalam analisis pengajuan v6.1, AMD melaporkan throughput yang lebih tinggi pada perangkat keras MI355X yang sama di antara putaran tolok ukur, termasuk peningkatan 38% pada Server dengan konfigurasi GPT-OSS-120B yang ditentukan AMD. Perbandingan dari vendor tersebut menggunakan model yang berbeda dari sasaran perkiraan saya. Hal ini mendukung anggapan bahwa kematangan perangkat lunak masih penting; tetapi tidak membuktikan bahwa peningkatan 30% pada Llama 3.1 8B pasti tercapai.
Beban kerja tetap dalam prediksi ini ditetapkan dengan sengaja. Klaim bahwa suatu sistem menghasilkan lebih banyak token setelah beralih ke model yang lebih kecil, kualitas yang lebih rendah, atau target latensi yang lebih longgar menunjukkan cerita ekonomi yang berbeda. Pengujian harus mempertahankan pilihan-pilihan tersebut. Resep reproduksi yang diterbitkan AMD memberikan contoh berguna tentang keterbukaan detail perangkat lunak dan konfigurasi, meskipun resep yang disediakan vendor tetap perlu ditelaah secara independen.
Hal yang perlu diperhatikan pada 2027
Perhatikan tolok ukur layanan yang meningkatkan throughput pada perangkat keras yang sudah terpasang dengan tetap mempertahankan model, kualitas jawaban, dan persyaratan waktu respons. Konfigurasi yang dipublikasikan dan distribusi latensi akan memudahkan penilaian atas peningkatan tersebut. Hasil yang dicapai dengan model lebih kecil, presisi lebih rendah tanpa pemeriksaan kualitas, atau target latensi yang dilonggarkan akan mendukung klaim yang berbeda.
Maknanya bagi bisnis
Sebelum memutuskan untuk menambah akselerator, pembeli infrastruktur sebaiknya mengukur kapasitas tambahan yang masih tersedia dalam tumpukan layanan mereka saat ini. Bandingkan biaya peningkatan perangkat lunak, penyetelan, dan dukungan operasional dengan kapasitas yang dapat dibuka. Keputusan ekspansi sebaiknya didasarkan pada permintaan yang diterima sesuai target layanan aplikasi, agar angka token yang lebih tinggi di atas kertas tidak menyamarkan pengalaman pelanggan yang lebih buruk.
2. Disagregasi akan terbukti bermanfaat jika didukung oleh pertimbangan ekonomi yang spesifik pada beban kerja
Membaca prompt panjang dan menghasilkan jawaban menuntut hal yang berbeda dari sistem layanan. Menjalankan kedua tugas pada perangkat keras yang sama memang praktis, tetapi kepraktisan itu dapat membuat sumber daya mahal tidak sesuai dengan pekerjaan yang harus ditangani. Pada 2027, operator yang disebutkan secara spesifik akan menunjukkan kondisi ketika pemisahan kedua tahap tersebut menghasilkan peningkatan besar dalam jumlah permintaan yang dilayani per jam akselerator. Hasilnya akan bergantung pada pola lalu lintas; arsitektur yang lebih baik untuk satu layanan bisa menjadi kerumitan yang tidak perlu bagi layanan lainnya.
Prefill memproses konteks yang masuk. Decoding menghasilkan jawaban token demi token. Kebutuhan sumber daya dan sasaran latensi keduanya berbeda, sehingga penggunaan satu kumpulan sumber daya bersama dapat menimbulkan gangguan atau memaksa penyediaan kapasitas berlebih. Memisahkan kedua tahap memungkinkan alokasi terpisah, tetapi menambah biaya pemindahan status di antara keduanya.
DistServe merumuskan pertukaran tersebut berdasarkan goodput, yaitu pekerjaan yang diselesaikan dalam batas latensi layanan. Peningkatan yang dilaporkan berasal dari beban kerja dan kondisi tertentu yang dievaluasi. Angka itu tidak seharusnya dianggap sebagai faktor pengali umum untuk setiap klaster produksi. Topologi jaringan, panjang konteks, panjang keluaran, dan variasi lalu lintas menentukan apakah pemisahan ini sepadan dengan biayanya.
Pada 2026, hal ini bukan lagi sekadar usulan penelitian. NVIDIA Dynamo mencakup perencana, perutean yang memperhitungkan tembolok, dan komponen transfer untuk inferensi terdistribusi. Analisis NVIDIA tentang disaggregasi multimodal bermanfaat, salah satunya karena mengidentifikasi kondisi saat manfaatnya berkurang atau kinerja suatu topologi tidak optimal. Pemasok yang menjelaskan kondisi ketika pendekatan ini tidak unggul memberi calon pembeli titik awal yang lebih berguna daripada sekadar menyajikan angka peningkatan kecepatan maksimum.
Prakiraan saya bergantung pada apakah beban kerja yang tepat mencapai skala yang memadai. Prompt panjang dan permintaan yang tidak merata dapat menimbulkan kendala penjadwalan yang cukup besar untuk membenarkan arsitektur penyajian yang lebih kompleks. Beban kerja kecil dan stabil mungkin dapat dilayani dengan lebih hemat jika sistem tetap sederhana. Karena itu, pemisahan tahap merupakan keputusan pengelolaan kapasitas, dengan biaya perangkat lunak dan operasional yang harus dapat diperoleh kembali.
Hal yang perlu dicermati pada 2027
Cermati apakah operator menerbitkan hasil berdasarkan campuran permintaan nyata, termasuk prompt panjang, permintaan yang berubah-ubah, serta biaya pemindahan status di antara tahap inferensi. Peningkatan kinerja seharusnya tetap terlihat setelah seluruh akselerator yang dicadangkan dan biaya tambahan transfer diperhitungkan. Penerapan yang menambah kerumitan tanpa meningkatkan jumlah pekerjaan bermanfaat per unit kapasitas akan mempersempit alasan untuk melakukan disaggregasi.
Dampaknya bagi bisnis
Anggap pemisahan prefill dan decoding sebagai pilihan arsitektur yang perlu divalidasi berdasarkan pola lalu lintas Anda. Sebelum menerapkannya, tim perlu memperhitungkan tambahan kebutuhan jaringan, penjadwalan, dan operasional. Beban kerja besar yang tidak merata mungkin sepadan dengan upaya tersebut; untuk layanan yang lebih kecil, perlu ada bukti bahwa komponen tambahan dapat menutup biayanya dalam kondisi operasi normal.
3. Akselerator alternatif akan unggul pada beban kerja penyajian tertentu dengan biaya yang diungkapkan
Akselerator yang lebih murah baru bisa disebut hemat jika jawaban yang dihasilkan memenuhi standar dan tiba tepat waktu. Ini membuka peluang bagi alternatif NVIDIA untuk unggul pada beban kerja tertentu, meskipun kematangan perangkat lunak dan ketersediaan masih menjadi keunggulan besar pemain yang sudah mapan. Saya memperkirakan perbandingan independen pada 2027 akan menunjukkan keunggulan biaya yang berarti pada dua keluarga alternatif yang berbeda. Perbandingan itu harus tetap menguntungkan setelah memperhitungkan detail migrasi dan operasional yang tidak tercantum dalam lembar spesifikasi chip.
Ini adalah prediksi tentang titik operasi tertentu, bukan prediksi bahwa seluruh platform akan digantikan. Tumpukan penyajian dapat cocok untuk satu model dan pola lalu lintas, tetapi tidak sesuai untuk yang lain. Upaya pemindahan, keakraban operator, kernel yang didukung, dan ketersediaan instans yang berguna dapat mengalahkan keunggulan spesifikasi perangkat keras.
Sejumlah pemasok telah menawarkan alternatif yang mumpuni. Dokumentasi Ironwood dari Google menjabarkan kapasitas memori pita lebar, bandwidth, dan karakteristik interkoneksi. Pengumuman ketersediaan Trainium3 dari AWS menjelaskan platform yang dirancang untuk beban kerja padat dan paralelisme pakar. Hasil pengajuan AMD ke MLPerf menunjukkan partisipasi dalam beban kerja terstandardisasi. Namun, tak satu pun sumber tersebut dengan sendirinya membuktikan keunggulan harga dalam prakiraan saya.
Perbandingan baru bermakna secara ekonomi setelah beban kerjanya ditetapkan. Jika suatu akselerator membutuhkan lebih banyak host, skema paralelisme yang berbeda, atau komitmen reservasi yang lebih lama, biaya tersebut harus masuk dalam perhitungan. Harga yang diiklankan tetapi tidak dapat diperoleh di wilayah pengujian tidak seharusnya menentukan hasil. Hal yang sama berlaku untuk kapasitas cadangan yang tidak terpakai dan tolok ukur menguntungkan yang disusun menggunakan perangkat keras yang sebenarnya tidak bisa diperoleh pelanggan.
Saya menetapkan tingkat keyakinan sedang karena daya saing teknis dan transparansi ekonomi merupakan dua tantangan yang berbeda. Pengujian mungkin dapat dilakukan, sementara rincian biayanya tetap dirahasiakan demi kepentingan komersial. Akselerator pesaing juga mungkin unggul dalam throughput, tetapi kalah dalam kesederhanaan operasional. Keputusan yang menyeluruh seharusnya memisahkan biaya infrastruktur berulang dari upaya migrasi satu kali.
Hal yang perlu dicermati pada 2027
Cari perbandingan yang dilakukan organisasi selain pemasok chip yang diunggulkan, dengan menggunakan kapasitas yang benar-benar dapat dibeli serta persyaratan kualitas dan latensi yang setara. Bukti penentu harus mencakup asumsi tentang host, jaringan, kapasitas menganggur, dan migrasi. Spesifikasi akselerator yang mengesankan tanpa perbandingan biaya penyajian yang dapat direproduksi belum membuktikan prakiraan ekonominya.
Dampaknya bagi bisnis
Susun evaluasi perangkat keras berdasarkan model dan pola lalu lintas yang representatif, lalu hitung biaya keseluruhan penerapannya. Pisahkan penghematan biaya operasional berulang dari biaya pemindahan, pelatihan ulang staf, dan pemeliharaan tumpukan perangkat lunak lain. Akselerator alternatif mungkin menarik untuk layanan tertentu, tetapi belum tentu menjadi platform yang tepat untuk setiap beban kerja yang dijalankan bisnis.
4. Tolok ukur berbasis agen akan mengaitkan energi dengan pekerjaan yang berhasil diselesaikan
Agen dapat mengonsumsi energi saat berpikir, memanggil alat, mencoba kembali, dan akhirnya gagal. Mengukur satu langkah inferensi saja tidak mencakup keseluruhan proses tersebut. Pada akhir 2027, saya memperkirakan keluarga tolok ukur MLPerf berbasis agen akan menyandingkan energi sistem yang terukur dengan pekerjaan yang berhasil diselesaikan. Dengan demikian, operator akan memiliki penyebut yang lebih tepat untuk menjawab pertanyaan sulit: seberapa banyak infrastruktur yang dikonsumsi layanan ini untuk menghasilkan sesuatu yang benar-benar dapat digunakan pelanggan?
Agen dapat berulang kali memanggil model, meninjau kembali konteks yang panjang, menggunakan alat, dan mencoba kembali langkah-langkah yang gagal. Angka energi per token hanya mencakup sebagian biaya dari perilaku tersebut. Satuan yang relevan untuk beban kerja dengan banyak langkah adalah tugas yang telah diselesaikan, dengan batas infrastruktur yang diukur dinyatakan secara jelas.
Pengumuman v6.1 telah menjelaskan riwayat percakapan yang makin panjang dalam inferensi berbasis agen, pengujian berbasis agen di perangkat tepi, serta upaya mengembangkan tolok ukur berbasis agen untuk pusat data. Jadi, perkiraan ini menyangkut persyaratan pengukuran tambahan, bukan kemunculan pertama tolok ukur berbasis agen. Saya memperkirakan akan ada dorongan untuk mengaitkan beban kerja tersebut dengan energi sistem, seiring pembeli layanan inferensi menghadapi keterbatasan daya.
Penilaian 2026 dari IEA memberikan alasan yang lebih luas untuk memperhatikan hal ini: hubungan antara efisiensi dan total permintaan bergantung pada tingkat adopsi dan kompleksitas beban kerja. Kueri dengan jawaban singkat dan agen yang berjalan lama tidak dapat diberi biaya energi representatif yang sama. Demikian pula, akselerator individual yang efisien tidak serta-merta menjadikan seluruh alur kerja efisien.
Prediksi ini memiliki tingkat keyakinan terendah dalam artikel karena penyusunan standar pengukuran memerlukan koordinasi. Layanan alat mungkin berjalan di luar sistem yang diukur. Tolok ukur mungkin mengutamakan keterulangan daripada realisme, atau melaporkan daya tanpa mensyaratkan keberhasilan tugas dari awal hingga akhir. Keputusan desain tersebut mungkin dapat dipertanggungjawabkan, tetapi tidak memenuhi prediksi khusus ini.
Hal yang perlu dicermati pada 2027
Cermati laporan tolok ukur berbasis agen yang menyandingkan energi terukur dengan tugas yang diselesaikan serta menjelaskan komponen mana saja yang termasuk dalam batas pengukuran. Pemanggilan model berulang, percobaan ulang, dan upaya yang tidak berhasil harus tetap terlihat. Pelaporan yang hanya mencantumkan daya akselerator atau energi per token akan memberi pembeli gambaran yang tidak lengkap tentang biaya agen dengan banyak langkah.
Dampaknya bagi bisnis
Tim kapasitas dan keberlanjutan sebaiknya menyepakati satuan kerja yang berguna sebelum membandingkan angka energi. Catat jumlah tugas yang berhasil, sumber daya yang dikonsumsi oleh upaya yang gagal, serta infrastruktur yang tidak disertakan dalam perkiraan. Pencatatan tersebut dapat membantu tim menentukan apakah agen yang lebih mumpuni juga memanfaatkan anggaran daya dan komputasi yang tersedia secara efisien.
Jawabannya terletak pada satuan yang tepat
Sumber daya yang langka adalah kapasitas yang memenuhi persyaratan layanan dengan biaya yang wajar. Chip yang lebih cepat akan berperan penting, begitu pula penjadwal yang lebih hemat, tata letak memori yang sesuai dengan beban kerja, dan pengukuran yang mencatat kegagalan secara jujur. Keunggulan pusat data berikutnya mungkin tidak semencolok rak baru, tetapi dampaknya terhadap tagihan bisa lebih besar.












