Biaya AI Meningkat Pesat — Berikut Cara Mengendalikannya

Penggunaan cloud terus meningkat, begitu pula biaya terkaitnya — khususnya, akhir-akhir ini, yang didorong oleh AI. Analis Gartner memperkirakan pengeluaran pengguna akhir di seluruh dunia untuk layanan cloud publik akan membengkak menjadi $ 723.4 miliar 2025, naik dari hanya di bawah $600 miliar pada tahun 2024. Dan 70% eksekutif yang disurvei dalam laporan IBM menyebutkan AI generatif sebagai pendorong utama peningkatan ini.

Pada saat yang sama, DeepSeek milik Tiongkok membuat heboh ketika mengklaim bahwa mereka hanya membutuhkan waktu dua bulan dan $6 juta untuk melatih model AI-nya. Ada beberapa keraguan apakah angka-angka tersebut menceritakan keseluruhan cerita, tetapi jika harga saham Microsoft dan Nvidia yang masih terguncang merupakan indikasi, pengumuman tersebut menyadarkan dunia Barat akan perlunya sistem AI yang hemat biaya.

Hingga saat ini, perusahaan telah mampu memperlakukan biaya AI yang meningkat sebagai penghapusan R&D. Namun, biaya AI — terutama yang terkait dengan produk dan fitur yang sukses — pada akhirnya akan memengaruhi biaya pokok penjualan (COGS) perusahaan dan, akibatnya, margin kotor mereka. Inovasi AI selalu ditakdirkan untuk menghadapi pengawasan ketat dari akal sehat bisnis; pengumuman mengejutkan DeepSeek baru saja memperpendek jangka waktu tersebut.

Sama seperti yang mereka lakukan dengan cloud publik lainnya, perusahaan perlu mengelola biaya AI mereka, termasuk biaya pelatihan dan konsumsi. Mereka perlu menghubungkan pengeluaran AI dengan hasil bisnis, mengoptimalkan biaya infrastruktur AI, menyempurnakan strategi penetapan harga dan pengemasan, serta memaksimalkan laba atas investasi AI mereka.

Bagaimana mereka dapat melakukannya? Dengan ekonomi unit awan (CUE).

Apa itu ekonomi unit awan (CUE)?

CUE mencakup pengukuran dan pemaksimalan laba yang dihasilkan cloud. Mekanisme fundamentalnya adalah menghubungkan data biaya cloud dengan data permintaan dan pendapatan pelanggan, mengungkap dimensi bisnis yang paling dan paling tidak menguntungkan, dan dengan demikian menunjukkan kepada perusahaan bagaimana dan di mana mengoptimalkannya. CUE berlaku di semua sumber pengeluaran cloud, termasuk biaya AI.

Landasan CUE adalah alokasi biaya — mengatur biaya cloud menurut siapa dan/atau apa yang menggerakkannya. Dimensi alokasi umum meliputi biaya per pelanggan, biaya per tim teknik, biaya per produk, biaya per fitur, dan biaya per layanan mikro. Perusahaan yang menggunakan platform manajemen biaya modern sering kali mengalokasikan biaya dalam kerangka kerja yang mencerminkan struktur bisnis mereka (hierarki teknik, infrastruktur platform, dll.).

Jadi, inti dari CUE adalah metrik biaya satuan, yang membandingkan data biaya dengan data permintaan untuk menunjukkan kepada perusahaan total biaya layanan mereka. Misalnya, perusahaan pemasaran B2B mungkin ingin menghitung "biaya per 1,000 pesan" yang dikirim melalui platformnya. Untuk melakukannya, perusahaan harus melacak biaya cloud dan jumlah pesan yang dikirim, memasukkan data tersebut ke dalam satu sistem, dan memerintahkan sistem tersebut untuk membagi biaya cloud dengan pesannya dan membuat grafik hasilnya di dasbor.

Karena perusahaan memulai dengan alokasi biaya, perusahaan kemudian dapat melihat biaya per 1,000 pesan berdasarkan pelanggan, produk, fitur, tim, layanan mikro, atau tampilan lain apa pun yang dianggap mencerminkan struktur bisnisnya.

Hasil:

• Fleksibel dimensi bisnis yang dengannya mereka dapat memfilter metrik biaya unit mereka, menunjukkan kepada mereka area bisnis mana yang mendorong biaya cloud mereka
• Sebuah pencerahan metrik biaya satuan yang menunjukkan seberapa efisien mereka memenuhi permintaan pelanggan
• Kemampuan untuk melakukan perbaikan efisiensi yang terarah, seperti melakukan refaktor infrastruktur, menyempurnakan kontrak pelanggan, atau menyempurnakan model harga dan pengemasan

CUE di era AI

Dalam model CUE, biaya AI hanyalah satu sumber pengeluaran cloud yang dapat dimasukkan ke dalam kerangka alokasi bisnis. Cara perusahaan AI menyebarkan data biaya masih terus berkembang, tetapi pada prinsipnya, platform manajemen biaya memperlakukan biaya AI dengan cara yang hampir sama seperti mereka memperlakukan biaya AWS, Azure, GCP, dan SaaS.

Platform manajemen biaya cloud modern mengalokasikan biaya AI dan menunjukkan dampak efisiensinya dalam konteks metrik biaya unit.

Perusahaan perlu mengalokasikan biaya AI mereka dengan beberapa cara intuitif. Salah satunya adalah dengan menggunakan biaya per tim yang telah disebutkan sebelumnya, sebuah dimensi alokasi yang umum untuk semua sumber pengeluaran cloud, yang menunjukkan biaya yang menjadi tanggung jawab masing-masing tim teknik. Hal ini sangat berguna karena para pemimpin tahu persis siapa yang harus dihubungi dan dimintai pertanggungjawaban ketika biaya tim tertentu melonjak.

Perusahaan mungkin juga ingin mengetahui biaya per jenis layanan AI — model pembelajaran mesin (ML) versus model dasar versus model pihak ketiga seperti OpenAI. Atau, mereka dapat menghitung biaya per tahap SDLC untuk memahami bagaimana biaya fitur bertenaga AI berubah saat beralih dari pengembangan ke pengujian ke pementasan dan akhirnya ke produksi. Sebuah perusahaan dapat menjadi lebih terperinci dan menghitung biaya per tahap siklus hidup pengembangan AI, termasuk pembersihan data, penyimpanan, pembuatan model, pelatihan model, dan inferensi.

Memperluas wawasan sedikit: CUE berarti membandingkan data biaya cloud yang terorganisasi dengan data permintaan pelanggan, lalu mencari tahu di mana harus mengoptimalkannya. Biaya AI hanyalah satu sumber data biaya cloud lagi yang, dengan platform yang tepat, sesuai dengan strategi CUE perusahaan secara keseluruhan.

Menghindari tsunami COGS

Hanya untuk 2024, 61% perusahaan telah memformalkan sistem manajemen biaya cloud (menurut survei CloudZero). Biaya cloud yang tidak terkelola akan segera menjadi tidak terkelola: 31% perusahaan — serupa dengan bagian yang tidak mengelola biaya mereka secara formal — mengalami penurunan COGS yang besar, melaporkan bahwa biaya cloud menghabiskan 11% atau lebih dari pendapatan mereka. Biaya AI yang tidak terkelola hanya akan memperburuk tren ini.

Organisasi yang paling berpikiran maju saat ini memperlakukan biaya cloud seperti pengeluaran besar lainnya, menghitung ROI-nya, membagi ROI tersebut berdasarkan dimensi bisnis yang paling penting, dan memberdayakan anggota tim yang relevan dengan data yang dibutuhkan untuk mengoptimalkan ROI tersebut. Platform manajemen biaya cloud generasi berikutnya menawarkan alur kerja CUE yang komprehensif, membantu perusahaan menghindari tsunami COGS dan memperkuat kelangsungan hidup jangka panjang.