Untuk Mengurangi Biaya AI, Mulailah dengan Pengeluaran Cloud

“Messy middle” AI mungkin telah mencapai kesulitan terbesarnya.

Ketika krisis perangkat keras global bertabrakan dengan permintaan besar, biaya AI telah melambung tinggi. Dalam upaya untuk mendapatkan lebih banyak komputasi, perusahaan layanan AI telah terpaksa meningkatkan harga dan merevisi model penagihannya, yang membuat anggaran menjadi tidak seimbang dan menghambat inovasi ketika banyak organisasi baru saja mencapai momentum.

Hasilnya lebih dari sekedar kejutan harga: ini adalah krisis eksistensial bagi dunia bisnis yang baru saja mengalami perubahan besar. Perusahaan telah merevisi rencana mereka untuk mengakomodasi dampak AI. Tim telah mengatur ulang alur kerja mereka sesuai dengan kemampuan AI. Pemberdayaan AI telah menjadi diferensiator kompetitif utama organisasi. AI telah memicu transformasi besar, dan sekarang tim diminta untuk mengurangi penggunaannya ketika mereka baru saja mulai mengoperasikan AI.

Perusahaan seperti Uber telah membuat berita dengan menetapkan batas penggunaan AI yang agresif untuk mengurangi biaya. Namun, sementara batas penggunaan dapat menjadi langkah penghematan biaya yang efektif, itu bukan satu-satunya cara bagi bisnis untuk mengurangi pengeluaran komputasi.

Tempat pertama mereka harus mencari adalah tagihan cloud mereka.

Hal ini tampaknya tidak masuk akal. Sementara rumusnya selalu bahwa lebih banyak daya komputasi berarti lebih banyak dampak AI, itu tidak selalu membuatnya lebih efisien. Perusahaan mengalami kerugian besar dalam anggaran mereka untuk layanan AI sementara masih mengandalkan infrastruktur yang terlalu besar dan mahal; biaya AI yang meningkat hanya mengungkapkan masalah yang mendalam yang tidak dapat diabaikan lagi oleh perusahaan.

Bagaimana Pengeluaran Cloud Menumpuk

Pengeluaran infrastruktur TI seringkali merupakan item kedua terbesar dalam anggaran perusahaan setelah gaji, yang rata-rata mencapai 10% dari pendapatan tahunan perusahaan – angka yang telah dipaksa naik oleh permintaan AI dalam beberapa tahun terakhir. Namun, banyak perusahaan menambah volume pada kerangka kerja TI yang sudah terlalu besar.

CTO dan pengambil keputusan teknologi lainnya tertarik pada apa yang sudah familiar dan dapat diandalkan. Sayangnya, ini juga yang membuat tagihan cloud mereka melambung tinggi. Dengan menerima yang sudah terbukti, mereka terjebak dalam kesepakatan satu-ukuran yang mahal dengan hyperscaler besar di mana mereka membayar untuk solusi yang tidak menghasilkan nilai.

Seiring waktu, mereka menemukan bahwa mereka membayar untuk layanan yang tidak digunakan atau tidak aktif, perangkat keras yang tidak dioptimalkan, dan penyimpanan yang kosong, ketika mereka bisa menginvestasikan uang itu untuk inovasi AI. Dengan biaya AI yang semakin mahal, mereka akan membutuhkan setiap dolar yang mereka dapatkan.

Mengatur Ulang Infrastruktur untuk Efisiensi AI

Mengendalikan pengeluaran cloud memerlukan kombinasi tindakan jangka pendek dan evolusi jangka panjang. Mengatasi apa yang dapat diselesaikan hari ini memberi perusahaan ruang untuk merencanakan penyesuaian besar dalam setahun ke depan.

Beralih ke infrastruktur baru membutuhkan waktu, dan perusahaan membutuhkan solusi sekarang agar tim mereka dapat terus bekerja dengan AI. Berikut adalah tiga langkah yang dapat diambil perusahaan sekarang untuk mengatur pengeluaran cloud mereka:

1 – Analisis Penggunaan CPU dan Memori

Ada yang namanya “terlalu banyak” kinerja. Tim TI harus melakukan diagnosis menyeluruh penggunaan layanan cloud, lalu menurunkan instance yang melebihi persyaratan kinerja. Analisis mendalam penggunaan cloud juga membantu tim menemukan fitur dan infrastruktur yang tidak digunakan sama sekali; jika kontrak mereka saat ini memungkinkan, mereka mungkin dapat membatalkan layanan tersebut atau bernegosiasi untuk pembayaran yang lebih rendah selama sisa kontrak. Jika tidak, mengidentifikasi fitur yang tidak digunakan memberikan kerangka yang berharga untuk menentukan parameter pendekatan cloud yang dikonfigurasi ulang.

Ketika perusahaan mengubah strategi infrastruktur mereka, mereka akan ingin memilih layanan cloud yang menghemat penggunaan memori. Misalnya, infrastruktur yang dioptimalkan untuk memori dan vCPUs memberikan dukungan yang lebih terjangkau untuk dukungan kelas perusahaan dibandingkan dengan optimasi berbasis Arm yang biasanya ditawarkan oleh hyperscaler. Ini mengurangi sebagian beban pemantauan dari tim TI sambil menurunkan pengeluaran cloud secara keseluruhan.

2 – Tetapkan Batas Pengeluaran yang Ketat

Batas pengeluaran dan penggunaan telah menjadi respons industri teknologi terhadap kenaikan harga AI, tetapi itu tidak hanya menetapkan batas yang penting. Yang penting adalah bagaimana batas tersebut didefinisikan, dikomunikasikan, dan ditegakkan.

Pertama, batas pengeluaran harus spesifik untuk penggunaan. Pemimpin harus dapat menggunakannya sebagai panduan untuk perencanaan proyek dan pengalokasian sumber daya, memungkinkan mereka untuk membangun anggaran, timeline, dan tim proyek dengan mempertimbangkan efisiensi.

Selain itu, komunikasi sangat penting agar seluruh pekerja memahami mengapa batas tersebut diterapkan. Kita terbiasa melihat digital sebagai sesuatu yang tak terbatas, tetapi pada tahap ini, kita menghadapi hukum fisika. Ketika kekurangan dan perubahan penagihan memengaruhi alur kerja sehari-hari karyawan, batas pengeluaran harus diposisikan sebagai cara berkelanjutan untuk mempertahankan ketergantungan mereka pada alat AI, bukan sebagai pembatasan.

3 – Enforce Protokol Penandaan

Protokol penandaan mencegah penggunaan TI yang tidak terkelola yang secara diam-diam meningkatkan biaya komputasi. Dengan kode penandaan yang kuat, pemimpin TI dapat memperoleh pemahaman yang lebih baik tentang lalu lintas layanan cloud, memungkinkan tim untuk menargetkan sumber kelebihan penggunaan dan membuat penyesuaian strategis untuk mengurangi sumber daya di mana terjadi pemborosan. Pada saat yang sama, protokol penandaan juga dapat menunjukkan di mana tim mungkin memerlukan peningkatan.

Ketika kontrak cloud mereka saat ini habis, perusahaan memiliki kesempatan untuk mengatur ulang ekosistem komputasi mereka dengan pendekatan multi-cloud yang dapat disusun. Ini tidak berarti mereka harus meninggalkan mitra hyperscaler lama mereka, tetapi mengurangi kontrak mereka untuk selaras dengan infrastruktur yang lebih efisien di tempat lain dalam tumpukan. Solusi cloud alternatif, solusi edge yang memindahkan beban infrastruktur berbasis GPU, dan solusi perangkat lunak sumber terbuka semuanya merupakan strategi multivendor yang fleksibel yang tidak hanya menghemat biaya, tetapi juga meningkatkan ROI dari setiap inisiatif AI dengan memaksimalkan harga untuk kinerja, sehingga perusahaan dapat menginvestasikan penghematan kembali ke inovasi AI.

Merubah Pola Pikir Efisiensi

Mengelola biaya AI juga merupakan masalah budaya. Tenaga kerja yang diberdayakan AI terkenal karena obsesinya dengan efisiensi. Itulah mengapa mereka membangun agen, mengotomatisasi komunikasi mereka, dan membiarkan AI melakukan pekerjaan yang berat sementara mereka memperluas kapasitas mereka untuk kreativitas dan inovasi. Namun, penggunaan alat tersebut yang tidak bertanggung jawab memiliki efek sebaliknya.

“Tokenmaxxing” dan tren lainnya yang mendorong penggunaan AI yang boros tidak sesuai dengan bias efisiensi. Jika tim ingin benar-benar melakukan lebih banyak dengan lebih sedikit, interaksi mereka dengan AI harus mencerminkan prinsip tersebut.

Itu memerlukan perubahan budaya dan teknologi seiring waktu. Dorong penggunaan prompt yang lebih baik untuk mengurangi beban inferensi, tetapi juga adopsi infrastruktur yang secara otomatis menghemat inferensi. Adopsi model AI yang lebih kecil dengan kasus penggunaan yang presisi. Terima model dan perangkat lunak sumber terbuka untuk mengurangi beban pelatihan. Berdayakan pengembang untuk menyelesaikan masalah dengan efisien dan edukasi pengguna AI non-teknis. Perusahaan yang ingin mendorong karyawan mereka untuk menggunakan AI harus melakukannya dengan bertanggung jawab.

Meskipun kenaikan harga, kita belum menghentikan transformasi AI. Mengoperasikan AI dalam skala besar selalu menjadi upaya yang mahal, memerlukan perencanaan yang hati-hati dan alokasi modal strategis untuk tetap berkelanjutan. Di mana kita berada sekarang adalah titik tekanan: langkah yang diambil pemimpin TI sekarang akan menentukan siapa yang akan melewatinya dan siapa yang akan ketinggalan.

Sementara industri bergerak untuk menyelesaikan krisis komputasi yang sedang berkembang, perusahaan perlu menemukan cara untuk mengelola dengan apa yang mereka miliki. Perusahaan dapat melindungi diri mereka dari biaya AI yang astronomi dengan mengatasi pengeluaran berlebihan pada solusi cloud, menghemat inferensi di seluruh cloud terdistribusi, dan menginvestasikan infrastruktur yang mempromosikan ROI yang sebenarnya.