AI Privat Membutuhkan Infrastruktur yang Dapat Berkembang Mengikuti Beban Kerja

Dua tahun lalu, hampir semua perusahaan yang saya ajak bicara mengira AI berarti memanggil model AI terdepan melalui API. Anggapan itu mulai berubah. Model dengan bobot terbuka kini sudah cukup mumpuni untuk banyak pekerjaan sehari-hari, dan yang biasanya membuat aplikasi AI perusahaan bernilai adalah data milik perusahaan itu sendiri, bukan model yang mendasarinya. Begitu perusahaan memahami hal ini, menjaga model tetap dekat dengan data dan berada di bawah kendali mereka sendiri adalah pilihan yang masuk akal.

Itulah AI privat. Anda menjalankan model di lingkungan sendiri, menyesuaikannya dengan informasi sendiri, lalu menentukan di mana model beroperasi dan apa saja yang boleh diaksesnya. Jika Anda menjalankan bank atau perusahaan farmasi, sejak awal Anda tentu tidak akan nyaman menaruh riset eksklusif atau catatan pelanggan di lingkungan milik pihak lain. Bagi perusahaan lain, dorongan untuk beralih datang dari besarnya biaya inferensi dalam skala besar dan keengganan untuk bergantung pada satu penyedia saja untuk sesuatu yang kian penting bagi operasional bisnis. Menurut riset Linux Foundation, 63% perusahaan yang disurvei menggunakan model AI terbuka, menunjukkan betapa luasnya penggunaan alternatif ini.

Yang sering diremehkan adalah bahwa ketika model dibawa ke lingkungan sendiri, infrastrukturnya juga ikut menjadi tanggung jawab Anda. Pasokan listrik, pendinginan, komputasi, lokasi penempatan, dan cara menghubungkannya dengan semua sistem lain. Dulu, semua itu menjadi urusan penyedia cloud Anda. Sekarang, menjadi urusan Anda. Kebanyakan perusahaan belum pernah harus mengambil keputusan seperti ini, sementara teknologinya berubah lebih cepat daripada pembangunan fasilitas. Jika kapasitas yang Anda siapkan tidak tepat, Anda akan memiliki kapasitas yang tidak sesuai dengan beban kerja yang akhirnya harus dijalankan. Fleksibilitas harus dirancang sejak awal. Mengubah infrastruktur yang sudah ada, jika memungkinkan, bisa mahal, dan sebagian penyedia sama sekali tidak bisa melakukannya karena fasilitas mereka memang tidak pernah dirancang untuk kepadatan seperti ini.

Bangun Kapasitas Dasar, Sewa Kapasitas untuk Lonjakan

Mulailah dengan memahami bahwa Anda tidak membutuhkan model terbesar untuk setiap pekerjaan. Merangkum dokumen, mengklasifikasikan tiket, dan menjawab pertanyaan berdasarkan basis pengetahuan sendiri adalah tugas-tugas yang dapat dijalankan secara privat oleh model dengan bobot terbuka, dengan biaya yang bisa diperkirakan. Simpan model AI terdepan untuk pekerjaan yang benar-benar membutuhkannya.

Dari situ, Anda bisa menentukan bentuk infrastruktur yang diperlukan. Bangun kapasitas privat untuk memenuhi permintaan rutin yang dapat diperkirakan setiap minggu. Sewa kapasitas dari luar untuk menghadapi lonjakan dan menjalankan pekerjaan berat yang melampaui kapasitas yang tersedia. Perusahaan telah lama mengelola komputasi dengan cara ini, dan AI tidak mengubah logikanya; AI hanya meningkatkan kepadatan kapasitas dasar dan memperlebar rentang lonjakan beban.

Tantangannya adalah menentukan kapasitas dasar secara akurat sekaligus memastikan lingkungan privat dan lingkungan sewaan berfungsi sebagai satu sistem. Keduanya harus memiliki akses ke data yang sama dan beroperasi dengan kontrol yang sama, tanpa mengharuskan perusahaan membangun ulang alur kerja setiap kali beban kerja berpindah dari satu lingkungan ke lingkungan lainnya.

Di Mana Infrastruktur Akan Ditempatkan?

Ternyata, membeli GPU adalah keputusan yang mudah. Setelah itu, Anda harus menentukan tempat untuk menaruhnya, menyediakan daya, mendinginkannya, dan menghubungkannya ke seluruh infrastruktur TI. Perangkat keras AI berkepadatan tinggi tidak dapat langsung dipasang di pusat data perusahaan biasa tanpa perubahan besar pada sistem kelistrikan dan pendinginannya, dan tidak semua lokasi operasional Anda cocok untuk menampungnya. Dalam Survei Infrastruktur AI Uptime Institute 2025, 37% responden menyebut ketersediaan daya sebagai salah satu faktor utama yang memengaruhi lokasi mereka menjalankan beban kerja inferensi AI.

Kebanyakan perusahaan akhirnya menggunakan kombinasi kolokasi dan cloud. Faktor penentunya biasanya adalah data. Data sudah tersebar di beberapa lokasi, mahal untuk dipindahkan, dan di industri yang diatur, sebagian data tidak boleh keluar dari negara atau lingkungan tertentu. Mengumpulkan semuanya di satu gedung dekat GPU terdengar praktis, tetapi hampir tidak pernah terjadi.

Jadi, pertanyaannya bukan hanya di mana komputasi ditempatkan. Pertanyaannya juga bagaimana komputasi dapat menjangkau data yang dibutuhkan dengan aman, tanpa menambah biaya dan kerumitan yang akan disesali tiga tahun mendatang. Anggap ini sebagai pergeseran ketiga. Pergeseran pertama adalah internet, dan konektivitas menjadi solusinya. Pergeseran kedua adalah cloud, dan jaringan interkoneksi menjadi solusinya, memungkinkan interkoneksi berbasis perangkat lunak yang membuat perusahaan dapat terhubung ke berbagai penyedia dari satu lokasi. AI adalah pergeseran ketiga, dan jaringan interkoneksi saja tidak cukup untuk mengatasinya. AI membutuhkan daya dalam jumlah besar, di lokasi yang sama dengan jaringan interkoneksi tersebut. Perusahaan yang berhasil menerapkan AI privat adalah perusahaan yang menempatkan komputasi di titik temu antara pasokan daya dan konektivitas, alih-alih menangani keduanya melalui dua proses pengadaan yang terpisah.

Menghubungkan AI Privat Seiring Perubahan Beban Kerja

AI berbasis agen membuat persoalan konektivitas semakin mendesak. Aplikasi konvensional menerima prompt, memanggil model, lalu memberikan jawaban. Agen terus bekerja sepanjang proses. Agen memanggil beberapa model, meminta data dari berbagai sistem, mengambil data dari mana pun data itu berada, lalu meneruskan pekerjaan kepada agen lain. Setiap perpindahan itu melintasi batas, menambah latensi, dan memunculkan pertanyaan tentang siapa yang boleh mengakses apa.

Tempatkan model di satu lokasi, data di lokasi lain, lalu tetapkan aturan bahwa sebagian data harus tetap berada di negara tertentu atau lingkungan privat. Perusahaan perlu benar-benar mengendalikan jalur-jalur tersebut: sistem mana yang dapat mengakses data tertentu, apa yang terjadi saat beban kerja berpindah, dan bagaimana model baru diintegrasikan tanpa mengganggu semua yang sudah berjalan.

Karena itulah infrastrukturnya harus dapat diprogram. Koneksi antara model, data, dan lingkungan seharusnya dapat dikonfigurasi dan diubah, bukan selalu menjadi proyek rekayasa. Semakin lama, bukan manusia yang akan melakukan konfigurasi tersebut. Standar seperti Model Context Protocol, atau MCP, memberi agen cara umum untuk berkomunikasi dengan alat dan sistem di sekitarnya. Agen yang memerlukan koneksi ke sumber data baru atau model baru dapat memintanya, seperti saat memanggil layanan lain, sementara kebijakan dan kontrol yang sesuai tetap diberlakukan. Itulah arti infrastruktur yang dapat diprogram dalam praktiknya. Model baru muncul setiap beberapa bulan. Aplikasi baru akan membutuhkan jalur yang belum tersedia saat ini. Jika setiap perubahan mengharuskan pembangunan ulang, fleksibilitas yang ingin Anda dapatkan dengan memilih lingkungan privat pun hilang.

Mewujudkan Perhitungan Ekonomi yang Masuk Akal

Menentukan kapasitas yang tepat merupakan faktor penting bagi keberhasilan, dan ini bukan sekadar soal jumlah total. Perusahaan yang berhasil melakukannya memahami dengan jelas hubungan antara daya yang digunakan dan jumlah token yang dihasilkan. Rasio daya terhadap token menjadi dasar perhitungan ekonomi AI privat. Jika Anda memahami rasio tersebut untuk beban kerja sendiri, Anda dapat menentukan ukuran lingkungan dengan penuh keyakinan. Aspek lainnya adalah menyediakan ruang cadangan. Kemampuan baru hadir di pasar setiap kuartal, dan perusahaan yang membuat perencanaan dengan baik selalu menyisakan ruang untuk kebutuhan berikutnya, alih-alih membangun kapasitas pas-pasan sesuai kebutuhan saat ini. Rencana terbaik memadukan keduanya. Pahami betul perhitungan ekonomi daya terhadap token, lalu siapkan margin yang wajar di atasnya.

GPU hanya sebagian dari biaya. Menyediakan tempat, mendinginkan, memasok daya, dan menghubungkannya dengan bagian bisnis lainnya dapat menghabiskan biaya sebesar pengadaan perangkat kerasnya. Lalu, ada biaya tenaga kerja. Sebagian besar perusahaan belum pernah mengoperasikan lingkungan komputasi berdensitas tinggi, dan keahlian seperti itu bukan sesuatu yang bisa Anda rekrut dalam satu kuartal.

Itulah sebabnya kapasitas dasar dan kapasitas untuk menghadapi lonjakan permintaan sama-sama penting. Bangun kapasitas privat yang cukup untuk menanggung beban normal, lalu sewa kapasitas tambahan saat permintaan melampauinya. Dengan begitu, Anda tidak perlu membayar perangkat keras yang menganggur hampir sepanjang tahun. Anda juga tetap memiliki keleluasaan untuk mengubah arah seiring perubahan model dan aplikasi, yang memang akan terjadi.

Merencanakan Kebutuhan Mendatang

Di balik semua ini, ada persoalan waktu. Pusat data membutuhkan waktu sekitar dua tahun untuk dibangun. Dalam dua tahun, model, perangkat keras, dan aplikasi yang ingin dijalankan perusahaan akan sangat berbeda dibandingkan dengan saat ini. Apa pun yang Anda putuskan sekarang akan digunakan untuk menjalankan beban kerja yang belum dapat dijelaskan sepenuhnya oleh siapa pun.

Perusahaan masih mencari tahu beban kerja mana yang sebaiknya dijalankan di lingkungan privat dan kapan kapasitas eksternal diperlukan. Itu hal yang wajar. Yang perlu dihindari adalah membuat komitmen infrastruktur yang merampas kendali atas keputusan tersebut sebelum Anda sempat mengambilnya. Sisakan ruang untuk berbagai model, penambahan kapasitas saat diperlukan, dan perpindahan beban kerja.

Keberhasilan AI privat dalam jangka panjang tidak akan terlalu ditentukan oleh model yang Anda pilih, melainkan oleh kemampuan infrastruktur Anda untuk mengikuti perkembangan saat kebutuhan semakin jelas. Bangun infrastruktur untuk beban kerja saat ini, pastikan koneksinya dapat diprogram, dan tempatkan komputasi di titik pertemuan jaringan infrastruktur dan pasokan daya.