Mengapa Fase Berikutnya dari Infrastruktur AI Akan Memerlukan Lebih dari Pusat Data Hyperscale

Kecerdasan buatan memasuki periode di mana strategi infrastruktur menjadi tidak terpisahkan dari kemampuan model. Selama bertahun-tahun, pusat data hyperscale telah memungkinkan kemajuan pelatihan skala besar, memungkinkan model frontier tumbuh dari jutaan hingga triliunan parameter. Namun, karena adopsi AI dipercepat di seluruh perusahaan, industri, dan sistem waktu nyata, inferensi menggantikan pelatihan sebagai beban kerja dominan, dan inferensi memiliki persyaratan yang secara fundamental berbeda.

Era berikutnya dari AI tidak dapat didukung oleh fasilitas hyperscale saja. Sebaliknya, model hibrida muncul di mana kampus terpusat untuk pelatihan dilengkapi dengan pusat data komersial skala terdistribusi untuk inferensi. Perubahan ini dipicu oleh keterbatasan latensi, kebutuhan kedaulatan data, kenyataan energi, dan batasan fisik dari ekspansi hyperscale terus-menerus.

Pembagian Pelatihan dan Inferensi

Pelatihan tetap menjadi kegiatan terpusat. Ini membutuhkan klaster besar, pipa data berkecepatan tinggi, dan pekerjaan jangka panjang yang mendapat manfaat dari ekonomi skala. Kampus hyperscale dioptimalkan untuk ini dengan komputasi padat, jaringan khusus, dan ketersediaan global. Namun, inferensi berperilaku secara berbeda. Ini adalah durasi singkat, volume tinggi, sensitif latensi, dan sering terkait dengan geografi atau batasan perusahaan. Analisis dari pekerjaan terbaru Akamai tentang sistem agen menunjukkan bahwa sebagian besar organisasi sekarang menargetkan latensi ujung-ke-ujung kurang dari 500 milidetik untuk kasus penggunaan AI kritis, dan alur kerja multi-agen sering melebihi ambang batas tersebut hanya karena transmisi jaringan dan eksekusi sisi CPU.

Latensi bukanlah metrik abstrak. Dalam robotika dan sistem otonom, loop kontrol sering berjalan pada 100 hingga 1.000 hertz setiap 1 hingga 10 milidetik. Setiap kecerdasan di luar papan harus menghormati batasan waktu tersebut. Putaran 50 milidetik ke pusat data jauh memecahkan rezim kontrol sepenuhnya. Dalam perdagangan keuangan dan deteksi penipuan, milidetik menentukan hasil ekonomi. Dalam otomasi industri, inferensi yang tertunda dapat mengganggu proses atau mengompromikan keamanan. Dan dalam pengalaman interaktif seperti permainan, AR/VR, dan kopilot waktu nyata, responsifitas memburuk tajam di atas 100 hingga 150 milidetik.

Sistem AI modern semakin bergantung pada alur kerja multi-agen yang terdiri dari rantai puluhan panggilan berurutan. Analisis Akamai menunjukkan bahwa eksekusi sisi CPU dapat menyumbang sebagian besar latensi total, dan setiap putaran jaringan menambahkan penundaan tambahan. Alur kerja dengan 50 panggilan berurutan dapat mengalami detik penundaan transportasi ketika diarahkan ke wilayah hyperscale jauh. Letakkan alur kerja yang sama di pusat data hiperlokal yang terletak di kampus atau area metro yang sama dan fisikanya berubah. Inferensi lokal dapat memberikan latensi putaran 1 hingga 5 milidetik. Alur kerja 50 langkah yang akan memakan waktu detik di wilayah jauh dapat selesai dalam 50 hingga 250 milidetik secara lokal, tetap dalam anggaran latensi perusahaan.

Kedaulatan Data dan Kenyataan Grid yang Mengarah ke Penerapan Lokal

Latensi hanya satu bagian dari cerita. Untuk industri yang diatur seperti perawatan kesehatan, keuangan, dan sektor publik, kedaulatan data sering menjadi penggerak utama untuk inferensi lokal. Menjalankan beban kerja AI di balik firewall perusahaan melestarikan perimeter keamanan yang ada, mengurangi eksposur multitenan, mempermudah kepatuhan, dan menjaga data sensitif dari infrastruktur cloud bersama. Penyedia hyperscale menawarkan keamanan yang kuat, tetapi permukaan serangan dan rantai kepercayaan secara inheren lebih luas. Perusahaan semakin memilih arsitektur inferensi yang selaras dengan postur keamanan yang ada.

Selain kekhawatiran tentang latensi dan keamanan, ketersediaan daya menjadi konstrain yang sama pentingnya. Pusat data hyperscale besar sering menghadapi penundaan multi-tahun karena keterbatasan transmisi dan antrean interkoneksi. Pusat data komersial skala kecil, terutama yang berlokasi di dekat beban yang ada atau pembangkit terdistribusi, dapat sering dienergisikan jauh lebih cepat. Ini penting karena permintaan AI bertabrakan dengan paradoks aneh.

Pada saat operator berjuang untuk mengamankan koneksi grid baru, jumlah besar energi terbarukan dibatalkan. Secara global, pembatalan energi terbarukan sekarang melebihi 200 terawatt-jam per tahun. Di Amerika Serikat, pembatalan diperkirakan sekitar 20 terawatt-jam per tahun. ERCOT saja membatalkan lebih dari 9 terawatt-jam pembangkitan angin dan surya dalam satu tahun terakhir. Sementara itu, CAISO membuang 3,4 terawatt-jam surya dan angin pada 2024, dengan surya yang menyumbang 93% dari semua output yang dipotong. Survei sistem energi secara konsisten menunjukkan bahwa baik surya maupun angin menghadapi pembatalan signifikan ketika pembangkitan melebihi kapasitas grid. Pembatalan surya khususnya umum di wilayah dengan puncak tengah hari yang kuat, sedangkan pembatalan angin sering terjadi selama jam non-puncak atau di koridor yang terbatas. Pusat data terdistribusi yang berlokasi di dekat pembangkit, terutama wilayah yang kaya akan surya, dapat mengubah energi terjebak menjadi kapasitas inferensi yang berguna.

Pusat data hyperscale akan tetap penting untuk pelatihan, tetapi mereka menghadapi batasan fisik dan ekonomi yang tumbuh. Menghubungkan ke grid transmisi dapat menjadi proses yang panjang, memerlukan sub-stasiun baru, peningkatan transmisi, izin multi-agensi, dan tinjauan masyarakat. Ini adalah proses yang secara rutin memakan waktu bertahun-tahun. Fasilitas hyperscale membutuhkan jejak tanah yang besar, alokasi air yang signifikan, dan persetujuan lingkungan yang kompleks. Masyarakat semakin resisten terhadap pengembangan pusat data baru karena kebisingan, penggunaan air, dan dampak lahan. Dan kampus terpusat mengkonsentrasikan risiko sehingga peristiwa cuaca, gangguan grid, atau gangguan geopolitik dapat mempengaruhi sebagian besar kapasitas komputasi global. Arsitektur terdistribusi menyediakan redundansi geografis dan ketahanan operasional.

Masa Depan adalah Arsitektur AI Multi-Tier

Ketika datang untuk memastikan komputasi inferensi berjalan lancar, efisiensi mungkin menjadi sama pentingnya dengan kapasitas mentah. Inferensi mengonsumsi energi secara terus-menerus, dan analisis industri menunjukkan bahwa inferensi mungkin pada akhirnya mewakili sebagian besar konsumsi energi yang terkait dengan AI. Keuntungan efisiensi dari integrasi energi terbarukan lokal, pengurangan kehilangan transmisi, penerapan yang tepat, profil termal yang ditingkatkan, dan tingkat utilisasi yang lebih tinggi akan menjadi penting untuk memenuhi permintaan AI global secara berkelanjutan. Pusat data komersial skala terdistribusi berada dalam posisi yang baik untuk memberikan keuntungan ini karena mereka dapat ditempatkan di mana energi melimpah, murah, atau tidak termanfaatkan.

Fase berikutnya dari infrastruktur AI akan menjadi campuran hibrida dari kampus hyperscale yang mendominasi pelatihan, pusat data komersial skala terdistribusi yang melayani inferensi, dan perangkat tepi yang melayani beban kerja ultra-lokal. Arsitektur multi-tier ini mencerminkan kenyataan fisik dari daya, latensi, keamanan, dan skala. Ketika AI menjadi tertanam dalam sistem waktu nyata di seluruh industri, infrastruktur harus berkembang sesuai untuk membawa inferensi lebih dekat ke dunia yang dilayani.