Mengapa Perlombaan Chip AI Sekarang Berjalan di Perangkat Lunak

Setiap akselerator AI baru tiba dengan cerita benchmarking: throughput puncak, teraops per watt, angka-angka mengesankan yang berjanji chip ini akan mengubah segalanya. Apa yang angka-angka itu tinggalkan adalah apakah pelanggan dapat benar-benar menggunakan chip dalam produksi. Sebagian besar waktu, mereka tidak bisa, dan itulah cerita nyata di mana industri perangkat keras AI berdiri hari ini. Ini menghadapi masalah kematangan perangkat lunak, dan sebagian besar perusahaan belum siap mengatakan itu secara terbuka.

Gap yang Tidak Dibicarakan

Siklus pengembangan silikon berjalan dua hingga empat tahun, sedangkan lanskap model AI berevolusi pada siklus yang diukur dalam bulan dan cenderung menuju minggu. Di bawah ini terdapat masalah rantai nilai: kasus penggunaan akhir, dari kendaraan dan pabrik hingga rumah sakit dan perangkat, matang dalam fungsionalitas dan mulai menghasilkan dampak P&L yang dapat diukur. Kematangan itu mengarah pada permintaan adaptasi perangkat lunak, yang pada gilirannya memerlukan perubahan perangkat keras. Setiap lapisan ini beroperasi pada kecepatan yang secara fundamental berbeda, dan ketidaksesuaian itu adalah penyebab akar gesekan yang membangun di seluruh pasar. Tumpukan perangkat lunak yang diperlukan untuk menjalankan inferensi model bahasa besar berbeda secara fundamental dari apa yang dibangun untuk beban kerja pembelajaran mesin sebelumnya. Garis waktu pengembangan perangkat keras belum dikompresi untuk mencocokkan siklus ini. Perusahaan yang mengirimkan silikon baru hari ini menyerahkan kepada pelanggan dengan perangkat lunak yang tidak dapat sepenuhnya membuka kemampuan chip, menghasilkan pola yang berulang di seluruh pasar: silikon yang mengesankan, perangkat lunak yang belum matang, adopsi yang lambat, dan pendapatan yang hilang. Chip melakukan apa yang dirancang untuk dilakukan. Masalahnya adalah pelanggan tidak dapat dengan mudah menggunakannya.

Pertimbangkan apa yang terjadi pada industri otomotif. Mobil itu sendiri sebagian besar sudah terpecahkan pada pertengahan abad ke-20, tetapi ketika perangkat lunak menjadi pembeda, perusahaan dengan warisan manufaktur terdalam berjuang paling keras untuk beradaptasi. Ford dan GM tahu cara membangun mesin, tetapi tidak memiliki memori otot untuk membangun sistem operasi. Industri perangkat keras AI sedang melewati transisi yang sama sekarang, dan paralelnya sangat tidak nyaman. NVIDIA (NVDA ) memainkan peran sebagai pengganggu asli perangkat lunak, sedangkan perusahaan semikonduktor tradisional masih mencoba mencari cara untuk menjual ekosistem pengembang bersama dengan silikon.

Dominasi NVIDIA hampir tidak ada hubungannya dengan memiliki chip terbaik. CUDA (Arsitektur Perangkat Tunggal Terpadu) sudah berusia dua puluh tahun, dengan semua utang teknis yang implikasinya, tetapi apa yang sebenarnya dibangun NVIDIA adalah sistem operasi komputasi AI: ekosistem yang dapat diprediksi, matang, yang pengembang dan OEM dapat andalkan dalam produksi.

Pelanggan memilih platform berdasarkan kematangan perangkat lunak dan risiko integrasi, sehingga ketika akselerator baru tiba tanpa tumpukan perangkat lunak kelas produksi, percakapan komersial berakhir sebelum dimulai.

Waktu ke model pertama, yang didefinisikan sebagai seberapa cepat pelanggan mendapatkan beban kerja AI nyata yang berjalan pada akselerator tertentu, adalah metrik komersial yang jauh lebih bermakna daripada throughput puncak. Itulah percakapan yang paling tidak siap dilakukan oleh sebagian besar perusahaan perangkat keras.

Pasar Nyata adalah Inferensi

Bahasa asli bisnis adalah P&L, dan setiap perusahaan yang menggelar AI perlu menjawab pertanyaan yang sama: di mana uangnya, dan apa yang menghentikan saya untuk menangkapnya? Pelatihan adalah langkah yang diperlukan, tetapi AI komersial hidup dalam inferensi, dan pasar itu hampir tidak dimulai.

Asimetri skala di sini sangat mencolok. Pelatihan mencakup satu kasus penggunaan; inferensi mencakup jumlah yang tak terhingga. Setiap aplikasi AI dalam kendaraan, pabrik, rumah sakit, telepon, atau gudang memerlukan inferensi. Chip yang menjalankan sistem keamanan di mobil tidak dapat menarik daya pusat data, dan perangkat yang menjalankan inferensi waktu nyata di lantai pabrik tidak dapat mentolerir latensi tinggi. Pasar inferensi edge memerlukan silikon yang dirancang khusus untuk efisiensi daya, kendala fisik, dan persyaratan keamanan dan keandalan industri yang menggunakannya.

Keputusan Google baru-baru ini untuk membagi TPU generasi kedelapannya menjadi dua chip yang berbeda, satu untuk pelatihan dan satu untuk inferensi, layak dipertimbangkan. Pilihan arsitektur ini mengakui bahwa dua beban kerja telah menyimpang secara signifikan sehingga mengoptimalkan keduanya dalam satu desain sekarang berarti unggul dalam tidak ada yang lain. Ketika sebuah perusahaan yang menjalankan beberapa infrastruktur AI terbesar memutuskan bahwa spesialisasi lebih penting daripada konsolidasi, itu menandakan ke mana arah pasar lain: menuju silikon inferensi yang dirancang khusus yang diterapkan di edge, dalam volume, di bawah kendala dunia nyata yang tidak pernah dirancang untuk diukur oleh benchmark pusat data.

Kami sedang dalam penjarahan inferensi, sedangkan sebagian besar pasar masih terorganisir di sekitar pelatihan.

Batas Struktural Warisan

Perusahaan yang paling siap untuk memproduksi massal masih secara struktural tidak mampu melayani pasar di mana inferensi akan hidup. Pelanggan otomotif memerlukan pemasok untuk menjamin ketersediaan komponen selama satu dekade. Perusahaan semikonduktor umum seperti Intel (INTC ) tidak akan berkomitmen untuk itu. Batasan struktural ini meninggalkan seluruh industri yang tidak terlayani, dan tidak ada jumlah negosiasi yang dapat mengubahnya.

Platform edge AI NVIDIA sudah menghadapi tantangan dari alternatif yang kompatibel PIN yang memberikan kinerja yang lebih baik per watt tanpa memerlukan perubahan pada tumpukan perangkat lunak. Pelanggan dapat menukar chip dan menjaga semua yang lain, membuat ini menjadi serangan komersial langsung pada bagian paling defensif dari posisi edge NVIDIA.

Perusahaan yang membuktikan konsepnya pada CUDA menemukan bahwa penerapan ekonomis pada skala besar memerlukan arsitektur ulang ke silikon daya rendah, karena ketika organisasi menggelar puluhan ribu perangkat, biaya per unit dan konsumsi daya menjadi faktor penentu. Urutan yang dimainkan di pasar inferensi sangat sederhana: gunakan sesuatu yang berhasil, uji, lalu temukan cara untuk menerapkannya secara ekonomis, karena Anda perlu menghasilkan uang dari itu. Mengingat kecepatan adopsi AI, jendela untuk membangun keunggulan perangkat lunak dan ekosistem diukur dalam kuartal.

Investasi Teknik yang Paling Perusahaan Lewatkan

Perusahaan perangkat keras AI terus mengirimkan chip yang kuat dengan perangkat lunak yang tidak dapat sepenuhnya menjalankannya. Perangkat lunak sistem produksi, yang mencakup waktu inferensi, optimasi compiler, dan pengaktifan beban kerja, memerlukan teknik yang dalam dan khusus yang sebagian besar perusahaan perangkat keras tidak memiliki di dalam rumah.

Membangun kemampuan itu berarti merekrut insinyur compiler dan arsitek waktu yang dapat menutup kesenjangan antara apa yang chip dapat lakukan secara teoretis dan apa yang pelanggan dapat terapkan secara praktis. Perusahaan juga perlu berinvestasi dalam toolchain sebelum pendapatan membenarkannya, karena ketika pendapatan tiba, jendela telah ditutup. Perusahaan yang melewatkan investasi itu tidak hanya tertinggal. Mereka kehilangan kesepakatan.

Chip yang mencapai skala adalah chip yang paling dapat diterapkan, dan keteraplian adalah fungsi dari kualitas perangkat lunak. Pembeli hilir utama, dari OEM dan hyperscalers hingga pelanggan perusahaan, telah terbakar sebelumnya oleh silikon yang melakukan benchmark dengan baik dan mengintegrasikan dengan buruk. Mereka memilih berdasarkan kematangan ekosistem dan risiko integrasi. Perusahaan yang memperlakukan perangkat lunak sebagai prioritas teknik kelas satu mengubah lebih banyak pilot menjadi kontrak produksi dan mencapai pendapatan lebih cepat. Mereka yang memperlakukannya sebagai afterthought pengiriman menonton silikon yang secara teknis unggul kalah dalam kesepakatan dengan chip yang lebih rendah yang didukung oleh tumpukan yang lebih matang.

Jam Sudah Berdetak

Perusahaan perangkat keras AI yang diposisikan untuk menangkap bagian yang signifikan dalam fase berikutnya sedang membangun keunggulan ekosistem hari ini yang akan sulit untuk pendatang baru untuk direplikasi. Fleksibilitas perangkat lunak, kemampuan untuk beradaptasi dengan arsitektur model baru tanpa menunggu tape-out berikutnya, memisahkan silikon yang tetap relevan secara komersial dari silikon yang berputar-putar melalui pilot tanpa pernah menghasilkan pendapatan yang dibutuhkan untuk membiayai generasi berikutnya.

Keputusan yang dibuat sekarang, di tim teknik, perjanjian kemitraan, dan pilot komersial di seluruh lanskap perangkat keras AI, akan menentukan perusahaan mana yang masih relevan pada tahun 2028. Keunggulan CUDA selama dua puluh tahun adalah parit yang dibangun pada kedalaman ekosistem, tetapi setiap perusahaan yang mau memperlakukan perangkat lunak sebagai prioritas teknik yang berkelanjutan dapat membangun kedalaman yang sama seiring waktu.

Pertanyaan yang perlu dijawab industri adalah perusahaan mana yang bergerak cukup cepat untuk membangun kedalaman ekosistem yang membuat chip mereka menjadi pilihan default sebelum chip lain menjadi terlalu mapan untuk digantikan oleh perusahaan lain.