Cawan Suci Kekuatan Komputasi dalam AI

Meskipun kemajuan luar biasa, kemampuan kecerdasan buatan masih terbatas dibandingkan dengan harapan dunia nyata. Kami membangun model kompleks, menjalankan jaringan saraf, dan menguji algoritma, namun kemajuan terkadang macet di tempat-tempat yang kita harapkan.

Masalahnya seringkali tidak terletak pada algoritma atau data, tetapi pada kekuatan komputasi, sumber daya yang memungkinkan model untuk belajar dan beroperasi pada skala yang diperlukan. Jadi, apa yang terletak di balik hambatan ini? Mari kita lihat sumber daya kritis tanpa yang bahkan proyek AI paling menjanjikan tidak dapat melampaui laboratorium.

Defisit komputasi dan konsekuensinya

Untuk memahami topik ini, mari kita mulai dengan sejarah komunikasi seluler. Ketika jaringan 3G dan kemudian 4G muncul, internet sudah hampir global. Dan ketika 5G diperkenalkan, banyak orang bertanya sebuah pertanyaan yang sangat masuk akal: “Internet akan lebih cepat – tapi apa yang terjadi?”

Pada kenyataannya, peningkatan kecepatan internet tidak hanya terkait dengan kenyamanan pengguna. Ini mengubah seluruh lanskap teknologi. Kasus penggunaan muncul yang sebelumnya tidak mungkin. 5G terbukti jauh lebih cepat dari 4G, dan lompatan ini tidak gradual, seperti lompatan dari 1G ke 2G, tetapi eksponensial. Sebagai hasilnya, aplikasi baru, perangkat, dan kelas teknologi secara keseluruhan dapat muncul.

Kamera lalu lintas, sistem analisis lalu lintas waktu nyata, dan mekanisme regulasi lalu lintas otomatis – semuanya ini menjadi mungkin berkat teknologi komunikasi baru. Polisi mendapatkan cara baru untuk bertukar data, dan di ruang angkasa, teleskop dan satelit dapat mengirimkan jumlah besar informasi ke Bumi. Lompatan kualitatif dalam teknologi dasar mengarah pada pengembangan ekosistem secara keseluruhan.

Prinsip yang sama berlaku untuk kekuatan komputasi. Bayangkan kapasitas komputasi total manusia dalam satuan hipotetis. Hari ini, kita mungkin memiliki, katakanlah, sepuluh satuan seperti itu. Dengan mereka, kita dapat menghasilkan gambar dan video, menulis teks, membuat bahan pemasaran… Ini sudah cukup substantial, tetapi rentang aplikasi terbatas terutama.

Sekarang bayangkan kita memiliki tidak sepuluh, tetapi seribu satuan seperti itu. Tiba-tiba, teknologi yang sebelumnya terlalu mahal menjadi layak, dan startup yang ditinggalkan karena biaya komputasi yang tinggi mulai memiliki makna ekonomis.

Ambil contoh robotaksi, misalnya. Hari ini, mereka sebagian besar bergantung pada komputer lokal yang relatif lemah yang dipasang di kendaraan. Namun, jika umpan video dikirim ke cloud dengan sumber daya komputasi yang besar, data dapat diproses dan dikembalikan dalam waktu nyata. Dan ini sangat kritis: mobil yang bergerak pada 100 km/jam harus membuat keputusan dalam sebagian detik – lurus, belok, rem, atau tidak rem.

Itulah saat industri robotaksi yang benar-benar berfungsi menjadi mungkin, bukan hanya solusi isolasi seperti yang kita lihat hari ini. Setiap komputer lokal yang dipasang di mobil secara inheren terbatas dengan cara yang tidak dilakukan oleh sistem terhubung. Semakin cepat kita dapat menskalakan, semakin cepat dunia di sekitar kita akan berubah.

Akses ke chip dan “tiket emas” di AI

Dalam konteks kekuatan komputasi, pertanyaan muncul: apakah akses ke chip modern menjadi “tiket emas” untuk memasuki pasar AI? Apakah pemain besar yang menandatangani kontrak dengan produsen chip, atau memproduksinya sendiri, menciptakan celah antara perusahaan besar dan semua orang lain?

Celah seperti itu hanya muncul dalam satu kasus: jika model bisnis hanya fokus pada menjual chip kepada klien besar. Dalam prakteknya, produsen seperti NVIDIA bertujuan untuk menyediakan solusi cloud untuk semua orang. Chip mereka yang dioptimalkan tersedia di cloud untuk OpenAI dan pengembang independen.

Bahkan aliansi strategis di antara perusahaan seperti Google, Anthropic, Microsoft, OpenAI, Amazon, dan NVIDIA sebagian besar adalah kemitraan untuk pemanfaatan sumber daya bersama, bukan upaya untuk menutup pasar. Model ini memungkinkan alokasi sumber daya komputasi yang efisien, sehingga mempercepat pengembangan teknologi.

Jika kita melacak rantai penggunaan sumber daya komputasi, itu dimulai dengan pengguna akhir. Misalnya, ketika Anda menggunakan WhatsApp untuk panggilan video dan pesan, perusahaan harus memastikan layanan berfungsi: menyimpan dan memproses data, menjalankan model untuk membersihkan video, menambahkan efek, dan meningkatkan kualitas gambar.

Memelihara server propietary sangat mahal, mereka menjadi usang, dan memerlukan perawatan konstan. Itulah mengapa solusi cloud, “cloud”, muncul. Pasar didominasi oleh tiga pemain: Google Cloud, AWS, dan Microsoft Azure. Perusahaan lain tidak dapat bersaing pada level ini: skala infrastruktur terlalu besar.

Layanan cloud adalah pusat data besar dengan pendingin, catu daya, dan perawatan 24 jam. Mereka menampung server dan chip khusus dari NVIDIA, AMD, dan produsen lain, memungkinkan proses komputasi skala besar.

Di sini kita sampai pada pertanyaan kunci yang saya diskusikan dalam kolom sebelumnya tentang pusat data, dan ingin melanjutkannya di sini: apa yang menjadi bottleneck utama dalam sistem ini? Apakah kekurangan listrik, atau kesulitan pendinginan pusat data di daerah-daerah di mana iklim membuatnya sangat menantang? Pada kenyataannya, rahasia terletak pada chip itu sendiri…

Cawan Suci

Mengapa NVIDIA hari ini dinilai sekitar $5 triliun dan dihitung di antara perusahaan yang paling sukses yang diperdagangkan secara publik di dunia? Alasannya sederhana: NVIDIA memproduksi chip pada mana model AI dilatih dan dijalankan.

Setiap chip ini mengonsumsi jumlah besar listrik ketika melatih model besar atau memproses volume data yang terus tumbuh. Tapi, bagaimana efisien energi itu digunakan? Di sinilah chip khusus memainkan peran; mereka menangani tugas tertentu jauh lebih efisien daripada GPU umum.

Model AI berbeda. OpenAI, misalnya, memiliki satu keluarga model, Anthropic lain. Konsepnya mungkin sama, tetapi struktur matematika dan proses komputasi berbeda. Chip umum, ketika melatih model OpenAI (seperti ChatGPT) versus model Anthropic (seperti Claude), bertindak sebagai “alat satu-ukuran-untuk-semua”, mengonsumsi, katakanlah, 100.000 jam komputasi untuk satu model dan 150.000 untuk yang lain. Efisiensi bervariasi secara signifikan dan jarang optimal.

Perusahaan memecahkan masalah ini dengan memproduksi chip khusus. Misalnya, satu chip dapat dioptimalkan untuk arsitektur ChatGPT dan melatihnya dalam, katakanlah, 20 menit, sementara yang lain disesuaikan dengan arsitektur Anthropic dan juga menyelesaikan pelatihan dalam 20 menit. Konsumsi energi dan waktu pelatihan berkurang beberapa kali lipat dibandingkan dengan chip umum.

Ketika chip-chip ini dijual kepada perusahaan besar, seperti Google, Amazon, Microsoft, atau Azure, mereka ditawarkan sebagai produk mandiri. Pengguna dapat memilih, misalnya, chip yang dioptimalkan untuk model YOLO atau chip yang lebih sederhana dan lebih murah untuk arsitektur Xen. Dengan cara ini, perusahaan mendapatkan akses ke sumber daya komputasi yang tepat untuk tugas-tugas mereka, bukan membeli GPU umum. Jika pengguna memiliki sepuluh fungsi yang berbeda, mereka dapat menggunakan sepuluh chip khusus yang berbeda.

Tren ini jelas: chip khusus secara bertahap menggantikan chip umum. Banyak startup sekarang bekerja dengan ASIC (Application-Specific Integrated Circuits), chip yang dirancang untuk tugas komputasi tertentu. ASIC pertama muncul untuk penambangan Bitcoin: awalnya, cryptocurrency ditambang pada NVIDIA GPU, kemudian chip dibuat khusus untuk Bitcoin dan tidak dapat melakukan tugas lain.

Saya melihat ini dalam praktek: konfigurasi perangkat keras yang sama dapat menghasilkan hasil yang sama sekali berbeda tergantung pada tugas. Di startup saya Introspector, kami mempelajari proses-proses ini dalam proyek-proyek nyata, dan sebagai penasihat strategis Keymakr, saya mengamati bagaimana klien mendapatkan efisiensi dari chip khusus, memungkinkan model untuk berjalan lebih cepat. Proyek-proyek yang sebelumnya terhambat selama pelatihan atau inferensi mencapai hasil yang stabil dengan pendekatan ini.

Namun, spesialisasi yang sempit membawa risiko. Chip yang dioptimalkan untuk arsitektur Anthropic tidak akan bekerja untuk melatih model OpenAI, dan sebaliknya. Setiap arsitektur baru memerlukan generasi baru perangkat keras, menciptakan risiko “penghapusan” besar-besaran. Jika Anthropic merilis arsitektur baru besok, semua chip generasi sebelumnya menjadi tidak efisien atau tidak berguna. Membuat chip baru membutuhkan miliaran dolar dan dapat memakan waktu beberapa tahun.

Ini menciptakan dilema: harus membuat chip khusus yang bekerja dengan sempurna dalam skenario yang sempit, atau terus memproduksi chip umum yang menyelesaikan semua tugas dengan cukup baik tetapi tidak memerlukan penggantian total ketika arsitektur berubah?

Efisiensi dalam konteks ini diukur oleh tiga parameter utama: waktu jalankan, konsumsi listrik, dan generasi panas. Parameter-parameter ini terkait langsung: semakin lama sistem berjalan, semakin banyak energi yang dikonsumsi dan semakin banyak panas yang dihasilkan. Mengurangi satu parameter secara otomatis memperbaiki dua parameter lainnya.

Di sinilah “cawan suci” kinerja AI: jika setidaknya satu dari metrik efisiensi dasar dapat dioptimalkan, metrik lain hampir secara otomatis membaik juga.

Proses Berkelanjutan

Dengan meningkatnya penggunaan chip khusus, masalah risiko kelebihan produksi menjadi mendesak. Saat ini, kelebihan peralatan sudah cukup signifikan, dan perusahaan mengatasi masalah ini dengan berbagai cara berkelanjutan, termasuk penggunaan kembali sumber daya yang ada.

Daur ulang peralatan telah menjadi elemen kunci dalam pengembangan berkelanjutan di industri teknologi tinggi. Chip mengandung jumlah besar logam mulia dan logam dasar, emas, tembaga, aluminium, paladium, dan bahan langka, serta bahan yang digunakan dalam mikrochip dan transistor. Ketika peralatan menjadi usang, sumber daya berharga ini dapat dikembalikan ke produksi, mengurangi biaya komponen baru sambil mengurangi jejak lingkungan industri.

Beberapa pabrik khusus dan perusahaan fokus pada daur ulang dan ekstraksi logam mulia dari komponen yang sudah tidak terpakai. Misalnya, beberapa fasilitas menggunakan proses hidrometalurgi dan metode kimia canggih untuk mengekstrak emas dan tembaga dengan tingkat kemurnian tinggi, memungkinkan bahan-bahan ini untuk digunakan kembali dalam chip baru.

Selain itu, perusahaan mengimplementasikan model loop tertutup, di mana peralatan lama ditingkatkan atau diintegrasikan ke dalam solusi baru, sehingga mengurangi kebutuhan akan ekstraksi sumber daya primer. Pendekatan seperti ini tidak hanya membantu meminimalkan limbah tetapi juga mengurangi jejak karbon produksi, karena penambangan dan pengolahan logam tradisional memerlukan energi yang signifikan.

Pengelolaan berkelanjutan dari siklus hidup chip dan peralatan dapat menjadi standar industri, di mana kemajuan teknologi selaras dengan tanggung jawab lingkungan.