Mengapa Inferensi AI, Bukan Pelatihan, adalah Tantangan Teknik yang Besar Berikutnya

Selama dekade terakhir, sorotan dalam kecerdasan buatan telah dikuasai oleh pelatihan. Pemecahan masalah telah sebagian besar datang dari klaster komputasi besar, model parameter triliun, dan miliaran dolar yang dihabiskan untuk mengajar sistem untuk “berpikir.” Kami telah memperlakukan pengembangan AI secara luas sebagai proyek konstruksi: membangun gedung pencakar langit kecerdasan. Namun, sekarang bahwa gedung pencakar langit ini telah dibangun, tantangan nyata adalah bagaimana memfasilitasi jutaan orang yang perlu hidup dan beroperasi di dalamnya secara bersamaan. Ini memindahkan fokus peneliti AI dan insinyur dari pelatihan (tindakan menciptakan kecerdasan) ke inferensi (tindakan menggunakan kecerdasan). Sementara pelatihan adalah pengeluaran modal besar sekali waktu (CapEx), inferensi adalah pengeluaran operasional yang berkelanjutan (OpEx) yang berlanjut tanpa henti. Ketika perusahaan mengirimkan agen yang melayani jutaan pengguna sepanjang waktu, mereka menemukan kenyataan yang keras: inferensi bukan hanya “pelatihan terbalik.” Ini adalah tantangan teknik yang secara fundamental berbeda dan mungkin lebih sulit.

Mengapa Biaya Inferensi Lebih Penting dari Pada

Untuk memahami tantangan teknik, satu harus pertama-tama memahami imperatif ekonomi yang mendasarinya. Dalam fase pelatihan, ketidakefisienan dapat ditolerir. Jika pelatihan membutuhkan waktu empat minggu bukan tiga minggu, itu adalah gangguan. Dalam inferensi, bagaimanapun, ketidakefisienan dapat menjadi bencana bagi bisnis. Misalnya, melatih model frontier mungkin membutuhkan biaya $100 juta. Namun, mengirimkan model tersebut untuk menjawab 10 juta pertanyaan per hari dapat melampaui biaya tersebut dalam beberapa bulan jika tidak dioptimalkan. Ini adalah alasan mengapa kita menyaksikan pergeseran pasar, dengan investasi inferensi diproyeksikan untuk melampaui investasi pelatihan.

Dinding Memori: Hambatan Sebenarnya

Kebenaran yang tidak banyak diketahui tentang inferensi Model Bahasa Besar (LLM) adalah bahwa itu jarang terbatas oleh komputasi; itu dibatasi oleh memori. Selama pelatihan, kita memproses data dalam batch besar, menjaga unit komputasi GPU sepenuhnya dimanfaatkan. Dalam inferensi, terutama untuk aplikasi waktu nyata seperti chatbot atau agen, permintaan datang secara berurutan. Setiap token yang dihasilkan memerlukan model untuk memuat miliaran parameter dari memori bandwidth tinggi (HBM) ke inti komputasi. Ini adalah “Dinding Memori.” Ini seperti memiliki mesin Ferrari (inti GPU) yang terjebak dalam kemacetan lalu lintas (bandwidth memori yang terbatas).

Frontier Baru Efisiensi AI

Karena kita tidak selalu dapat mengubah perangkat keras, frontier teknik yang akan datang terletak pada optimasi perangkat lunak. Ini adalah tempat di mana beberapa pemecahan masalah paling inovatif saat ini terjadi. Kita menyaksikan kelahiran kembali teknik yang mengubah cara komputer mengimplementasikan dan menjalankan jaringan saraf.

• Pengelompokan Kontinu: Pengelompokan tradisional menunggu “bus” untuk penuh sebelum berangkat, yang memperkenalkan keterlambatan. Pengelompokan kontinu (yang dipelopori oleh kerangka kerja seperti vLLM) bertindak seperti sistem subway, memungkinkan permintaan baru untuk bergabung atau keluar dari kereta pemrosesan GPU pada setiap iterasi. Ini memaksimalkan throughput tanpa mengorbankan keterlambatan, memecahkan masalah penjadwalan yang kompleks yang memerlukan keahlian OS-level yang mendalam.

• Pengodean Spekulatif: Teknik ini menggunakan model kecil, cepat, dan murah untuk menggambar respons, sementara model yang lebih besar, lebih lambat, dan lebih mampu memverifikasi respons tersebut secara paralel. Ini bergantung pada kenyataan bahwa memverifikasi teks jauh menos komputasional daripada menghasilkannya.
• Manajemen Cache KV: Dalam percakapan panjang, “sejarah” (cache Key-Value) tumbuh dengan cepat, mengonsumsi sejumlah besar memori GPU. Insinyur sekarang mengimplementasikan “PagedAttention“, sebuah teknik yang terinspirasi oleh penggunaan memori virtual dalam sistem operasi. Teknik ini memecah memori menjadi fragmen dan mengelolanya secara non-kontinyu.

Kompleksitas Agensi

Jika inferensi standar sulit, AI Agensi membuatnya lebih sulit secara eksponensial. Chatbot standar adalah stateless: Pengguna bertanya, AI menjawab, proses berakhir. AI Agensi, bagaimanapun, memiliki loop. Ini merencanakan, menjalankan alat, mengamati hasil, dan mengulangi. Dari sudut pandang insinyur, ini adalah mimpi buruk. Perubahan arsitektur ini memperkenalkan beberapa tantangan fundamental:

1. Manajemen Status: Mesin inferensi harus mempertahankan “status” proses berpikir agen di seluruh langkah, seringkali selama beberapa menit.
2. Lingkaran Tak Terhingga: Tidak seperti forward pass yang dapat diprediksi, agen dapat terjebak dalam lingkaran penalaran. Membuat “penjaga” dan “pemutus sirkuit” yang kuat untuk kode probabilistik adalah bidang yang sama sekali baru.
3. Komputasi Variabel: Satu pertanyaan pengguna mungkin memicu satu panggilan inferensi, sementara yang lain bisa memicu lima puluh. Mengelola beban dan infrastruktur autoscaling ketika setiap permintaan membawa varians yang ekstrem memerlukan logika orkestrasi yang sama sekali baru.

Kita pada dasarnya bergerak dari “melayani model” ke “mengatur arsitektur kognitif.”

Membawa AI ke Perangkat Sehari-Hari

Akhirnya, batasan energi dan latensi jaringan akan memaksa inferensi ke tepi. Kita tidak dapat mengharapkan setiap bola lampu pintar, kendaraan otonom, atau robot pabrik untuk mengirimkan permintaan mereka melalui pusat data. Tantangan teknik di sini adalah kompresi. Bagaimana Anda memasukkan model yang dipelajari dari internet seluruhnya ke dalam chip yang lebih kecil dari kuku, yang berjalan pada baterai?
Teknik seperti kuantifikasi (mengurangi presisi dari 16-bit ke 4-bit atau bahkan 1-bit) dan distilasi model (mengajar model kecil untuk meniru model besar) menjadi praktik standar. Namun, tantangan nyata adalah mengirimkan model-model ini ke ekosistem yang terfragmentasi dari miliaran perangkat seperti Android, iOS, Linux tertanam, sensor khusus, masing-masing dengan keterbatasan perangkat kerasnya sendiri. Ini adalah “mimpi buruk fragmentasi” pengembangan seluler, dikalikan dengan kompleksitas jaringan saraf.

Garisan Bawah

Kita memasuki era “Hari 2” AI Generatif. Hari 1 adalah tentang menunjukkan bahwa AI dapat menulis puisi. Hari 2 adalah tentang teknik, membuat kemampuan itu lebih dapat diandalkan, terjangkau, dan universal. Insinyur yang akan mendefinisikan dekade berikutnya bukanlah mereka yang menciptakan arsitektur model baru. Mereka adalah insinyur sistem, peretas kernel, dan arsitek infrastruktur yang dapat menemukan cara untuk melayani miliaran token per detik tanpa melelehkan grid daya atau bangkrut perusahaan. Inferensi AI tidak lagi hanya detail runtime. Ini adalah produk. Dan mengoptimalkannya adalah tantangan teknik besar berikutnya.