Dinding GPU Mulai Retak: Revolusi Tidak Terlihat dalam Arsitektur Pasca-Transformer

Selama lima tahun terakhir, industri kecerdasan buatan telah secara efektif sinonim dengan satu kata: Transformer. Sejak rilis paper seminal “Attention Is All You Need” pada 2017, arsitektur ini telah menguasai bidang. Dari GPT hingga Claude, hampir setiap model yang membuat headline bergantung pada mekanisme yang sama dari self-attention. Kami telah menganggap bahwa jalur untuk AI yang lebih baik adalah hanya masalah skala. Dalam praktik, ini berarti melatih Transformer yang lebih besar dengan lebih banyak data pada klaster GPU yang lebih besar.

Sementara keyakinan ini telah menghasilkan banyak kemajuan, sekarang telah mencapai batasnya. Kami sedang menghadapi “Dinding GPU,” sebuah hambatan tidak hanya dari daya komputasi murni, tetapi juga dari bandwidth memori dan keberlanjutan ekonomi. Sementara dunia memfokuskan pada perlombaan untuk model dengan parameter triliun, pergeseran radikal sedang terjadi di laboratorium penelitian. Gelombang baru “arsitektur Pasca-Transformer” sedang muncul untuk menghancurkan keterbatasan paradigma saat ini. Pergeseran ini berjanji untuk membuat AI lebih efisien, dapat diakses, dan mampu bernalar atas konteks tak terhingga.

Dinding Silikon: Mengapa Transformer Menghadapi Hambatan

Untuk memahami mengapa kita perlu pergeseran, kita pertama-tama perlu memahami bottleneck dari rezim saat ini. Transformer sangat kuat, tetapi mereka juga sangat tidak efisien dalam cara-cara tertentu. Inti kemampuan mereka terletak pada “mekanisme perhatian,” yang memungkinkan model untuk melihat setiap token dalam sebuah urutan dan menghitung hubungannya dengan setiap token lain. Ini yang memberi mereka kemampuan untuk memahami konteks dengan luar biasa baik.

Namun, kemampuan ini datang dengan kelemahan fatal dari skala kuadrat. Jika Anda menggandakan panjang dokumen yang ingin AI baca, pekerjaan komputasi yang diperlukan tidak hanya menggandakan, tetapi melipatgandakan. Ketika kita berusaha untuk model “konteks tak terhingga” yang dapat membaca perpustakaan atau basis kode secara keseluruhan, tuntutan komputasi menjadi sangat tinggi.

Tapi masalah yang lebih langsung adalah memori, khususnya “KV Cache” (Key-Value Cache). Untuk menghasilkan teks yang lancar, sebuah Transformer harus menyimpan riwayat berjalan dari semua yang telah dikatakan dalam memori berkecepatan tinggi GPU (VRAM). Ketika percakapan memanjang, cache ini membengkak, mengonsumsi jumlah memori yang besar hanya untuk mengingat apa yang terjadi tiga paragraf yang lalu.

Ini menciptakan “Dinding GPU.” Kami tidak hanya kehabisan chip; kami kehabisan bandwidth memori untuk memberi mereka makan. Kami telah membangun mesin yang semakin besar, tetapi mereka menjadi mustahil untuk diisi bahan bakar. Selama waktu yang lama, solusi industri adalah dengan membeli lebih banyak NVIDIA H100 (NVDA ). Tapi kekuatan ini telah mencapai titik pengembalian yang menurun. Kami tidak memerlukan mesin yang mengonsumsi bahan bakar secara kuadrat tetapi arsitektur baru.

Revolusi Tidak Terlihat

Sementara penelitian mainstream telah fokus pada LLM, sekelompok peneliti telah mengunjungi kembali ide lama: Recurrent Neural Networks (RNN). Sebelum Transformer, RNN adalah standar untuk bahasa. Mereka memproses teks secara berurutan, kata demi kata, memperbarui keadaan internal tersembunyi saat mereka berjalan. Mereka sangat efisien karena mereka tidak perlu melihat kembali sejarah keseluruhan, mereka hanya membawa “intisari” dari itu dalam memori mereka.

RNN gagal karena mereka tidak dapat menangani ketergantungan panjang; mereka akan “melupakan” awal kalimat oleh waktu mereka mencapai akhir. Mereka juga lambat untuk dilatih karena Anda tidak bisa memparalelisasikan mereka. Ini berarti Anda harus memproses kata A sebelum Anda bisa memproses kata B. Transformer menyelesaikan ini dengan memproses semuanya sekaligus (paralelisasi) dan menyimpan semuanya dalam memori (perhatian).

Sekarang, kita sedang menyaksikan munculnya arsitektur yang menggabungkan kelebihan dari kedua dunia. Arsitektur ini dikenal sebagai State Space Models (SSM). Mereka menawarkan kecepatan pelatihan Transformer (paralelisasi) tetapi efisiensi inferensi RNN (skala linier).

Salah satu arsitektur terkemuka dalam gelombang baru ini adalah Mamba. Dirilis pada akhir 2023 dan diperbarui sepanjang 2024, Mamba adalah pergeseran mendasar dalam cara model menangani informasi. Tidak seperti Transformer, yang menyimpan salinan asli dari setiap kata yang pernah dilihat dalam buffer memori, Mamba menggunakan “ruang keadaan selektif.”

Kita dapat memahami perbedaan antara Transformer dan Mamba dengan membayangkan Transformer sebagai seorang sarjana yang menyimpan setiap buku yang pernah dibaca terbuka di atas meja besar, terus-menerus memindai kembali dan ke depan untuk menemukan koneksi. Mamba, di sisi lain, adalah seorang sarjana yang membaca buku sekali dan mengompresi wawasan kunci ke dalam catatan yang sangat efisien. Ketika Mamba menghasilkan kata berikutnya, itu tidak perlu melihat kembali teks asli; itu melihat ke catatannya yang terkompresi.

Perbedaan ini mengubah ekonomi penerapan AI. Dengan Mamba dan arsitektur serupa seperti RWKV (Receptance Weighted Key Value), biaya menghasilkan teks tidak meledak ketika urutan memanjang. Anda dapat secara teoretis memberi makan model ini dengan sejuta kata konteks, dan biaya komputasi untuk menghasilkan token berikutnya tetap sama seperti jika Anda memberinya sepuluh kata.

Kembalinya Keterulangan

Pemecahan teknis di balik Mamba adalah “selektivitas.” Upaya sebelumnya untuk memodernisasi RNN gagal karena mereka terlalu kaku. Mereka mengompresi informasi secara merata, tanpa memandang apakah itu penting atau noise. Mamba memperkenalkan mekanisme yang memungkinkan model untuk secara dinamis memutuskan apa yang harus diingat dan apa yang harus dilupakan saat mengalirkan data.

Jika model mendapatkan informasi penting, seperti definisi variabel dalam blok kode, itu “membuka gerbang” dan menulisnya kuat ke dalam keadaannya. Jika itu menghadapi kata-kata pengisi atau noise yang tidak relevan, itu menutup gerbang, melestarikan kapasitas memori terbatas untuk apa yang penting.

Selektivitas ini secara efektif menyelesaikan masalah “pelupa” yang menantang RNN yang lebih tua. Dalam banyak tes, model berbasis Mamba mencocokkan kinerja Transformer dengan ukuran yang sama tetapi berjalan hingga lima kali lebih cepat selama inferensi. Lebih penting lagi, jejak memori mereka jauh lebih kecil. Ini membuka pintu untuk LLM berkinerja tinggi yang dapat berjalan pada perangkat yang sebelumnya dianggap tidak mampu menanganinya, seperti laptop, jaringan edge-computing, atau bahkan smartphone, tanpa mengalihkannya ke cloud.

Kita juga sedang menyaksikan munculnya Hyena, sebuah arsitektur sub-kuadrat lain yang menggunakan konvolusi panjang untuk memproses data. Seperti Mamba, Hyena bertujuan untuk menghilangkan lapisan “perhatian” berat dari Transformer dan menggantinya dengan operasi matematika yang jauh lebih murah untuk dieksekusi oleh perangkat keras. Model ini telah mulai menantang pendahulu Transformer di papan pemimpin utama.

Munculnya Hibrider

Revolusi, bagaimanapun, mungkin tidak sepenuhnya menggantikan Transformer, tetapi lebih kepada evolusi ke dalam bentuk hibrida. Kita sudah menyaksikan munculnya model seperti Jamba (dari AI21 Labs), yang menggabungkan lapisan Transformer dengan lapisan Mamba.

Pendekatan hibrida ini menawarkan cara praktis untuk mengatasi keterbatasan Transformer. Transformer tetap sangat kuat dalam tugas-tugas tertentu, terutama untuk menyalin detail presisi dari konteks. Dengan menggabungkan lapisan Mamba (yang menangani sebagian besar pemrosesan data dan memori jangka panjang) dengan beberapa lapisan perhatian Transformer (yang menangani penalaran tajam dan segera), kita mendapatkan model yang menggabungkan kelebihan dari kedua dunia.

Model hibrida menciptakan jendela konteks yang sangat besar yang sebenarnya dapat digunakan. Saat ini, banyak “konteks panjang” Transformer mengklaim dapat menangani 100.000 token, tetapi kinerjanya memburuk dengan cepat ketika konteks terisi. Fenomena ini dikenal sebagai “hilang di tengah.” Arsitektur hibrida mempertahankan kohesi mereka jauh lebih baik selama jarak panjang karena lapisan SSM dirancang khusus untuk mengompresi dan membawa keadaan seiring waktu.

Pengembangan ini menggeser fokus industri dari “Komputasi Pelatihan” (berapa besar klaster yang dibutuhkan untuk membangun model?) ke “Ekonomi Inferensi” (berapa murahnya saya dapat menyajikan model ini kepada seorang pengguna?). Jika model hibrida dapat menyajikan pengguna dengan biaya 10% dari biaya Transformer, kasus bisnis untuk aplikasi AI berubah dalam semalam.

Masa Depan Penerapan AI

Implikasi dari revolusi pasca-Transformer ini tidak terbatas pada pusat data. Dinding GPU secara historis telah berfungsi sebagai penjaga gerbang, memastikan bahwa hanya raksasa teknologi terbesar dengan miliaran dolar dalam perangkat keras yang dapat membangun dan menjalankan model mutakhir. Arsitektur yang efisien seperti Mamba dan RWKV mendemokratisasikan kekuatan ini. Jika Anda dapat menjalankan model GPT-4 tingkat pada kartu konsumen karena Anda tidak lagi memerlukan terabyte VRAM untuk cache Key-Value, kontrol terpusat AI mulai longgar. Kita bisa melihat kebangkitan kembali agen AI lokal, pribadi yang hidup sepenuhnya di komputer Anda, memproses data pribadi tanpa pernah mengirimkan paket ke cloud.

Lebih lanjut, efisiensi ini adalah kunci untuk membuka kunci “Agentic AI” sistem yang berjalan di latar belakang selama berjam-jam atau berhari-hari untuk menyelesaikan tugas kompleks. Transformer saat ini terlalu mahal dan lambat untuk dijalankan dalam loop kontinu selama periode panjang. Arsitektur yang efisien dan linier dapat “berpikir” dan memproses loop terus-menerus tanpa bangkrut pengguna atau memanaskan perangkat keras secara berlebihan.

Ringkasan

Transformer telah mendominasi headline AI, tetapi di balik layar, revolusi sunyi sedang berlangsung. Dinding GPU mendorong peneliti untuk memikirkan kembali bagaimana model menangani memori dan komputasi. Arsitektur pasca-Transformer seperti Mamba dan model hibrida membuktikan bahwa efisiensi, bukan hanya skala, akan mendefinisikan era berikutnya. Inovasi ini membuat jendela konteks besar menjadi praktis, inferensi lebih murah, dan AI canggih dapat diakses di luar pusat data. Masa depan AI terletak tidak pada model yang lebih besar, tetapi pada model yang lebih pintar yang mengingat, bernalar, dan menskala dengan efisien. hybrid models are proving that efficiency, not just scale, will define the next era. These innovations make massive context windows practical, inference cheaper, and advanced AI accessible beyond data centers. The future of AI lies not in bigger models, but in smarter ones that remember, reason, and scale efficiently.