Apa Itu Jaringan Saraf Transformer?

Transformer adalah arsitektur jaringan saraf yang memproses hubungan antar token menggunakan mekanisme attention. Tidak seperti jaringan berulang yang harus meneruskan status tersembunyi dari satu posisi ke posisi berikutnya, transformer dapat menghitung banyak interaksi token‑ke‑token secara paralel selama pelatihan.

Transformer mendukung banyak sistem bahasa, visi, audio, dan multimodal, namun arsitekturnya bukanlah basis data atau jaminan penalaran. Output‑nya tetap berupa prediksi yang bergantung pada parameter yang dipelajari, konteks yang diberikan, dan prosedur dekoding.

Poin-poin utama

• Self‑attention memungkinkan setiap token membangun representasi yang bergantung pada konteks dari token lain yang diizinkan.
• Informasi posisi ditambahkan karena attention saja tidak menyandi urutan token.
• Transformer encoder‑only, decoder‑only, dan encoder‑decoder melayani tujuan yang berbeda.
• Panjang konteks, komputasi, data pelatihan, dan evaluasi—bukan hanya attention—menentukan kemampuan dan keandalan.

Token, embedding, dan posisi

Teks pertama‑tama dibagi menjadi token, yang dapat berupa kata, sub‑kata, atau karakter. Setiap ID token memilih vektor embedding yang dipelajari. Transformer visi dapat menggantikan dengan meng‑embed patch gambar; transformer audio dapat meng‑embed frame atau unit akustik yang dipelajari.

Karena operasi attention dasar bersifat permutasi‑ekuivarian, model memerlukan informasi posisi. Implementasi dapat menambahkan encoding posisi yang dipelajari atau tetap, atau mengubah skor attention dengan skema posisi relatif atau rotary. Hasilnya menggabungkan apa token itu dengan di mana ia muncul.

Skala dot-product dan perhatian multi‑kepala

Untuk setiap posisi, proyeksi yang dipelajari menghasilkan query, key, dan value. Kesamaan antara query dan key yang diizinkan menghasilkan bobot attention; nilai‑nilai berbobot tersebut membentuk output. Menskalakan dot product membantu menjaga softmax tetap stabil secara numerik seiring pertambahan dimensi vektor.

Attention multi‑kepala mengulangi operasi ini dalam beberapa sub‑ruang yang dipelajari. Kepala yang berbeda dapat berspesialisasi pada hubungan yang berbeda, meskipun pola attention yang menarik secara visual tidak otomatis menjadi penjelasan yang akurat atas keputusan model.

Blok transformer

Sublayer attention diikuti oleh jaringan feed‑forward berbasis posisi. Koneksi residual membawa representasi sebelumnya melewati setiap sublayer, sementara normalisasi dan regularisasi mendukung optimisasi. Menumpuk banyak blok membangun fitur yang semakin kontekstual melalui pembelajaran mendalam.

Selama generasi kausal, masker mencegah suatu posisi membaca token masa depan. Pada saat inferensi, decoder memprediksi satu token, menambahkannya, dan mengulangi proses. Cache key‑value menghindari perhitungan ulang setiap proyeksi attention sebelumnya, mengurangi tetapi tidak menghilangkan biaya generasi.

Keluarga encoder, decoder, dan encoder‑decoder

Model encoder‑only mempelajari representasi bidirectional yang cocok untuk klasifikasi, penelusuran, dan pelabelan token. Model decoder‑only menggunakan attention kausal untuk generasi token berikutnya. Model encoder‑decoder memungkinkan decoder memperhatikan input yang telah di‑encode, yang berguna untuk terjemahan dan tugas sequence‑to‑sequence lainnya.

Sistem modern sering dimulai dengan pretraining yang luas, kemudian menggunakan transfer learning, penyetelan instruksi, atau optimisasi preferensi. Arsitektur yang sama dapat mendukung perilaku yang sangat berbeda tergantung pada tujuan dan data yang digunakan.

Batas, efisiensi, dan evaluasi

Attention penuh pada sebuah urutan memiliki interaksi berpasangan kuadratik terhadap panjang urutan, yang menimbulkan tekanan memori dan komputasi. Attention spars atau linear, chunking, retrieval, kuantisasi, dan caching menyeimbangkan akurasi, akses konteks, latensi, dan kompleksitas implementasi.

Jendela konteks yang lebih besar tidak menjamin setiap fakta yang diberikan akan digunakan dengan benar. Evaluasilah faktualitas, ketahanan, kalibrasi, latensi, biaya, dan mode kegagalan spesifik tugas. Untuk sistem interaktif, prompt engineering dapat membentuk perilaku, namun tidak dapat mengubah model probabilistik menjadi sumber yang tak pernah salah.

Komputasi transformer dari token ke konteks

Transformer memetakan token ke vektor, menambahkan informasi posisi, dan melewatkannya melalui blok attention dan feed‑forward yang berulang. Dalam self‑attention, proyeksi yang dipelajari menghasilkan query, key, dan value. Scaled dot product membandingkan setiap query dengan key, softmax menghasilkan bobot, dan nilai berbobot membentuk konteks. Beberapa kepala belajar ruang proyeksi yang berbeda. Koneksi residual dan normalisasi menstabilkan tumpukan yang dalam, sementara jaringan feed‑forward mengubah setiap token secara independen di antara lapisan attention.

Model encoder‑only menggunakan konteks bidirectional dan cocok untuk tugas klasifikasi atau representasi. Model decoder‑only menerapkan masker kausal sehingga setiap posisi memprediksi dari token sebelumnya dan mendominasi pemodelan bahasa generatif. Model encoder‑decoder memungkinkan decoder memperhatikan input yang telah di‑encode untuk terjemahan dan generasi terstruktur. Biaya attention meningkat secara kuadratik dengan panjang urutan dalam bentuk standar, mendorong alternatif spars, linear, chunked, recurrent, dan state‑space. Konteks yang lebih panjang meningkatkan bukti yang tersedia, bukan jaminan ingatan atau penalaran.

Pelatihan, adaptasi, dan inferensi

Tujuan pretraining meliputi prediksi token berikutnya, rekonstruksi token yang dimask, dan korupsi sequence‑to‑sequence. Campuran data, deduplikasi, tokenizer, pengemasan konteks, optimizer, jadwal, dan kapasitas komputasi memengaruhi kemampuan. Fine‑tuning dapat memperbarui semua parameter atau menggunakan adaptor dan metode low‑rank; penyetelan instruksi dan preferensi mengubah perilaku. Retrieval seringkali lebih baik untuk fakta yang berubah, sementara tuning berguna untuk format dan perilaku tugas. Simpan set evaluasi yang tidak diubah dan uji kontaminasi dari benchmark publik.

Inferensi autoregressive menyimpan proyeksi key‑value untuk token sebelumnya guna menghindari perhitungan ulang. Latensi bergantung pada pemrosesan prompt dan dekoding berurutan; throughput bergantung pada batching, memori, manajemen cache, presisi, dan perangkat keras. Metode greedy, temperature, top‑k, top‑p, dan beam menyeimbangkan determinisme dan keragaman. Kuantisasi mengurangi memori tetapi dapat memengaruhi kemampuan langka. Validasilah model, tokenizer, templat prompt, sampler, dan runtime yang tepat pada panjang urutan yang realistis.

Evaluasi dan kontrol

Transformer dapat berhalusinasi, mengikuti instruksi berbahaya yang di‑retrieve, mengungkap data yang diingat, atau menurun kualitasnya pada berbagai bahasa dan konteks panjang. Evaluasilah keberhasilan tugas, dukungan faktual, kalibrasi, penolakan, ketahanan, keamanan, latensi, dan biaya; periksa bukti dan tindakan alat secara terpisah. Gunakan retrieval yang sadar izin, alat bertipe, otorisasi eksternal, batas laju, dan persetujuan manusia untuk tindakan yang konsekuensial. Pantau versi model dan prompt, distribusi input, kesalahan alat, dan koreksi pengguna. Transformer adalah arsitektur untuk komputasi urutan, bukan bukti pemahaman atau jaminan output yang benar.

Contoh kerja: asisten dokumen berbasis transformer

Sebuah perusahaan mengindeks manual yang disetujui dengan ID dokumen, versi, bagian, izin, dan tanggal berlaku. Asisten berbasis transformer mengambil dan mererank bukti, kemudian menjawab hanya dari bagian yang diizinkan dengan sitasi. Set evaluasi mencakup pertanyaan yang dapat dijawab, tidak dapat dijawab, ambigu, dan bertentangan di berbagai peran dan tipe dokumen. Recall retrieval, presisi sitasi, kebenaran jawaban berlandaskan, penolakan, perilaku konteks panjang, latensi, dan biaya dinilai secara terpisah.

Dokumen yang di‑retrieve diperlakukan sebagai data tidak tepercaya, sehingga instruksi yang tertanam tidak dapat mengesampingkan kebijakan sistem atau mengotorisasi alat. Pengguna melakukan otentikasi sebelum retrieval, dan tindakan konsekuensial tetap berada di luar model. Log menyimpan ID bukti dan versi tanpa konten dokumen yang tidak perlu. Pemantauan mendeteksi perubahan korpus, jawaban yang tidak didukung, kesalahan izin, dan koreksi pengguna. Perubahan model atau tokenizer dijalankan kembali terhadap set tes lengkap, dan konfigurasi sebelumnya tetap tersedia sampai sistem baru menunjukkan keamanan dan kualitas yang setara atau lebih baik.

Bukti implementasi dan kesiapan operasional

Keputusan produksi memerlukan lebih dari sekadar demonstrasi yang berhasil. Tentukan pengguna yang ditargetkan, lingkungan operasional, masukan, keluaran, ketergantungan, pemilik, dan konsekuensi dari setiap kegagalan penting. Bangun baseline yang dapat direproduksi dan set evaluasi berversi sebelum penyetelan. Uji kasus biasa, kondisi batas, masukan yang rusak atau hilang, pergeseran distribusi, kegagalan ketergantungan, penyalahgunaan, serta kelompok atau lingkungan yang paling mungkin kurang terlayani. Ukur kualitas tugas bersama dengan kalibrasi atau ketidakpastian, latensi, throughput, biaya sumber daya, aksesibilitas, privasi, dan keamanan. Catat setiap transformasi dan ambang batas sehingga peninjau independen dapat mereproduksi hasil dan membedakan bukti dari prototipe yang menarik.

Sebelum peluncuran, tetapkan otoritas untuk rilis, pengecualian, perubahan, rollback, dan pensiun. Gunakan peluncuran bertahap, pertahankan fallback yang aman, dan verifikasi pemantauan dengan kegagalan yang sengaja disuntikkan. Telemetri operasional harus mengungkap kualitas input, perilaku output, versi model atau aturan, kesehatan ketergantungan, intervensi manusia, dan hasil yang dikonfirmasi tanpa mengumpulkan data sensitif yang tidak diperlukan. Tentukan ambang batas peringatan dan pemilik respons, kemudian tinjau bukti dunia nyata setelah penerapan daripada mengasumsikan kinerja offline akan tetap. Evaluasi kembali setiap kali sumber data, pengguna, model, vendor, kebijakan, perangkat keras, atau tujuan berubah. Sistem yang dipelihara juga memerlukan prosedur pemulihan terdokumentasi, pembelajaran insiden, penghapusan dan retensi, serta titik yang jelas di mana sistem harus dinonaktifkan atau diganti.

Pertanyaan yang sering diajukan

Apakah setiap model bahasa besar adalah transformer?

Kebanyakan model bahasa besar saat ini menggunakan varian transformer, namun model bahasa dapat dibangun dengan arsitektur berulang, state‑space, atau hibrida.

Apakah self‑attention berarti model memahami teks seperti manusia?

Tidak. Attention adalah mekanisme pemberian bobot yang dipelajari. Perilaku bahasa yang mirip manusia tidak dengan sendirinya menjamin pemahaman, kejujuran, atau niat yang serupa dengan manusia.

Referensi utama

• Vaswani et al.: Attention Is All You Need
• Devlin et al.: BERT
• Brown et al.: Language Models are Few-Shot Learners