Model dan platform AI

AWS Menghadirkan Pelatihan Seluruh Bobot untuk Kustomisasi SageMaker Tanpa Server

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaFine-tuning penuh memperbarui setiap bobot sementara LoRA membekukan bobot terlatih dan…
Lihat selengkapnya
  • Fine-tuning penuh memperbarui setiap bobot sementara LoRA membekukan bobot terlatih dan menyisipkan adaptor peringkat rendah.
  • Tingkat pembelajaran agresif sebesar 5e-5 atau lebih tinggi menyebabkan lupa katastrofik dengan akurasi MMLU turun menjadi 3,6%.
  • Operasi serverless menghilangkan pengelolaan infrastruktur tetapi tidak mengurangi jumlah bobot yang dilatih.

Amazon Web Services mengumumkan pada 18 November 2026 dukungan penyetelan halus penuh (FFT) untuk SageMaker AI Serverless Model Customization, serta melaporkan ketepatan semantik sebesar 90,0% dalam eksperimen pemrograman yang menggunakan lebih dari 100.000 contoh pelatihan, sembari mengingatkan bahwa pengaturan yang terlalu agresif menyebabkan penurunan tajam pada pengetahuan umum.

Pelanggan menyediakan model dasar, set data, dan hiperparameter; layanan ini mengalokasikan sumber daya komputasi dan mengelola pos pemeriksaan tanpa mengharuskan penyediaan GPU, penyiapan klaster, atau konfigurasi pelatihan terdistribusi. Dalam contoh SageMaker Python SDK dari AWS, mengganti metode berarti mengganti TrainingType.FULL dengan TrainingType.LORA, sementara konfigurasi tugas lainnya tetap sama.

FFT memperbarui setiap bobot model. Sebaliknya, LoRA membekukan bobot pralatih dan menyisipkan matriks adaptor berperingkat rendah, sehingga mengurangi kebutuhan kapasitas GPU tetapi membatasi pembaruan pada ruang representasi yang lebih kecil. Menurut penjelasan AWS, pelatihan berperingkat penuh dapat menangkap adaptasi domain yang lebih kompleks seiring bertambahnya ukuran set data, alih-alih sekadar meningkatkan jumlah parameter yang dapat dilatih.

Uji Pemrograman Terkontrol

AWS membandingkan kedua metode dengan menyetel halus model dasar Qwen3-4B secara terawasi (SFT), menggunakan perintah, target, dan kode evaluasi yang sama. Set data Magicoder-Evol-Instruct-110K menyediakan pasangan instruksi dan respons pemrograman yang mencakup perancangan algoritme, penelusuran kesalahan, struktur data, dan pemrograman sistem. Data dibagi menjadi 99.000 catatan untuk pelatihan, 5.500 untuk validasi, dan 5.500 untuk set pengujian yang disisihkan.

Evaluasi memisahkan kinerja tugas dari retensi pengetahuan. Amazon Nova Pro berperan sebagai penilai LLM, membaca kode yang dihasilkan beserta perintah aslinya untuk menilai kebenaran logis. PRIMECODE mengukur kemiripan dengan solusi acuan menggunakan metrik BLEU, ROUGE-1/2/L, dan F1 yang deterministik, sementara MMLU menguji pengetahuan umum dalam 57 bidang akademik.

AWS melaporkan bahwa skor ketepatan semantiknya mencapai puncak pada tiga epoch dan bahwa pelatihan yang lebih lama menurunkan kinerja setiap varian yang diuji. Perbandingan radar AWS menempatkan FFT di atas LoRA dan model dasar pada setiap dimensi kualitas yang ditampilkan, dengan keunggulan terbesar pada BLEU dan ROUGE-2. Hal ini menunjukkan bahwa perbedaannya tidak terbatas pada satu metrik.

AWS mengatakan bahwa pihaknya menjalankan puluhan eksperimen kustomisasi pada beberapa model dasar, dengan memvariasikan laju pembelajaran, ukuran batch, rasio pemanasan, jumlah epoch, dan skala set data; setiap proses, dari pengiriman tugas hingga evaluasi, memerlukan waktu beberapa jam. Model yang dihasilkan otomatis didaftarkan sebagai Paket Model berversi di SageMaker Model Registry untuk ditinjau atau diterapkan.

Risiko Hilangnya Pengetahuan dalam Penyetelan Halus Penuh

AWS mengingatkan bahwa FFT tidak selalu lebih unggul: baik FFT maupun LoRA memiliki hasil di bawah model dasar pada metrik kecocokan persis MATH, dan perbandingan terpisah dengan LLM sebagai penilai mengunggulkan LoRA dengan skor 81,5%, dibandingkan 79,5% untuk FFT.

Laju pembelajaran yang terlalu agresif menyebabkan penurunan tajam. Pada 5e-5 atau lebih tinggi, skor MATH turun menjadi 2–3% dan akurasi MMLU menjadi 3,6% dalam pengujian AWS. Ini merupakan bukti terjadinya kehilangan pengetahuan katastrofik—hilangnya kemampuan yang lebih luas ketika pelatihan khusus domain menimpa pengetahuan pralatih. Peta risikonya menunjukkan bahwa 2e-5 merupakan pengaturan yang lebih aman untuk set data besar; di antara konfigurasi yang diuji, pengaturan dasar yang menggabungkan laju tersebut dengan pemanasan 5% dan ukuran batch global 8 paling baik mempertahankan pengetahuan umum berdasarkan pengukuran MMLU.

Ukuran batch juga memengaruhi retensi. Pada laju pembelajaran tetap, batch yang lebih kecil menghasilkan pembaruan yang lebih bising, yang efeknya menyerupai laju pembelajaran lebih tinggi dan meningkatkan risiko kehilangan pengetahuan. Batch yang lebih besar mengurangi kebisingan, tetapi juga mengurangi jumlah langkah optimasi sehingga model berpotensi kurang terlatih.

Kompromi dalam Penerapan

Menurut daftar model yang didukung AWS, SFT dengan FFT tersedia untuk model dengan bobot terbuka, termasuk DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B, dan NVIDIA Nemotron 3 Nano 30B (A3B).

Dokumentasi FFT menyebutkan bahwa metode ini menggunakan format set data yang sama dengan LoRA, tetapi memerlukan lebih banyak komputasi dan waktu pelatihan yang lebih lama, menghasilkan artefak berukuran lebih besar yang memuat bobot model lengkap, serta tidak kompatibel dengan kustomisasi berkelanjutan. Metode ini juga menghilangkan beban tambahan adaptor saat inferensi.

Operasi tanpa server mengubah pihak yang mengalokasikan infrastruktur dan mengelola pos pemeriksaan; operasi ini tidak mengurangi jumlah bobot yang dilatih. Karena itu, peluncuran ini memudahkan pelaksanaan kustomisasi yang lebih mendalam, sementara pertimbangan biaya komputasi dan kualitasnya tetap bergantung pada apakah peningkatan khusus tugas sepadan dengan pelatihan yang lebih berat dan kemungkinan hilangnya kemampuan yang lebih luas.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.