Llama 2: Penelitian Mendalam tentang Tantangan Open-Source untuk ChatGPT

Model Bahasa Besar (LLM) yang mampu menyelesaikan tugas penalaran kompleks telah menunjukkan janji di domain khusus seperti pemrograman dan penulisan kreatif. Namun, dunia LLM tidak hanya sebuah surga plug-and-play; ada tantangan dalam kegunaan, keamanan, dan tuntutan komputasi. Dalam artikel ini, kita akan meneliti kemampuan Llama 2 secara mendalam, sambil menyediakan panduan terperinci untuk mengatur model LLM ini melalui Hugging Face dan T4 GPUs di Google Colab.

Dikembangkan oleh Meta dengan kemitraan dengan Microsoft (MSFT ), model bahasa besar open-source ini bertujuan untuk mendefinisikan kembali ranah AI generatif dan pemahaman bahasa alami. Llama 2 tidak hanya sebuah model statistik yang dilatih pada terabyte data; itu adalah perwujudan dari sebuah filosofi. Filosofi yang menekankan pendekatan open-source sebagai tulang punggung pengembangan AI, terutama di ruang AI generatif.

Llama 2 dan versi dialog-optimasinya, Llama 2-Chat, dilengkapi dengan hingga 70 miliar parameter. Mereka menjalani proses fine-tuning yang dirancang untuk memposisikan mereka secara dekat dengan preferensi manusia, membuat mereka lebih aman dan efektif daripada model lain yang tersedia untuk umum. Tingkat granularitas dalam fine-tuning ini sering kali dicadangkan untuk model LLM “produk” tertutup, seperti ChatGPT dan BARD, yang tidak umum tersedia untuk pemeriksaan atau kustomisasi publik.

Penelitian Mendalam tentang Llama 2

Untuk melatih model Llama 2; seperti pendahulunya, itu menggunakan arsitektur transformer auto-regresif, pra-dilatih pada korpus data self-supervised yang luas. Namun, itu menambahkan lapisan kesophistikasian dengan menggunakan Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF) untuk lebih memposisikan perilaku manusia dan preferensi. Ini komputasional mahal tetapi penting untuk meningkatkan keamanan dan efektivitas model.

Arsitektur Pelatihan Meta Llama 2

Pra-Pelatihan & Efisiensi Data

Inovasi dasar Llama 2 terletak pada rezim pra-pelatihannya. Model ini mengambil petunjuk dari pendahulunya, Llama 1, tetapi memperkenalkan beberapa peningkatan penting untuk meningkatkan kinerjanya. Terutama, peningkatan 40% dalam jumlah total token yang dilatih dan perluasan dua kali lipat dalam panjang konteks menonjol. Selain itu, model ini menggunakan perhatian grup-kueri (GQA) untuk memperkuat skalabilitas inferensi.

Fine-Tuning Terawasi (SFT) & Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF)

Llama-2-Chat telah difine-tuning secara ketat menggunakan SFT dan RLHF. Dalam konteks ini, SFT berfungsi sebagai komponen integral dari kerangka RLHF, memperbaiki respons model untuk memposisikan secara dekat dengan preferensi dan harapan manusia.

OpenAI telah menyediakan ilustrasi yang mendalam yang menjelaskan metodologi SFT dan RLHF yang digunakan dalam InstructGPT. Mirip dengan LLaMa 2, InstructGPT juga menggunakan teknik pelatihan lanjutan ini untuk mengoptimalkan kinerja modelnya.

Langkah 1 dalam gambar di bawah ini fokus pada Fine-Tuning Terawasi (SFT), sementara langkah-langkah berikutnya menyelesaikan proses Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF).

Instruction-GPT

Fine-Tuning Terawasi (SFT) adalah proses khusus yang bertujuan untuk mengoptimalkan Model Bahasa Besar (LLM) pra-dilatih untuk tugas hilir tertentu. Tidak seperti metode tidak terawasi, yang tidak memerlukan validasi data, SFT menggunakan dataset yang telah divalidasi dan diberi label sebelumnya.

Umumnya, membuat dataset ini mahal dan memakan waktu. Pendekatan Llama 2 adalah kualitas daripada kuantitas. Dengan hanya 27.540 anotasi, tim Meta mencapai tingkat kinerja yang kompetitif dengan annotator manusia. Ini sejalan dengan studi terbaru yang menunjukkan bahwa bahkan dataset terbatas tetapi bersih dapat menghasilkan hasil berkualitas tinggi.

Dalam proses SFT, model LLM pra-dilatih dipaparkan pada dataset yang diberi label, di mana algoritma pembelajaran terawasi mulai bermain. Bobot internal model direkalibrasi berdasarkan gradien yang dihitung dari fungsi kerugian tugas-khusus. Fungsi kerugian ini mengkuantifikasi diskrepansi antara output prediksi model dan label ground-truth yang sebenarnya.

Optimasi ini memungkinkan LLM untuk memahami pola dan nuansa yang kompleks yang tertanam dalam dataset yang diberi label. Akibatnya, model tidak hanya menjadi alat umum, tetapi berkembang menjadi aset khusus, terampil dalam melakukan tugas target dengan tingkat akurasi yang tinggi.

Pembelajaran penguatan adalah langkah berikutnya, yang bertujuan untuk memposisikan perilaku model lebih dekat dengan preferensi manusia.

Fase penyetelan ini menggunakan Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF), yang menggunakan teknik seperti Importance Sampling dan Proximal Policy Optimization untuk memperkenalkan kebisingan algoritmik, sehingga menghindari optima lokal. Penyetelan ulang iteratif ini tidak hanya memperbaiki model, tetapi juga memposisikan outputnya dengan harapan manusia.

Llama 2-Chat menggunakan protokol perbandingan biner untuk mengumpulkan data preferensi manusia, menandai tren yang menonjol menuju pendekatan kualitatif. Mekanisme ini menginformasikan Model Reward, yang kemudian digunakan untuk memperbaiki model AI percakapan.

Perhatian Hantu: Dialog Multi-Giliran

Meta memperkenalkan fitur baru, Perhatian Hantu (GAtt), yang dirancang untuk meningkatkan kinerja Llama 2 dalam dialog multi-giliran. Ini secara efektif menyelesaikan masalah kehilangan konteks yang persisten dalam percakapan berkelanjutan. GAtt bertindak seperti jangkar, menghubungkan instruksi awal ke semua pesan pengguna berikutnya. Dipasangkan dengan teknik pembelajaran penguatan, itu membantu menghasilkan respons yang konsisten, relevan, dan sesuai dengan pengguna selama dialog yang lebih panjang.

Dari Repositori Git Meta Menggunakan download.sh

1. Kunjungi Situs Web Meta: Navigasikan ke situs resmi Llama 2 Meta dan klik ‘Unduh Model’
2. Isi Detail: Baca dan terima syarat dan ketentuan untuk melanjutkan.
3. Konfirmasi Email: Setelah formulir dikirim, Anda akan menerima email dari Meta dengan tautan untuk mengunduh model dari repositori Git mereka.
4. Jalankan download.sh: Kloning repositori Git dan jalankan skrip download.sh. Skrip ini akan meminta Anda untuk mengautentikasi menggunakan URL dari Meta yang kedaluwarsa dalam 24 jam. Anda juga akan memilih ukuran model—7B, 13B, atau 70B.

Dari Hugging

1. Terima Email Persetujuan: Setelah mendapatkan akses dari Meta, kunjungi Hugging Face.
2. Minta Akses: Pilih model yang diinginkan dan kirimkan permintaan untuk mengizinkan akses.
3. Konfirmasi: Harapkan email ‘akses diberikan’ dalam 1-2 hari.
4. Generasi Token Akses: Navigasikan ke ‘Pengaturan’ di akun Hugging Face Anda untuk membuat token akses.

Rilis Transformers 4.31 sepenuhnya kompatibel dengan LLaMa 2 dan membuka banyak alat dan fungsionalitas dalam ekosistem Hugging Face. Dari skrip pelatihan dan inferensi hingga kuantisasi 4-bit dengan bitsandbytes dan Fine-tuning Efisiensi Parameter (PEFT), toolkit ini sangat luas. Untuk memulai, pastikan Anda menggunakan rilis Transformers terbaru dan masuk ke akun Hugging Face Anda.

Berikut adalah panduan yang disederhanakan untuk menjalankan inferensi model LLaMa 2 di lingkungan Google Colab, menggunakan runtime GPU:

Model Google Colab – T4 GPU

Instalasi Paket

<p>!pip install transformers
!huggingface-cli login

Impor Perpustakaan Python yang Diperlukan.

from transformers import AutoTokenizer
import transformers
import torch

Inisialisasi Model dan Tokenizer

Pada langkah ini, tentukan model Llama 2 mana yang akan digunakan. Untuk panduan ini, kita menggunakan meta-llama/Llama-2-7b-chat-hf.

model = "meta-llama/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model)

Atur Pipa

Manfaatkan pipa Hugging Face untuk generasi teks dengan pengaturan tertentu:

pipeline = transformers.pipeline(
"text-generation",
model=model,
torch_dtype=torch.float16,
device_map="auto")

Generasi Urutan Teks

Terakhir, jalankan pipa dan generasi urutan teks berdasarkan input Anda:

sequences = pipeline(
'Siapa yang merupakan kontributor kunci di bidang kecerdasan buatan?\n',
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
max_length=200)
for seq in sequences:
print(f"Hasil: {seq['generated_text']}")

UI A16Z untuk LLaMa 2

Andreessen Horowitz (A16Z) baru-baru ini meluncurkan antarmuka chatbot berbasis Streamlit yang dirancang khusus untuk Llama 2. Dihosting di GitHub, UI ini mempertahankan riwayat obrolan sesi dan juga menyediakan fleksibilitas untuk memilih dari beberapa endpoint API Llama 2 yang dihosting di Replicate. Desain berorientasi pengguna ini bertujuan untuk mempermudah interaksi dengan Llama 2, membuatnya menjadi alat ideal bagi pengembang dan pengguna akhir. Bagi mereka yang tertarik untuk mengalami ini, demo langsung tersedia di Llama2.ai.

LLaMa2.ai

Llama 2: Apa yang Membuatnya Berbeda dari Model GPT dan Pendahulunya Llama 1?

Variasi dalam Skala

Tidak seperti banyak model bahasa yang menawarkan skalabilitas terbatas, Llama 2 memberikan Anda sejumlah pilihan untuk model dengan parameter yang beragam. Model ini menskalakan dari 7 miliar hingga 70 miliar parameter, sehingga menyediakan berbagai konfigurasi untuk memenuhi kebutuhan komputasi yang beragam.

Panjang Konteks yang Ditingkatkan

Model ini memiliki panjang konteks 4K token yang lebih besar daripada Llama 1. Ini memungkinkan model untuk mempertahankan lebih banyak informasi, sehingga meningkatkan kemampuannya untuk memahami dan menghasilkan konten yang lebih kompleks dan luas.

Perhatian Kueri Grup (GQA)

Arsitektur ini menggunakan konsep GQA, yang dirancang untuk mempercepat proses komputasi perhatian dengan menyimpan pasangan token sebelumnya. Ini secara efektif meningkatkan skalabilitas inferensi model untuk meningkatkan aksesibilitas.

Benchmark Kinerja

Analisis Kinerja Model Llama 2-Chat dengan ChatGPT dan Kompetitor Lain

Llama 2 telah menetapkan standar baru dalam metrik kinerja. Ini tidak hanya mengungguli pendahulunya, Llama 1, tetapi juga menawarkan persaingan signifikan dengan model lain seperti Falcon dan GPT-3.5.

Model Llama 2-Chat terbesar, 70B, juga mengungguli ChatGPT dalam 36% kasus dan mencapai kinerja yang sama dalam 31,5% kasus lainnya. Sumber: Makalah

Sumber Terbuka: Kekuatan Komunitas

Meta dan Microsoft bermaksud Llama 2 untuk menjadi lebih dari sekadar produk; mereka membayangkannya sebagai alat yang didorong oleh komunitas. Llama 2 gratis diakses untuk tujuan penelitian dan non-komersial. Mereka bertujuan untuk mendemokratisasi kemampuan AI, membuatnya dapat diakses oleh perusahaan rintisan, peneliti, dan bisnis. Paradigma sumber terbuka memungkinkan ‘pemecahan masalah bersama’ dari model. Pengembang dan etika AI dapat melakukan pengujian, mengidentifikasi kerentanan, dan menawarkan solusi dengan kecepatan yang dipercepat.

Meskipun syarat lisensi untuk LLaMa 2 umumnya permissif, pengecualian ada. Perusahaan besar dengan lebih dari 700 juta pengguna bulanan, seperti Google, memerlukan otorisasi eksplisit dari Meta untuk penggunaannya. Selain itu, lisensi melarang penggunaan LLaMa 2 untuk perbaikan model bahasa lain.

Tantangan Saat Ini dengan Llama 2

1. Generalisasi Data: Baik Llama 2 dan GPT-4 terkadang gagal dalam kinerja yang seragam tinggi di berbagai tugas. Kualitas dan keanekaragaman data sama pentingnya dengan volume dalam skenario ini.
2. Transparansi Model: Mengingat kelemahan sebelumnya dengan AI yang menghasilkan output menyesatkan, menjelajahi rasional di balik model kompleks ini sangat penting.

Code Llama – Peluncuran Terbaru Meta

Meta baru-baru ini mengumumkan Code Llama, yang merupakan model bahasa besar yang dikhususkan untuk pemrograman dengan ukuran parameter yang berkisar dari 7B hingga 34B. Serupa dengan ChatGPT Code Interpreter; Code Llama dapat mempermudah alur kerja pengembang dan membuat pemrograman lebih mudah diakses. Ini mendukung berbagai bahasa pemrograman dan datang dalam variasi khusus, seperti Code Llama–Python untuk tugas Python khusus. Model ini juga menawarkan berbagai tingkat kinerja untuk memenuhi kebutuhan latensi yang beragam. Dengan lisensi terbuka, Code Llama mengundang input komunitas untuk perbaikan berkelanjutan.

https://about.fb.com/news/2023/08/code-llama-ai-for-coding/

Kesimpulan

Artikel ini telah membawa Anda melalui proses pengaturan model Llama 2 untuk generasi teks di Google Colab dengan dukungan Hugging Face. Kinerja Llama 2 didorong oleh berbagai teknik lanjutan, dari arsitektur transformer auto-regresif hingga Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF). Dengan hingga 70 miliar parameter dan fitur seperti Perhatian Hantu, model ini mengungguli standar industri saat ini di beberapa area, dan dengan sifat terbukanya, membuka jalan bagi era baru dalam pemahaman bahasa alami dan AI generatif.