Kecerdasan buatan
Semua yang Perlu Anda Ketahui tentang Llama 3 | Model Open-Source Paling Kuat | Konsep hingga Penggunaan
Meta baru-baru ini merilis Llama 3, generasi berikutnya dari model bahasa besar (LLM) open source yang canggih. Membangun pada fondasi yang ditetapkan oleh pendahulunya, Llama 3 bertujuan untuk meningkatkan kemampuan yang menempatkan Llama 2 sebagai pesaing open-source yang signifikan untuk ChatGPT, seperti yang dijelaskan dalam ulasan komprehensif dalam artikel Llama 2: A Deep Dive into the Open-Source Challenger to ChatGPT.
Dalam artikel ini, kita akan membahas konsep inti di balik Llama 3, menjelajahi arsitektur inovatif dan proses pelatihan, serta memberikan panduan praktis tentang cara mengakses, menggunakan, dan mengirimkan model ini secara bertanggung jawab. Apakah Anda seorang peneliti, pengembang, atau penggemar AI, posting ini akan membekali Anda dengan pengetahuan dan sumber daya yang diperlukan untuk memanfaatkan kekuatan Llama 3 untuk proyek dan aplikasi Anda.
Evolusi Llama: Dari Llama 2 ke Llama 3
CEO Meta, Mark Zuckerberg, mengumumkan debut Llama 3, model AI terbaru yang dikembangkan oleh Meta AI. Model ini, yang sekarang open-sourced, dirancang untuk meningkatkan berbagai produk Meta, termasuk Messenger dan Instagram. Zuckerberg menekankan bahwa Llama 3 menempatkan Meta AI sebagai asisten AI yang paling canggih dan tersedia secara gratis.
Sebelum kita membahas spesifikasi Llama 3, mari kita singgung pendahulunya, Llama 2. Diperkenalkan pada tahun 2022, Llama 2 merupakan tonggak penting dalam lanskap LLM open-source, menawarkan model yang kuat dan efisien yang dapat dijalankan pada perangkat konsumen.
Namun, meskipun Llama 2 merupakan pencapaian yang signifikan, ia memiliki keterbatasan. Pengguna melaporkan masalah dengan penolakan palsu (model menolak untuk menjawab prompt yang tidak berbahaya), keterbatasan bantuan, dan ruang untuk perbaikan dalam bidang seperti penalaran dan generasi kode.
Masuklah Llama 3: respons Meta terhadap tantangan dan umpan balik komunitas. Dengan Llama 3, Meta bertujuan untuk membangun model open-source terbaik yang setara dengan model propietary terbaik yang tersedia saat ini, sambil juga memprioritaskan praktik pengembangan dan penerapan yang bertanggung jawab.
Llama 3: Arsitektur dan Pelatihan
Salah satu inovasi kunci dalam Llama 3 adalah tokenizernya, yang menampilkan kosakata yang jauh lebih luas dari 128.256 token (naik dari 32.000 di Llama 2). Kosakata yang lebih besar ini memungkinkan pengkodean teks yang lebih efisien, baik untuk input dan output, yang berpotensi menghasilkan multilingualisme dan perbaikan kinerja secara keseluruhan.
Llama 3 juga mengintegrasikan Grouped-Query Attention (GQA), sebuah teknik representasi yang efisien yang meningkatkan skalabilitas dan membantu model menangani konteks yang lebih panjang dengan lebih efektif. Versi 8B dari Llama 3 menggunakan GQA, sementara model 8B dan 70B dapat memproses urutan hingga 8.192 token.
Data Pelatihan dan Skalabilitas
Data pelatihan yang digunakan untuk Llama 3 adalah faktor kunci dalam kinerjanya yang ditingkatkan. Meta mengkurasi dataset besar yang mencakup lebih dari 15 triliun token dari sumber online yang tersedia secara publik, tujuh kali lebih besar dari dataset yang digunakan untuk Llama 2. Dataset ini juga mencakup proporsi signifikan (lebih dari 5%) data non-Inggris berkualitas tinggi, yang mencakup lebih dari 30 bahasa, dalam persiapan untuk aplikasi multilingual di masa depan.
Untuk memastikan kualitas data, Meta menerapkan teknik penyaringan canggih, termasuk penyaring heuristik, penyaring NSFW, deduplikasi semantik, dan klasifikasi teks yang dilatih pada Llama 2 untuk memprediksi kualitas data. Tim juga melakukan eksperimen ekstensif untuk menentukan campuran data optimal untuk pra-pelatihan, memastikan bahwa Llama 3 berkinerja dengan baik di berbagai kasus penggunaan, termasuk trivia, STEM, coding, dan pengetahuan sejarah.
Meningkatkan pra-pelatihan adalah aspek kritis lainnya dalam pengembangan Llama 3. Meta mengembangkan hukum skalabilitas yang memungkinkan mereka untuk memprediksi kinerja model terbesar mereka pada tugas kunci, seperti generasi kode, sebelum benar-benar melatihnya. Ini memandu keputusan tentang campuran data dan alokasi komputasi, yang pada akhirnya mengarah ke pelatihan yang lebih efisien dan efektif.
Model Llama 3 terbesar dilatih pada dua klaster GPU khusus yang terdiri dari 24.000 GPU, menggunakan kombinasi paralelisasi data, paralelisasi model, dan paralelisasi pipa. Tumpukan pelatihan canggih Meta mengotomatisasi deteksi kesalahan, penanganan, dan perawatan, memaksimalkan waktu aktif GPU dan meningkatkan efisiensi pelatihan sekitar tiga kali lipat dibandingkan dengan Llama 2.
Penghalusan Instruksi dan Kinerja
Untuk membuka potensi penuh Llama 3 untuk aplikasi percakapan dan dialog, Meta mengembangkan pendekatan baru untuk penghalusan instruksi. Metode ini menggabungkan penghalusan fine-tuning yang diawasi (SFT), sampling penolakan, optimasi kebijakan proximal (PPO), dan optimasi preferensi langsung (DPO).
Kualitas prompt yang digunakan dalam SFT dan peringkat preferensi yang digunakan dalam PPO dan DPO memainkan peran kunci dalam kinerja model yang diselaraskan. Tim Meta dengan hati-hati mengkurasi data ini dan melakukan beberapa putaran asuransi kualitas pada anotasi yang disediakan oleh anotator manusia.
Pelatihan pada peringkat preferensi melalui PPO dan DPO juga secara signifikan meningkatkan kinerja Llama 3 pada tugas penalaran dan coding. Meta menemukan bahwa bahkan ketika model kesulitan menjawab pertanyaan penalaran secara langsung, model tersebut masih dapat menghasilkan jejak penalaran yang benar. Pelatihan pada peringkat preferensi memungkinkan model untuk belajar cara memilih jawaban yang benar dari jejak-jejak tersebut.
Hasilnya berbicara sendiri: Llama 3 mengungguli banyak model chat open-source yang tersedia pada benchmark industri umum, menetapkan kinerja state-of-the-art baru untuk LLM pada skala parameter 8B dan 70B.
Pengembangan dan Pertimbangan Keamanan yang Bertanggung Jawab
Saat mengejar kinerja canggih, Meta juga memprioritaskan praktik pengembangan dan penerapan yang bertanggung jawab untuk Llama 3. Perusahaan ini mengadopsi pendekatan sistem-level, membayangkan model Llama 3 sebagai bagian dari ekosistem yang lebih luas yang menempatkan pengembang di kursi pengemudi, memungkinkan mereka untuk merancang dan menyesuaikan model untuk kasus penggunaan dan persyaratan keamanan yang spesifik.
Meta melakukan latihan red-teaming yang ekstensif, melakukan evaluasi adversarial, dan menerapkan teknik mitigasi keamanan untuk mengurangi risiko residual pada model yang disesuaikan dengan instruksi. Namun, perusahaan mengakui bahwa risiko residual kemungkinan masih ada dan merekomendasikan bahwa pengembang menilai risiko ini dalam konteks kasus penggunaan yang spesifik.
Untuk mendukung penerapan yang bertanggung jawab, Meta telah memperbarui Pedoman Penggunaan yang Bertanggung Jawab, menyediakan sumber daya komprehensif bagi pengembang untuk menerapkan praktik keamanan terbaik pada tingkat model dan sistem untuk aplikasi mereka. Pedoman ini mencakup topik seperti moderasi konten, penilaian risiko, dan penggunaan alat keamanan seperti Llama Guard 2 dan Code Shield.
Llama Guard 2, dibangun pada taksonomi MLCommons, dirancang untuk mengklasifikasikan input LLM (prompt) dan respons, mendeteksi konten yang mungkin dianggap tidak aman atau berbahaya. CyberSecEval 2 memperluas pendahulunya dengan menambahkan langkah-langkah untuk mencegah penyalahgunaan interpreter kode model, kemampuan keamanan siber ofensif, dan kerentanan terhadap serangan injeksi prompt.
Code Shield, pengenalan baru dengan Llama 3, menambahkan filtering waktu inferensi kode tidak aman yang dihasilkan oleh LLM, memitigasi risiko yang terkait dengan saran kode tidak aman, penyalahgunaan interpreter kode, dan eksekusi perintah aman.
Mengakses dan Menggunakan Llama 3
Setelah peluncuran Llama 3 oleh Meta AI, beberapa alat open-source telah tersedia untuk penerapan lokal pada berbagai sistem operasi, termasuk Mac, Windows, dan Linux. Bagian ini menjelaskan tiga alat yang paling menonjol: Ollama, Open WebUI, dan LM Studio, masing-masing menawarkan fitur unik untuk memanfaatkan kemampuan Llama 3 pada perangkat pribadi.
Ollama: Tersedia untuk Mac, Linux, dan Windows, Ollama memudahkan operasi Llama 3 dan model bahasa besar lainnya pada komputer pribadi, bahkan pada perangkat dengan perangkat keras yang kurang kuat. Ini termasuk pengelola paket untuk pengelolaan model yang mudah dan mendukung perintah di seluruh platform untuk mengunduh dan menjalankan model.
Open WebUI dengan Docker: Alat ini menyediakan antarmuka yang ramah pengguna, berbasis Docker, yang kompatibel dengan Mac, Linux, dan Windows. Ini terintegrasi dengan lancar dengan model dari registry Ollama, memungkinkan pengguna untuk mengirimkan dan berinteraksi dengan model seperti Llama 3 dalam antarmuka web lokal.
LM Studio: Ditujukan untuk pengguna pada Mac, Linux, dan Windows, LM Studio mendukung berbagai model dan dibangun pada proyek llama.cpp. Ini menyediakan antarmuka percakapan dan memfasilitasi interaksi langsung dengan berbagai model, termasuk model Llama 3 8B Instruct.
Alat-alat ini memastikan bahwa pengguna dapat memanfaatkan Llama 3 pada perangkat pribadi mereka dengan efisien, mengakomodasi berbagai keterampilan teknis dan persyaratan. Setiap platform menawarkan proses langkah demi langkah untuk pengaturan dan interaksi model, membuat AI canggih lebih mudah diakses oleh pengembang dan penggemar.
Mengirimkan Llama 3 pada Skala Besar
Selain menyediakan akses langsung ke bobot model, Meta telah bermitra dengan berbagai penyedia cloud, layanan API model, dan platform perangkat keras untuk memungkinkan penerapan Llama 3 yang mulus pada skala besar.
Salah satu kelebihan utama Llama 3 adalah efisiensi token yang ditingkatkan, berkat tokenizer baru. Benchmark menunjukkan bahwa Llama 3 memerlukan hingga 15% lebih sedikit token dibandingkan dengan Llama 2, menghasilkan inferensi yang lebih cepat dan lebih hemat biaya.
Integrasi Perhatian Pertanyaan Terkelompok (GQA) pada versi 8B dari Llama 3 berkontribusi pada pemeliharaan efisiensi inferensi yang setara dengan versi 7B dari Llama 2, meskipun peningkatan jumlah parameter.
Untuk memudahkan proses penerapan, Meta telah menyediakan repositori Resep Llama, yang berisi kode sumber dan contoh untuk fine-tuning, penerapan, evaluasi model, dan lainnya. Repositori ini berfungsi sebagai sumber daya yang berharga bagi pengembang yang ingin memanfaatkan kemampuan Llama 3 dalam aplikasi mereka.
Bagi mereka yang tertarik untuk menjelajahi kinerja Llama 3, Meta telah mengintegrasikan model terbarunya ke dalam Asisten AI Meta, asisten AI utama yang dibangun dengan teknologi Llama 3. Pengguna dapat berinteraksi dengan Asisten AI Meta melalui berbagai aplikasi Meta, seperti Facebook, Instagram, WhatsApp, Messenger, dan web, untuk melakukan tugas, belajar, mencipta, dan terhubung dengan hal-hal yang penting bagi mereka.
Apa yang Selanjutnya untuk Llama 3?
Sementara model 8B dan 70B menandai awal rilis Llama 3, Meta memiliki rencana ambisius untuk masa depan model LLM ini.
Dalam beberapa bulan mendatang, kita dapat mengharapkan kemampuan baru diperkenalkan, termasuk multimodalitas (kemampuan untuk memproses dan menghasilkan modalitas data yang berbeda, seperti gambar dan video), multilingualisme (mendukung beberapa bahasa), dan jendela konteks yang jauh lebih panjang untuk kinerja yang ditingkatkan pada tugas yang memerlukan konteks yang luas.
Selain itu, Meta berencana untuk merilis ukuran model yang lebih besar, termasuk model dengan lebih dari 400 miliar parameter, yang saat ini sedang dilatih dan menunjukkan tren yang menjanjikan dalam hal kinerja dan kemampuan.
Untuk lebih maju dalam bidang ini, Meta juga akan menerbitkan makalah penelitian rinci tentang Llama 3, berbagi temuan dan wawasan dengan komunitas AI yang lebih luas.
Sebagai pratinjau dari apa yang akan datang, Meta telah membagikan beberapa snapshot awal dari kinerja model LLM terbesar pada berbagai benchmark. Meskipun hasil ini berdasarkan pada titik awal dan dapat berubah, mereka memberikan gambaran menarik tentang potensi masa depan Llama 3.
Kesimpulan
Llama 3 mewakili tonggak penting dalam evolusi model bahasa besar open-source, mendorong batas kinerja, kemampuan, dan praktik pengembangan yang bertanggung jawab. Dengan arsitektur inovatif, dataset pelatihan besar, dan teknik fine-tuning canggih, Llama 3 menetapkan benchmark kinerja state-of-the-art baru untuk LLM pada skala parameter 8B dan 70B.
Namun, Llama 3 lebih dari sekadar model bahasa yang kuat; ini adalah bukti komitmen Meta untuk mempromosikan ekosistem AI yang terbuka dan bertanggung jawab. Dengan menyediakan sumber daya komprehensif, alat keamanan, dan praktik terbaik, Meta memberdayakan pengembang untuk memanfaatkan potensi penuh Llama 3 sambil memastikan penerapan yang bertanggung jawab dan disesuaikan dengan kasus penggunaan dan audiens yang spesifik.
Ketika perjalanan Llama 3 berlanjut, dengan kemampuan baru, ukuran model, dan temuan penelitian di cakrawala, komunitas AI dengan sabar menantikan aplikasi inovatif dan terobosan yang pasti muncul dari model LLM ini.
Apakah Anda seorang peneliti yang mendorong batas-batas pemrosesan bahasa alami, pengembang yang membangun generasi aplikasi cerdas berikutnya, atau penggemar AI yang ingin tahu tentang kemajuan terbaru, Llama 3 berjanji menjadi alat yang kuat dalam gudang Anda, membuka pintu baru dan membuka dunia kemungkinan.
