Kecerdasan buatan
Semua yang Perlu Anda Ketahui tentang Llama 3 | Model Open-Source Paling Kuat | Konsep hingga Penggunaan
Meta baru-baru ini merilis Llama 3, generasi berikutnya dari model bahasa besar open source (LLM) yang mutakhir. Membangun pada fondasi yang ditetapkan oleh pendahulunya, Llama 3 bertujuan untuk meningkatkan kemampuan yang menempatkan Llama 2 sebagai pesaing open-source yang signifikan untuk ChatGPT, seperti yang diuraikan dalam ulasan komprehensif dalam artikel Llama 2: Penelitian Mendalam tentang Tantangan Open-Source untuk ChatGPT.
Dalam artikel ini, kita akan membahas konsep inti di balik Llama 3, mengeksplorasi arsitektur inovatif dan proses pelatihannya, serta memberikan panduan praktis tentang cara mengakses, menggunakan, dan mengirimkan model ini secara bertanggung jawab. Apakah Anda seorang peneliti, pengembang, atau antusias AI, posting ini akan melengkapi Anda dengan pengetahuan dan sumber daya yang dibutuhkan untuk memanfaatkan kekuatan Llama 3 untuk proyek dan aplikasi Anda.
Evolusi Llama: Dari Llama 2 ke Llama 3
Meta’s CEO, Mark Zuckerberg, mengumumkan debut Llama 3, model AI terbaru yang dikembangkan oleh Meta AI. Model ini, yang sekarang open-sourced, bertujuan untuk meningkatkan berbagai produk Meta, termasuk Messenger dan Instagram. Zuckerberg menekankan bahwa Llama 3 menempatkan Meta AI sebagai asisten AI yang paling canggih dan tersedia secara gratis.
Sebelum kita membahas spesifik Llama 3, mari kita singgung sekilas tentang pendahulunya, Llama 2. Diperkenalkan pada tahun 2022, Llama 2 merupakan tonggak penting dalam lanskap LLM open-source, menawarkan model yang kuat dan efisien yang dapat dijalankan pada perangkat konsumen.
Namun, meskipun Llama 2 merupakan pencapaian yang signifikan, ia memiliki keterbatasan. Pengguna melaporkan masalah dengan penolakan palsu (model menolak untuk menjawab prompt yang tidak berbahaya), keterbatasan bantuan, dan ruang untuk perbaikan dalam bidang seperti penalaran dan generasi kode.
Masuklah Llama 3: respons Meta terhadap tantangan dan umpan balik komunitas. Dengan Llama 3, Meta bertujuan untuk membangun model open-source terbaik yang setara dengan model propietary terbaik yang tersedia saat ini, sambil juga memprioritaskan praktik pengembangan dan penerapan yang bertanggung jawab.
Llama 3: Arsitektur dan Pelatihan
Salah satu inovasi utama dalam Llama 3 adalah tokenizernya, yang menampilkan kosakata yang jauh lebih luas dari 128.256 token (naik dari 32.000 di Llama 2). Kosakata yang lebih besar ini memungkinkan pengkodean teks yang lebih efisien, baik untuk input maupun output, yang berpotensi menghasilkan multibahasa yang lebih kuat dan perbaikan kinerja secara keseluruhan.
Llama 3 juga mengintegrasikan Grouped-Query Attention (GQA), sebuah teknik representasi yang efisien yang meningkatkan skalabilitas dan membantu model menangani konteks yang lebih panjang dengan lebih efektif. Versi 8B dari Llama 3 menggunakan GQA, sementara model 8B dan 70B dapat memproses urutan hingga 8.192 token.
Data Pelatihan dan Penskalaan
Data pelatihan yang digunakan untuk Llama 3 merupakan faktor kunci dalam kinerjanya yang ditingkatkan. Meta mengkurasi dataset besar yang mencakup lebih dari 15 triliun token dari sumber online yang tersedia secara publik, tujuh kali lebih besar dari dataset yang digunakan untuk Llama 2. Dataset ini juga mencakup proporsi signifikan (lebih dari 5%) data non-Inggris berkualitas tinggi, yang mencakup lebih dari 30 bahasa, dalam persiapan untuk aplikasi multibahasa di masa depan.
Untuk memastikan kualitas data, Meta menggunakan teknik filtering lanjutan, termasuk filter heuristik, filter NSFW, deduplikasi semantik, dan klasifikasi teks yang dilatih pada Llama 2 untuk memprediksi kualitas data. Tim juga melakukan eksperimen ekstensif untuk menentukan campuran data sumber yang optimal untuk pelatihan, memastikan bahwa Llama 3 berkinerja dengan baik di berbagai kasus penggunaan, termasuk trivia, STEM, coding, dan pengetahuan sejarah.
Penskalaan pelatihan merupakan aspek kritis lainnya dalam pengembangan Llama 3. Meta mengembangkan hukum penskalaan yang memungkinkan mereka untuk memprediksi kinerja model terbesar mereka pada tugas-tugas kunci, seperti generasi kode, sebelum benar-benar melatihnya. Ini memandu keputusan tentang campuran data dan alokasi komputasi, yang pada akhirnya menghasilkan pelatihan yang lebih efisien dan efektif.
Model Llama 3 terbesar dilatih pada dua klaster GPU kustom 24.000, yang menggunakan kombinasi paralelisasi data, paralelisasi model, dan paralelisasi pipa. Tumpukan pelatihan canggih Meta memungkinkan deteksi kesalahan, penanganan, dan perawatan yang otomatis, memaksimalkan waktu aktif GPU dan meningkatkan efisiensi pelatihan sekitar tiga kali lipat dibandingkan dengan Llama 2.
Penghalusan Instruksi dan Kinerja
Untuk membuka potensi penuh Llama 3 untuk aplikasi obrolan dan dialog, Meta menginovasi pendekatannya terhadap penghalusan instruksi. Metodenya menggabungkan penghalusan instruksi yang diawasi (SFT), sampling penolakan, optimasi kebijakan proximal (PPO), dan optimasi preferensi langsung (DPO).
Kualitas prompt yang digunakan dalam SFT dan peringkat preferensi yang digunakan dalam PPO dan DPO memainkan peran kunci dalam kinerja model yang diselaraskan. Tim Meta dengan hati-hati mengkurasi data ini dan melakukan beberapa putaran jaminan kualitas pada anotasi yang disediakan oleh annotator manusia.
Pelatihan pada peringkat preferensi melalui PPO dan DPO juga secara signifikan meningkatkan kinerja Llama 3 pada tugas penalaran dan coding. Meta menemukan bahwa bahkan ketika model kesulitan menjawab pertanyaan penalaran secara langsung, ia mungkin masih menghasilkan jejak penalaran yang benar. Pelatihan pada peringkat preferensi memungkinkan model untuk belajar memilih jawaban yang benar dari jejak-jejak tersebut.
Hasilnya berbicara untuk dirinya sendiri: Llama 3 mengungguli banyak model obrolan open-source yang tersedia pada benchmark industri umum, menetapkan kinerja mutakhir baru untuk LLM pada skala parameter 8B dan 70B.
Pengembangan dan Pertimbangan Keamanan yang Bertanggung Jawab
Saat mengejar kinerja mutakhir, Meta juga memprioritaskan praktik pengembangan dan penerapan yang bertanggung jawab untuk Llama 3. Perusahaan ini mengadopsi pendekatan sistem-level, memvisualisasikan model Llama 3 sebagai bagian dari ekosistem yang lebih luas yang menempatkan pengembang di kursi pengemudi, memungkinkan mereka untuk merancang dan menyesuaikan model untuk kasus penggunaan dan persyaratan keamanan yang spesifik.
Meta melakukan latihan red teaming yang ekstensif, melakukan evaluasi adversarial, dan mengimplementasikan teknik mitigasi keamanan untuk menurunkan risiko residual pada model yang disesuaikan dengan instruksi. Namun, perusahaan mengakui bahwa risiko residual kemungkinan akan tetap ada dan merekomendasikan bahwa pengembang menilai risiko ini dalam konteks kasus penggunaan yang spesifik.
Untuk mendukung penerapan yang bertanggung jawab, Meta telah memperbarui Panduan Penggunaan yang Bertanggung Jawab, menyediakan sumber daya komprehensif bagi pengembang untuk mengimplementasikan praktik keamanan terbaik pada tingkat model dan sistem untuk aplikasi mereka. Panduan ini mencakup topik seperti moderasi konten, penilaian risiko, dan penggunaan alat keamanan seperti Llama Guard 2 dan Code Shield.
Llama Guard 2, yang dibangun pada taksonomi MLCommons, dirancang untuk mengklasifikasikan input LLM (prompt) dan respons, mendeteksi konten yang mungkin dianggap tidak aman atau berbahaya. CyberSecEval 2 memperluas pendahulunya dengan menambahkan langkah-langkah untuk mencegah penyalahgunaan interpreter kode model, kemampuan keamanan siber ofensif, dan kerentanan terhadap serangan injeksi prompt.
Code Shield, yang diperkenalkan dengan Llama 3, menambahkan filtering waktu inferensi dari kode tidak aman yang dihasilkan oleh LLM, mitigasi risiko yang terkait dengan saran kode tidak aman, penyalahgunaan interpreter kode, dan eksekusi perintah aman.
Mengakses dan Menggunakan Llama 3
Setelah peluncuran Llama 3 oleh Meta AI, beberapa alat open-source telah tersedia untuk penerapan lokal pada berbagai sistem operasi, termasuk Mac, Windows, dan Linux. Bagian ini menjelaskan tiga alat yang patut diperhatikan: Ollama, Open WebUI, dan LM Studio, masing-masing menawarkan fitur unik untuk memanfaatkan kemampuan Llama 3 pada perangkat pribadi.
Ollama: Tersedia untuk Mac, Linux, dan Windows, Ollama memudahkan operasi Llama 3 dan model bahasa besar lainnya pada komputer pribadi, bahkan pada perangkat dengan perangkat keras yang kurang kuat. Ini mencakup pengelola paket untuk manajemen model yang mudah dan mendukung perintah di seluruh platform untuk mengunduh dan menjalankan model.
Open WebUI dengan Docker: Alat ini menyediakan antarmuka pengguna yang ramah, berbasis Docker, yang kompatibel dengan Mac, Linux, dan Windows. Ini terintegrasi dengan lancar dengan model dari registry Ollama, memungkinkan pengguna untuk menerapkan dan berinteraksi dengan model seperti Llama 3 dalam antarmuka web lokal.
LM Studio: Ditujukan untuk pengguna pada Mac, Linux, dan Windows, LM Studio mendukung berbagai model dan dibangun pada proyek llama.cpp. Ini menyediakan antarmuka obrolan dan memfasilitasi interaksi langsung dengan berbagai model, termasuk model Llama 3 8B Instruct.
Alat-alat ini memastikan bahwa pengguna dapat menggunaka Llama 3 secara efisien pada perangkat pribadi mereka, mengakomodasi berbagai tingkat keterampilan teknis dan persyaratan. Masing-masing platform menawarkan proses langkah demi langkah untuk pengaturan dan interaksi model, membuat AI canggih lebih mudah diakses oleh pengembang dan antusias.
Menerapkan Llama 3 pada Skala Besar
Selain menyediakan akses langsung ke bobot model, Meta telah bermitra dengan berbagai penyedia cloud, layanan API model, dan platform perangkat keras untuk memungkinkan penerapan Llama 3 yang lancar pada skala besar.
Salah satu kelebihan utama Llama 3 adalah efisiensi token yang ditingkatkan, berkat tokenizernya yang baru. Benchmark menunjukkan bahwa Llama 3 memerlukan hingga 15% fewer token dibandingkan dengan Llama 2, menghasilkan inferensi yang lebih cepat dan lebih hemat biaya.
Integrasi Grouped Query Attention (GQA) pada versi 8B dari Llama 3 berkontribusi pada pemeliharaan efisiensi inferensi yang setara dengan versi 7B dari Llama 2, meskipun peningkatan jumlah parameter.
Untuk mempermudah proses penerapan, Meta telah menyediakan repositori Llama Recipes, yang berisi kode sumber dan contoh untuk fine-tuning, penerapan, evaluasi model, dan lain-lain. Repositori ini berfungsi sebagai sumber daya yang berharga bagi pengembang yang ingin memanfaatkan kemampuan Llama 3 dalam aplikasi mereka.
Bagi mereka yang tertarik untuk menjelajahi kinerja Llama 3, Meta telah mengintegrasikan model terbarunya ke dalam Meta AI, asisten AI terkemuka yang dibangun dengan teknologi Llama 3. Pengguna dapat berinteraksi dengan Meta AI melalui berbagai aplikasi Meta, seperti Facebook, Instagram, WhatsApp, Messenger, dan web, untuk melakukan tugas, belajar, mencipta, dan terhubung dengan hal-hal yang penting bagi mereka.
Apa yang Selanjutnya untuk Llama 3?
Sementara model 8B dan 70B menandai awal dari rilis Llama 3, Meta memiliki rencana ambisius untuk masa depan LLM ini.
Dalam beberapa bulan mendatang, kita dapat mengharapkan kemampuan baru diperkenalkan, termasuk multimodalitas (kemampuan untuk memproses dan menghasilkan data modalitas yang berbeda, seperti gambar dan video), multibahasa (mendukung beberapa bahasa), dan jendela konteks yang jauh lebih panjang untuk kinerja yang ditingkatkan pada tugas yang memerlukan konteks yang luas.
Selain itu, Meta berencana untuk merilis ukuran model yang lebih besar, termasuk model dengan lebih dari 400 miliar parameter, yang saat ini sedang dilatih dan menunjukkan tren yang menjanjikan dalam hal kinerja dan kemampuan.
Untuk lebih maju dalam bidang ini, Meta juga akan menerbitkan makalah penelitian rinci tentang Llama 3, berbagi temuan dan wawasan dengan komunitas AI yang lebih luas.
Sebagai pratinjau dari apa yang akan datang, Meta telah berbagi beberapa snapshot awal dari kinerja model LLM terbesar pada berbagai benchmark. Meskipun hasil ini berdasarkan pada titik awal dan dapat berubah, mereka memberikan gambaran menarik tentang potensi masa depan Llama 3.
Kesimpulan
Llama 3 mewakili tonggak penting dalam evolusi model bahasa besar open-source, mendorong batas kinerja, kemampuan, dan praktik pengembangan yang bertanggung jawab. Dengan arsitektur inovatif, dataset pelatihan besar, dan teknik fine-tuning mutakhir, Llama 3 menetapkan benchmark kinerja mutakhir baru untuk LLM pada skala parameter 8B dan 70B.
Namun, Llama 3 lebih dari sekadar model bahasa yang kuat; ini adalah bukti komitmen Meta untuk mempromosikan ekosistem AI yang terbuka dan bertanggung jawab. Dengan menyediakan sumber daya komprehensif, alat keamanan, dan praktik terbaik, Meta memberdayakan pengembang untuk memanfaatkan potensi penuh Llama 3 sambil memastikan penerapan yang bertanggung jawab yang disesuaikan dengan kasus penggunaan dan audiens yang spesifik.
Ketika perjalanan Llama 3 berlanjut, dengan kemampuan baru, ukuran model, dan temuan penelitian di cakrawala, komunitas AI dengan sabar menantikan aplikasi inovatif dan terobosan yang pasti muncul dari LLM ini.
Apakah Anda seorang peneliti yang mendorong batas pemrosesan bahasa alami, pengembang yang membangun generasi aplikasi cerdas berikutnya, atau antusias AI yang penasaran tentang kemajuan terbaru, Llama 3 berjanji menjadi alat kuat dalam gudang Anda, membuka pintu baru dan membuka dunia kemungkinan.
