Llama 3.1: Model AI Open-Source Paling Maju dari Meta – Semua yang Perlu Anda Ketahui

Meta telah meluncurkan Llama 3.1, model bahasa besar terbarunya dan paling maju, menandai lompatan besar dalam kemampuan dan aksesibilitas AI. Rilis baru ini sejalan dengan komitmen Meta untuk membuat AI dapat diakses secara terbuka, seperti yang ditekankan oleh Mark Zuckerberg, yang percaya bahwa AI open-source bermanfaat bagi pengembang, Meta, dan masyarakat secara luas.

Untuk memperkenalkan Llama 3.1, Mark Zuckerberg menulis sebuah pos blog rinci berjudul “Open Source AI Is the Path Forward,” yang menguraikan visinya untuk masa depan AI. Ia menggambar paralel antara evolusi Unix ke Linux dan trajektori AI saat ini, menekankan bahwa AI open-source akhirnya akan memimpin industri. Zuckerberg menyoroti kelebihan AI open-source, termasuk kustomisasi, efisiensi biaya, keamanan data, dan menghindari ketergantungan vendor.

Ia percaya bahwa open-source pengembangan memfasilitasi inovasi, menciptakan ekosistem yang kuat, dan memastikan akses yang adil ke teknologi AI. Zuckerberg juga mengatasi kekhawatiran tentang keamanan, dengan mengadvokasi bahwa AI open-source, melalui transparansi dan pengawasan komunitas, dapat lebih aman daripada model tertutup seperti model GPT dari OpenAI.

Komitmen Meta terhadap AI open-source bertujuan untuk membangun pengalaman dan layanan terbaik, bebas dari keterbatasan ekosistem tertutup. Ia menyimpulkan dengan mengundang pengembang dan organisasi untuk bergabung dalam membangun masa depan di mana AI memberikan manfaat bagi semua orang, mempromosikan kolaborasi dan kemajuan terus-menerus.

Ringkasan Utama

• Komitmen Akses Terbuka: Meta melanjutkan dedikasinya terhadap AI open-source, bertujuan untuk mendemokratisasi akses dan inovasi.
• Kemampuan Ditingkatkan: Llama 3.1 menawarkan perluasan panjang konteks hingga 128K, mendukung delapan bahasa, dan memperkenalkan Llama 3.1 405B, model AI open-source tingkat frontier pertama.
• Fleksibilitas dan Kontrol Tak Tertandingi: Llama 3.1 405B menawarkan kemampuan setara dengan model tertutup terkemuka, memungkinkan alur kerja baru seperti generasi data sintetis dan distilasi model.
• Dukungan Ekosistem Komprehensif: Dengan lebih dari 25 mitra, termasuk perusahaan teknologi besar seperti AWS, NVIDIA, dan Google Cloud, Llama 3.1 siap untuk digunakan segera di berbagai platform.

Ikhtisar Llama 3.1

Kemampuan Terdepan

Llama 3.1 405B dirancang untuk menyaingi model AI terbaik yang tersedia saat ini. Ia unggul dalam pengetahuan umum, kemampuan mengarahkan, matematika, penggunaan alat, dan terjemahan multibahasa. Model ini diharapkan dapat memacu inovasi di bidang seperti generasi data sintetis dan distilasi model, menawarkan kesempatan pertumbuhan dan eksplorasi yang belum pernah terjadi sebelumnya.

Model yang Ditingkatkan

Rilis ini termasuk versi yang ditingkatkan dari model 8B dan 70B, yang sekarang mendukung beberapa bahasa dan memiliki panjang konteks yang diperluas hingga 128K. Peningkatan ini memungkinkan aplikasi lanjutan seperti ringkasan teks panjang, agen percakapan multibahasa, dan asisten pengkodean.

Ketersediaan Open-Source

Sesuai dengan filosofi open-source, Meta membuat model ini tersedia untuk diunduh di Meta dan Hugging Face. Pengembang dapat menggunakan model ini untuk berbagai aplikasi, termasuk memperbaiki model lain, dan dapat menjalankannya di lingkungan yang beragam, dari on-premises hingga cloud dan penyebaran lokal.

Evaluasi Model dan Arsitektur

Evaluasi Ekstensif

Llama 3.1 telah diuji secara ketat pada lebih dari 150 set data benchmark dalam beberapa bahasa dan dibandingkan dengan model terkemuka seperti GPT-4 dan Claude 3.5 Sonnet. Hasilnya menunjukkan bahwa Llama 3.1 kompetitif di berbagai tugas, memperkuat posisinya di antara model AI teratas.

Teknik Pelatihan Lanjutan

Pelatihan model 405B melibatkan pengolahan lebih dari 15 triliun token menggunakan lebih dari 16.000 H100 GPU. Meta mengadopsi model transformer decoder-only standar dengan prosedur pelatihan pasca-iteratif, termasuk fine-tuning terawasi dan optimasi preferensi langsung, untuk mencapai data sintetis berkualitas tinggi dan kinerja unggul.

Inferensi Efisien

Untuk mendukung inferensi produksi skala besar, model Llama 3.1 dikuantisasi dari 16-bit ke 16-bit numerik, mengurangi persyaratan komputasi dan memungkinkan model untuk berjalan secara efisien pada satu node server.

Pelatihan dan Penyetelan Obrolan

Meta fokus pada meningkatkan kemampuan model untuk mengikuti instruksi rinci dan mempertahankan tingkat keamanan yang tinggi. Ini melibatkan beberapa putaran penyesuaian di atas model pra-terlatih, menggunakan generasi data sintetis dan teknik pengolahan data yang ketat untuk memastikan output berkualitas tinggi di semua kemampuan.

Sistem Llama

Llama 3.1 adalah bagian dari sistem yang lebih luas yang dirancang untuk bekerja dengan berbagai komponen, termasuk alat eksternal. Meta bertujuan untuk memberikan pengembang fleksibilitas untuk membuat aplikasi dan perilaku kustom. Rilis ini termasuk Llama Guard 3 dan Prompt Guard untuk keamanan dan keselamatan yang ditingkatkan.

API Tumpukan Llama

Meta merilis permintaan komentar tentang API Tumpukan Llama, antarmuka standar untuk memfasilitasi penggunaan model Llama oleh proyek pihak ketiga. Inisiatif ini bertujuan untuk mempermudah interoperabilitas dan mengurangi hambatan bagi pengembang dan penyedia platform.

Membangun dengan Llama 3.1 405B

Llama 3.1 405B menawarkan kemampuan luas bagi pengembang, termasuk inferensi waktu nyata dan batch, fine-tuning terawasi, evaluasi model, pelatihan berkelanjutan, generasi yang ditingkatkan dengan pengambilan (RAG), panggilan fungsi, dan generasi data sintetis. Pada hari pertama, pengembang dapat memulai membangun dengan fitur-fitur canggih ini, didukung oleh mitra seperti AWS, NVIDIA, dan Databricks.

Coba Llama 3.1 Hari Ini

Model Llama 3.1 tersedia untuk diunduh dan dikembangkan segera. Meta mendorong komunitas untuk mengeksplorasi potensi model ini dan berkontribusi pada ekosistem yang berkembang. Dengan langkah-langkah keamanan yang kuat dan akses open-source, Llama 3.1 siap untuk memacu gelombang inovasi AI berikutnya.

Kesimpulan

Llama 3.1 mewakili tonggak penting dalam evolusi AI open-source, menawarkan kemampuan dan fleksibilitas yang tak tertandingi. Komitmen Meta terhadap akses terbuka memastikan bahwa lebih banyak orang dapat memanfaatkan kemajuan AI, memfasilitasi inovasi dan penerapan teknologi yang adil. Dengan Llama 3.1, kemungkinan untuk aplikasi dan penelitian baru sangat luas, dan Meta menantikan perkembangan yang akan dicapai dengan alat kuat ini.

Pembaca yang ingin mempelajari lebih lanjut harus membaca pos blog rinci Mark Zuckerberg yang.