Refleksi 70B: LLM dengan Kognisi Koreksi Diri dan Kinerja Terkemuka

Refleksi 70B adalah model bahasa besar (LLM) sumber terbuka yang dikembangkan oleh HyperWriteModel baru ini memperkenalkan pendekatan terhadap kognisi AI yang dapat membentuk kembali cara kita berinteraksi dengan dan mengandalkan sistem AI di berbagai bidang, mulai dari pemrosesan bahasa hingga pemecahan masalah tingkat lanjut.

Leveraging Penyetelan Refleksi, sebuah teknik inovatif yang memungkinkan model untuk melakukan penilaian mandiri dan mengoreksi kesalahannya sendiri secara real-time, Reflection 70B telah dengan cepat naik ke atas, mengalahkan model-model milik sendiri seperti GPT-4 dan Claude 3.5 Soneta di berbagai tolok ukur, termasuk MMLU, MATH, dan Evaluasi Manusia.

Refleksi 70B dibangun di atas dasar yang kuat Lama 3.1-70B arsitektur, tetapi mekanisme penyempurnaan sendiri membedakannya. Melalui siklus refleksi, deteksi kesalahan, dan penyempurnaan keluaran yang berulang, model tersebut meniru kognisi manusia dengan cara yang belum pernah terjadi sebelumnya, mendorong batasan dari apa yang dapat dicapai AI. Hasilnya, Reflection 70B tidak hanya menawarkan akurasi yang tak tertandingi tetapi juga wawasan yang lebih dalam tentang proses pengambilan keputusannya, fitur penting untuk aplikasi yang mengutamakan transparansi dan ketepatan.

Apa itu Refleksi 70B

Pada intinya, Reflection 70B dibangun di atas Meta sumber terbuka Lama 3.1-70B Instruksikan modelNamun, yang benar-benar membedakannya adalah kemampuannya yang unik untuk terlibat dalam proses yang mirip dengan refleksi manusia—sehingga dinamakan demikian. Kemampuan ini berasal dari teknik yang disebut “Penyetelan Refleksi,” yang memungkinkan model untuk mengidentifikasi dan memperbaiki kesalahannya sendiri secara real-time, sehingga meningkatkan akurasi dan keandalannya.

Matt Shumer, CEO HyperWrite, memperkenalkan Reflection 70B dengan klaim berani bahwa itu adalah “model AI sumber terbuka terbaik di dunia.“Tapi apa sebenarnya yang membuat model ini begitu istimewa, dan bagaimana ia bersaing dengan raksasa industri seperti GPT-4 dan Claude 3.5 SonetaMari kita jelajahi.

Memahami Penyetelan Refleksi Selektif: Perubahan Paradigma dalam Pelatihan AI

Selektif Penyetelan Refleksi memperkenalkan pendekatan untuk penyetelan instruksi, dimana tujuannya adalah untuk meningkatkan kedua hal tersebut kualitas data instruksi dan kompatibilitasnya dengan model siswa Metode tradisional sering kali berfokus pada peningkatan data itu sendiri tetapi mengabaikan seberapa baik pasangan data yang disempurnakan selaras dengan tujuan pembelajaran model. Penyetelan Refleksi Selektif menjembatani kesenjangan ini dengan mendorong kolaborasi guru-siswa, dimana model guru melakukan introspeksi terhadap data dan menyediakan pasangan instruksi-respon yang lebih baik, sementara model siswa mengevaluasi dan memilih hanya perbaikan yang paling sesuai dengan kebutuhan pelatihannya.

Proses ini terdiri dari dua fase utama:

1. Refleksi Instruksi Selektif:Model guru merefleksikan instruksi dari sampel yang diberikan dan menghasilkan pasangan respons-instruksi yang disempurnakan. Model siswa kemudian mengevaluasi apakah instruksi baru ini bermanfaat berdasarkan metrik yang disebut Instruksi Mengikuti Kesulitan (IFD)Skor IFD menilai tingkat kesulitan sampel untuk model siswa, memastikan bahwa hanya data yang menantang model dengan tepat yang dipertahankan.
2. Refleksi Respon Selektif:Pada fase ini, model guru melakukan refleksi terhadap respon yang dihasilkan pada fase pertama. Model siswa mengevaluasi respon tersebut dengan menggunakan Instruksi Terbalik Mengikuti Kesulitan (r-IFD), metrik yang mengukur seberapa layak bagi siswa untuk menyimpulkan instruksi berdasarkan respons. Hal ini memastikan bahwa respons tersebut tidak hanya meningkatkan penalaran model tetapi juga selaras dengan pengetahuan siswa yang ada.

Dengan menerapkan keduanya IFD dan r-IFDPenyetelan Refleksi Selektif menghasilkan pasangan data yang menantang namun layak, meningkatkan proses penyetelan instruksi tanpa memerlukan kumpulan data tambahan. Hasilnya adalah sampel efisien dan berkinerja tinggi LLM yang mengungguli banyak model yang lebih besar.

Arsitektur Pemikiran: Bagaimana Refleksi 70B “Berpikir”

Arsitektur dasar Reflection 70B membawa penalaran AI ke tingkat yang baru dengan membagi proses berpikir ke dalam beberapa tahap. Setiap tahap memungkinkan model untuk ditingkatkan secara berulang melalui refleksi diri, seperti halnya kognisi manusia:

1. Data Awal dan Respon: Model ini dimulai dengan menghasilkan respons terhadap instruksi yang diberikan. Output awal ini mirip dengan output LLM standar.
2. Refleksi Instruksi Selektif:Setelah menghasilkan respons awal, model memasuki fase refleksi instruksiModel guru merefleksikan instruksi asli dan menyarankan perbaikan. Saran-saran ini kemudian dievaluasi oleh model siswa menggunakan Skor IFD untuk menentukan apakah pasangan instruksi-respons baru lebih cocok untuk penyetelan lebih lanjut.
3. Refleksi Respon Selektif: Setelah refleksi terhadap instruksi, model bergerak untuk menyempurnakan respons itu sendiri. Di sini, model guru menghasilkan respons baru berdasarkan instruksi yang diperbarui. Model siswa, menggunakan skor r-IFD, mengevaluasi apakah respons baru membantu dalam menyimpulkan instruksi dengan lebih efisien.
4. Penyetelan Instruksi Akhir: Setelah pasangan instruksi-respons terbaik dipilih, pasangan tersebut ditambahkan ke set data akhir yang digunakan untuk menyempurnakan model. Proses multi-tahap ini memastikan bahwa hanya pasangan instruksi-respons yang paling efektif dan koheren yang disertakan dalam data penyempurnaan.

Kredensial mikro refleksi terstruktur Proses ini memungkinkan pengguna melihat bagaimana model mengulangi proses pemikirannya, menciptakan transparansi dan secara signifikan meningkatkan akurasi dan konsistensi dalam tugas-tugas kompleks.

Benchmarking Brilliance: Reflection 70B dalam Aksi

Penggunaan Selective Reflection-Tuning pada Reflection 70B tidak hanya menawarkan proses pelatihan yang lebih canggih, tetapi juga mencapai kinerja terdepan di industri pada berbagai tolok ukur. Melalui mekanisme penilaian mandiri yang berulang, model ini mengungguli model milik sendiri yang ukurannya jauh lebih besar.

1. MMLU (Pemahaman Bahasa Multitask Besar-besaran):Refleksi 70B mencetak skor yang mengesankan 72.2%, mengungguli model sumber terbuka besar lainnya seperti LLaMA 2.
2. Tolok Ukur Matematika: Dalam tugas penalaran matematika, model tersebut melampaui GPT-4 dan Claude 3.5 dengan selisih yang cukup besar, menunjukkan kekuatannya dalam menangani skenario pemecahan masalah yang kompleks.
3. IFEval dan GSM8K:Refleksi 70B juga unggul dalam IFEval, dimana itu koherensi instruksi-respons dievaluasi, dan di GSM8K, tolok ukur pemecahan masalah matematika. Penyetelan yang merefleksikan diri memungkinkan model tersebut untuk menangani masalah yang rumit dan bernuansa secara lebih efektif daripada pesaingnya yang lebih besar.

Dengan memanfaatkan Selective Reflection-Tuning, Reflection 70B menunjukkan bahwa ukuran bukan satu-satunya faktor dalam mencapai kinerja tinggi. Kemampuan untuk mengoreksi diri sendiri dan melakukan refleksi pada outputnya menyebabkan penalaran yang lebih kuat dan lebih koheren, memungkinkannya melampaui model dengan lebih banyak parameter.

Perbandingan Performa sRecycled WizardLM 7B vs. Model Lain

Aplikasi di Dunia Nyata: Memanfaatkan Potensi Reflection 70B

Koreksi kesalahan secara real-time dan pengambilan keputusan yang transparan dari Reflection 70B membuka peluang baru di berbagai bidang. Berikut ini adalah beberapa kasus penggunaan di dunia nyata:

Pemecahan Masalah yang Kompleks

Kekuatan Refleksi 70B terletak pada penanganan masalah yang kompleks. Pertimbangkan pertanyaan matematika yang menantang:

User: "Solve the equation: 2x^2 + 5x - 3 = 0"
Reflection 70B:

<thinking> Applying the quadratic formula...</thinking>
<reflection> A correction in calculation...</reflection>
<output> The solutions are x = 1/2 and x = -3.</output>

Penerjemahan Bahasa dengan Kepekaan Budaya

Berbeda dengan model penerjemahan pada umumnya, Refleksi 70B mengadaptasi penerjemahan bahasa ke dalam konteks budaya:

User: "Translate 'It's raining cats and dogs' to French, considering cultural context."
Reflection 70B:

thinking :The literal translation would be "Il pleut des chats et des chiens"...thinking;
reflection: A culturally appropriate translation would be "Il pleut des cordes."reflection;
output: Translation provided.

Meningkatkan Debugging dan Optimasi Kode

Kemampuan koreksi kesalahan Reflection 70B membuatnya ideal untuk men-debug dan mengoptimalkan kode:

User: "Debug this Python code..."
Reflection 70B: <thinking> Analyzing step by step...</thinking>
<reflection> Identified infinite recursion.</reflection>
<output> Corrected code version with proper recursion.</output>

Memperluas Lanskap Kompetitif Model 70B

Meskipun Reflection 70B sedang menjadi perbincangan, ia merupakan bagian dari ekosistem yang lebih luas yang terdiri dari 70 miliar model parameter. Berikut perbandingannya dengan yang lain:

• Llama Meta 3.1-70B: Model pondasi kuat yang dikenal untuk aplikasi serba guna.
• Claude 2 70B (Antropik): Berfokus pada AI yang etis, mahir dalam penalaran dan pembuatan konten berdurasi panjang.
• GPT-3.5 70B (Buka AI): Versi GPT-4 yang lebih ringan, unggul dalam keseimbangan kinerja dan efisiensi.
• MEKAR 70B: Pusat kekuatan multibahasa yang terlatih dalam bahasa alami dan bahasa pemrograman.
• Elang 70B: Terkenal karena efisiensi pelatihan dan inferensinya.

Menjalankan Model 70B Secara Efisien: Teknik Terbaru

Menjalankan model berukuran ini secara efisien bukanlah tugas yang mudah. ​​Untuk memaksimalkan kinerja, berikut adalah beberapa strategi terbaru:

1. Kuantisasi

Mengurangi ketepatan bobot model membantu menurunkan penggunaan memori dan waktu inferensi. Kuantisasi 4-bit teknik menggunakan BitsAndBytes memungkinkan Reflection 70B berjalan efisien pada GPU yang lebih kecil.

Contoh:

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-70b-hf", load_in_4bit=True)

2. Pecahan Model

Membagi model ke beberapa GPU (misalnya, menggunakan Kecepatan Nol Dalam) memungkinkan penanganan model yang lebih besar tanpa melebihi memori GPU.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

3. Campuran Presisi dan Perhatian Efisien

FlashPerhatian dan para xformer mengurangi beban perhatian, meningkatkan waktu pemrosesan untuk rangkaian masukan yang besar.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

4. Pembongkaran dan Pemangkasan CPU

Pembongkaran CPU dan pemangkasan bobot yang kurang kritis membantu menjalankan model pada perangkat keras yang lebih sederhana sambil tetap mempertahankan kinerja.

from accelerate import cpu_offload
model = cpu_offload(model)

Melihat ke Depan: Masa Depan dengan Refleksi 405B

Batasan berikutnya untuk HyperWrite adalah pengembangan Refleksi 405B, sebuah model yang diharapkan dapat melampaui Reflection 70B baik dalam skala maupun kinerja. Model ini bertujuan untuk mendorong batasan AI sumber terbuka, memposisikan dirinya untuk menantang bahkan model kepemilikan yang paling canggih seperti GPT-5.

Kesimpulan