Reflection 70B: LLM dengan Kognisi Koreksi Diri dan Kinerja Terdepan

Reflection 70B adalah model bahasa besar (LLM) open-source yang dikembangkan oleh HyperWrite. Model baru ini memperkenalkan pendekatan baru dalam kognisi AI yang dapat mengubah cara kita berinteraksi dengan dan mengandalkan sistem AI di berbagai bidang, dari pemrosesan bahasa hingga pemecahan masalah lanjutan.

Menggunakan Reflection-Tuning, teknik yang memungkinkan model untuk menilai dan memperbaiki kesalahan sendiri secara real-time, Reflection 70B telah dengan cepat naik ke atas, mengungguli model proprietary seperti GPT-4 dan Claude 3.5 Sonnet di berbagai benchmark, termasuk MMLU, MATH, dan HumanEval.

Reflection 70B dibangun di atas arsitektur Llama 3.1-70B yang kuat, tetapi mekanisme perbaikan dirinya yang membedakannya. Melalui siklus refleksi, deteksi kesalahan, dan penyempurnaan output, model ini meniru kognisi manusia dengan cara yang belum pernah terjadi sebelumnya, mendorong batas apa yang dapat dicapai AI. Sebagai hasilnya, Reflection 70B menawarkan tidak hanya akurasi yang tidak tertandingi tetapi juga wawasan yang lebih dalam tentang proses pengambilan keputusannya, fitur yang sangat penting untuk aplikasi di mana transparansi dan presisi sangat penting.

Apa itu Reflection 70B

Pada intinya, Reflection 70B dibangun atas model Instruct Llama 3.1-70B open-source Meta. Namun, apa yang benar-benar membedakannya adalah kemampuan uniknya untuk terlibat dalam proses yang mirip dengan refleksi manusia—hence namanya. Kemampuan ini berasal dari teknik yang disebut “Reflection-Tuning,” yang memungkinkan model untuk mengidentifikasi dan memperbaiki kesalahan sendiri secara real-time, sehingga meningkatkan akurasi dan keandalannya.

Matt Shumer, CEO HyperWrite, memperkenalkan Reflection 70B dengan klaim bahwa itu adalah “model AI open-source terkuat di dunia.” Tapi apa yang membuat model ini begitu spesial, dan bagaimana ia membandingkan dengan raksasa industri seperti GPT-4 dan Claude 3.5 Sonnet? Mari kita jelajahi.

Mengerti Reflection-Tuning Selektif: Perubahan Paradigma dalam Pelatihan AI

Reflection-Tuning selektif memperkenalkan pendekatan baru dalam pelatihan instruksi, di mana tujuannya adalah untuk meningkatkan kualitas data instruksi dan kompatibilitasnya dengan model siswa yang sedang diperbarui. Metode tradisional sering fokus pada meningkatkan data itu sendiri tetapi mengabaikan seberapa baik data yang ditingkatkan pasangan dengan tujuan pembelajaran model. Reflection-Tuning selektif menjembatani kesenjangan ini dengan memfasilitasi kolaborasi guru-murid, di mana model guru memikirkan kembali data dan menyediakan pasangan instruksi-respon yang diperbarui, sementara model siswa mengevaluasi dan memilih hanya perbaikan yang paling sesuai dengan kebutuhan pelatihannya.

Proses ini terdiri dari dua fase kunci:

1. Refleksi Instruksi Selektif: Model guru memikirkan kembali instruksi dari sampel yang diberikan dan menghasilkan pasangan instruksi-respon yang diperbarui. Model siswa kemudian mengevaluasi apakah instruksi baru ini bermanfaat berdasarkan metrik yang disebut Kesulitan Mengikuti Instruksi (IFD). Skor IFD menilai kesulitan sampel untuk model siswa, memastikan bahwa hanya data yang menantang model dengan tepat yang dipertahankan.
2. Refleksi Respon Selektif: Pada fase ini, model guru memikirkan kembali respon yang dihasilkan pada fase pertama. Model siswa mengevaluasi respon ini menggunakan Kesulitan Mengikuti Instruksi Terbalik (r-IFD), metrik yang mengukur seberapa mudah bagi model siswa untuk menyimpulkan instruksi berdasarkan respon. Ini memastikan bahwa respon tidak hanya meningkatkan alasan model tetapi juga selaras dengan pengetahuan siswa yang ada.

Dengan menerapkan baik IFD dan r-IFD, Reflection-Tuning selektif menghasilkan pasangan data yang menantang tetapi layak, meningkatkan proses pelatihan instruksi tanpa memerlukan dataset tambahan. Hasilnya adalah LLM yang lebih efisien sampel dan berkinerja tinggi yang mengungguli banyak model yang lebih besar.

Arsitektur Pemikiran: Bagaimana Reflection 70B “Berpikir”

Arsitektur Reflection 70B membagi proses berpikir menjadi beberapa tahap. Setiap tahap memungkinkan model untuk memperbaiki diri secara iteratif melalui refleksi, mirip dengan kognisi manusia:

1. Data dan Respon Awal: Model memulai dengan menghasilkan respon terhadap instruksi yang diberikan. Output awal ini mirip dengan output LLM standar.
2. Refleksi Instruksi Selektif: Setelah menghasilkan respon awal, model memasuki fase refleksi instruksi. Model guru memikirkan kembali instruksi asli dan menyarankan perbaikan. Saran ini kemudian dievaluasi oleh model siswa menggunakan skor IFD untuk menentukan apakah pasangan instruksi-respon baru lebih sesuai untuk penyetelan lebih lanjut.
3. Refleksi Respon Selektif: Setelah refleksi instruksi, model beralih untuk memperbaiki respon itu sendiri. Di sini, model guru menghasilkan respon baru berdasarkan instruksi yang diperbarui. Model siswa, menggunakan skor r-IFD, mengevaluasi apakah respon baru membantu dalam menyimpulkan instruksi lebih efisien.
4. Penyetelan Instruksi Akhir: Setelah pasangan instruksi-respon terbaik dipilih, itu ditambahkan ke dataset akhir yang digunakan untuk penyetelan model. Proses multi-tahap ini memastikan bahwa hanya pasangan instruksi-respon yang paling efektif dan kohern yang dimasukkan dalam data penyetelan.

Proses refleksi terstruktur ini memungkinkan pengguna untuk melihat bagaimana model beriterasi melalui proses berpikirnya, menciptakan transparansi dan memperbaiki akurasi dan konsistensi dalam tugas yang kompleks.

Mengukur Kebrilian: Reflection 70B dalam Aksi

Penggunaan Reflection-Tuning oleh Reflection 70B tidak hanya menawarkan proses pelatihan yang lebih canggih tetapi juga mencapai kinerja terdepan di berbagai benchmark. Melalui mekanisme penilaian diri yang iteratif, model ini mengungguli model proprietary yang jauh lebih besar dalam ukuran.

1. MMLU (Pemahaman Bahasa Multitugas Masif): Reflection 70B mencetak 72,2%, mengungguli model open-source besar lainnya seperti LLaMA 2.
2. Benchmark Matematika: Dalam tugas penalaran matematika, model ini mengungguli GPT-4 dan Claude 3.5 dengan margin yang cukup besar, menunjukkan kekuatannya dalam menangani skenario pemecahan masalah yang kompleks.
3. IFEval dan GSM8K: Reflection 70B juga unggul dalam IFEval, di mana koherensi instruksi-responnya dievaluasi, dan dalam GSM8K, benchmark pemecahan masalah matematika. Penyetelan reflektif memungkinkan model untuk menangani masalah yang kompleks dan nuansa dengan lebih efektif daripada kompetitornya yang lebih besar.

Dengan menggunakan Reflection-Tuning selektif, Reflection 70B menunjukkan bahwa ukuran bukan satu-satunya faktor dalam mencapai kinerja tinggi. Kemampuan untuk memperbaiki diri dan merefleksikan outputnya menghasilkan alasan yang lebih kuat dan kohern, memungkinkan model untuk mengungguli model dengan lebih banyak parameter.

Aplikasi Dunia Nyata: Menggunakan Potensi Reflection 70B

Koreksi kesalahan waktu nyata dan pengambilan keputusan transparan Reflection 70B membuka pintu baru di berbagai bidang. Berikut beberapa contoh aplikasi dunia nyata:

Pemecahan Masalah Kompleks

Kelebihan Reflection 70B terletak pada penanganan masalah kompleks. Pertimbangkan sebuah pertanyaan matematika yang menantang:

<p>Pengguna: "Selesaikan persamaan: 2x^2 + 5x - 3 = 0"
Reflection 70B:</p>

<p>&lt;thinking&gt; Menggunakan rumus kuadrat...&lt;/thinking&gt;
&lt;reflection&gt; Koreksi dalam perhitungan...&lt;/reflection&gt;
&lt;output&gt; Solusinya adalah x = 1/2 dan x = -3.&lt;/output&gt;

Terjemahan Bahasa dengan Sensitivitas Budaya

Tidak seperti model terjemahan biasa, Reflection 70B menyesuaikan terjemahan bahasa dengan konteks budaya:

Pengguna: "Terjemahkan 'It's raining cats and dogs' ke dalam bahasa Prancis, mempertimbangkan konteks budaya."
Reflection 70B:

<p>thinking : Terjemahan harfiah akan menjadi "Il pleut des chats et des chiens"...thinking;
reflection: Terjemahan yang tepat dalam konteks budaya akan menjadi "Il pleut des cordes."reflection;
output: Terjemahan disediakan.

Meningkatkan Pemecahan Masalah dan Optimasi Kode

Kemampuan koreksi kesalahan Reflection 70B membuatnya ideal untuk pemecahan masalah dan optimasi kode:

Pengguna: "Perbaiki kode Python ini..."
Reflection 70B: <thinking> Menganalisis langkah demi langkah...</thinking>
<reflection> Mengidentifikasi rekursi tak terhingga.</reflection>
<output> Versi kode yang diperbaiki dengan rekursi yang tepat.</output>

Mengembangkan Lanskap Kompetitif Model 70B

Sementara Reflection 70B membuat gelombang, itu adalah bagian dari ekosistem model 70 miliar parameter yang lebih luas. Berikut adalah bagaimana ia membandingkan dengan yang lain:

• Llama 3.1-70B Meta: Model dasar yang kuat dikenal untuk aplikasi umum.
• Claude 2 70B (Anthropic): Fokus pada etika AI, terampil dalam penalaran dan generasi konten panjang.
• GPT-3.5 70B (OpenAI): Versi yang lebih ringan dari GPT-4, unggul dalam keseimbangan kinerja-efisiensi.
• BLOOM 70B: Kekuatan multibahasa yang dilatih pada bahasa alami dan pemrograman.
• Falcon 70B: Dikenal karena efisiensi pelatihan dan inferensi.

Menggunakan Model 70B dengan Efisien: Teknik Terbaru

Menggunakan model sebesar ini dengan efisien bukanlah tugas yang kecil. Untuk memaksimalkan kinerja, berikut adalah strategi terbaru:

1. Kuantisasi

Mengurangi presisi bobot model membantu menurunkan penggunaan memori dan waktu inferensi. Teknik kuantifikasi 4-bit menggunakan BitsAndBytes memungkinkan Reflection 70B untuk berjalan secara efisien pada GPU yang lebih kecil.

Contoh:

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-70b-hf", load_in_4bit=True)

2. Pembagian Model

Membagi model di seluruh beberapa GPU (misalnya, menggunakan DeepSpeed Zero) memungkinkan untuk menangani model yang lebih besar tanpa melebihi memori GPU.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

3. Presisi Campuran dan Perhatian Efisien

FlashAttention dan xformers mengurangi beban perhatian, memperbaiki waktu pemrosesan untuk urutan input yang panjang.

from xformers.ops import memory_efficient_attention
model.attention = memory_efficient_attention

4. Offloading CPU dan Pemangkasan

Offloading CPU dan pemangkasan bobot yang kurang kritis membantu menjalankan model pada perangkat keras yang lebih sederhana sambil mempertahankan kinerja.

from accelerate import cpu_offload
model = cpu_offload(model)

Menghadap Masa Depan: Masa Depan dengan Reflection 405B

Horizon berikutnya untuk HyperWrite adalah pengembangan Reflection 405B, model yang diharapkan untuk mengungguli Reflection 70B dalam skala dan kinerja. Model ini bertujuan untuk mendorong batas-batas AI open-source, memposisikan diri untuk menantang bahkan model proprietary yang paling canggih seperti GPT-5.

Kesimpulan