Tülu 3 Allen AI Menjadi Pesaing Tak Terduga DeepSeek

Berita terus mengalir. Model DeepSeek telah menantang benchmark, menetapkan standar baru, dan membuat banyak kebisingan. Tapi sesuatu yang menarik baru saja terjadi di adegan penelitian AI yang juga layak mendapat perhatian Anda.

Allen AI secara diam-diam merilis keluarga model baru mereka, Tülu 3, dan versi 405B parameter tidak hanya bersaing dengan DeepSeek – tetapi juga menyaingi atau mengungguli pada beberapa benchmark kunci.

Mari kita lihat dari perspektif yang berbeda.

Model Tülu 3 405B parameter ini bersaing dengan performer teratas seperti DeepSeek V3 di berbagai tugas. Kami melihat kinerja yang setara atau unggul dalam bidang seperti masalah matematika, tantangan coding, dan mengikuti instruksi yang tepat. Dan mereka melakukan semua ini dengan pendekatan yang sepenuhnya terbuka.

Mereka telah merilis pipa pelatihan lengkap, kode, dan bahkan metode pembelajaran penguatan baru yang disebut Reinforcement Learning with Verifiable Rewards (RLVR) yang membuat semua ini memungkinkan.

Pengembangan seperti ini selama beberapa minggu terakhir benar-benar mengubah cara pengembangan AI tingkat atas dilakukan. Ketika model sumber terbuka yang sepenuhnya dapat menyaingi model tertutup terbaik di luar sana, ini membuka kemungkinan yang sebelumnya terkunci di balik dinding perusahaan swasta.

Pertarungan Teknis

Apa yang membuat Tülu 3 menonjol? Ini semua karena proses pelatihan unik empat tahap yang melampaui pendekatan tradisional.

Mari kita lihat bagaimana Allen AI membangun model ini:

Tahap 1: Seleksi Data Strategis

Tim tahu bahwa kualitas model dimulai dengan kualitas data. Mereka menggabungkan dataset yang sudah ada seperti WildChat dan Open Assistant dengan konten yang dihasilkan secara kustom. Tapi inilah wawasan kunci: mereka tidak hanya mengumpulkan data – mereka membuat dataset yang ditargetkan untuk keterampilan tertentu seperti penalaran matematika dan kemampuan coding.

Tahap 2: Membangun Respon yang Lebih Baik

Pada tahap kedua, Allen AI fokus pada mengajarkan model keterampilan tertentu. Mereka membuat set data pelatihan yang berbeda – beberapa untuk matematika, yang lain untuk coding, dan lebih banyak lagi untuk tugas umum. Dengan menguji kombinasi ini berulang kali, mereka bisa melihat secara tepat di mana model unggul dan di mana ia memerlukan perbaikan. Proses iteratif ini mengungkap potensi sebenarnya dari apa yang bisa Tülu 3 capai di setiap bidang.

Tahap 3: Belajar dari Perbandingan

Inilah tempat Allen AI menjadi kreatif. Mereka membangun sistem yang bisa membandingkan respon Tülu 3 secara instan dengan model teratas lainnya. Tapi mereka juga menyelesaikan masalah yang persisten di AI – kecenderungan model untuk menulis respon panjang hanya untuk kepentingan panjang. Pendekatan mereka, menggunakan length-normalized Direct Preference Optimization (DPO), berarti model belajar untuk menghargai kualitas atas kuantitas. Hasilnya? Respon yang tepat dan bermakna.

Ketika model AI belajar dari preferensi (respon mana yang lebih baik, A atau B?), mereka cenderung mengembangkan bias yang frustrasi: mereka mulai berpikir bahwa respon yang lebih panjang selalu lebih baik. Ini seperti mereka mencoba menang dengan mengatakan lebih banyak daripada mengatakan hal-hal dengan baik.

Length-normalized DPO memperbaiki ini dengan menyesuaikan cara model belajar dari preferensi. Alih-alih hanya melihat respon mana yang lebih disukai, ia mempertimbangkan panjang setiap respon. Bayangkan ini seperti menilai respon berdasarkan kualitas per kata, bukan hanya dampak total.

Mengapa ini penting? Karena ini membantu Tülu 3 belajar untuk menjadi presisi dan efisien. Alih-alih memadatkan respon dengan kata-kata tambahan untuk tampak lebih komprehensif, ia belajar untuk memberikan nilai dalam panjang yang sebenarnya diperlukan.

Ini mungkin tampak seperti detail kecil, tapi ini sangat penting untuk membangun AI yang berkomunikasi secara alami. Ahli terbaik tahu kapan harus singkat dan kapan harus menjelaskan – dan itu tepat apa yang length-normalized DPO bantu ajar model.

Tahap 4: Inovasi RLVR

Inilah terobosan teknis yang layak mendapat perhatian. RLVR menggantikan model hadiah subjektif dengan verifikasi konkret.

Sebagian besar model AI belajar melalui sistem kompleks model hadiah – pada dasarnya tebakan terdidik tentang apa yang membuat respon baik. Tapi Allen AI mengambil jalur yang berbeda dengan RLVR.

Pikirkan tentang bagaimana kita melatih model AI saat ini. Kita biasanya memerlukan model AI lain (disebut model hadiah) untuk menilai apakah respon baik atau tidak. Ini subjektif, kompleks, dan sering tidak konsisten. Beberapa respon mungkin tampak baik tetapi mengandung kesalahan halus yang terlewatkan.

RLVR membalik pendekatan ini. Alih-alih mengandalkan penilaian subjektif, ia menggunakan hasil yang dapat diverifikasi secara konkret. Ketika model mencoba masalah matematika, tidak ada area abu-abu – jawabannya benar atau salah. Ketika ia menulis kode, kode itu baik berjalan dengan benar atau tidak.

Inilah tempat hal-hal menjadi menarik:

• Model mendapatkan umpan balik segera, biner: 10 poin untuk jawaban yang benar, 0 untuk jawaban yang salah
• Tidak ada ruang untuk kredit sebagian atau evaluasi yang kabur
• Pembelajaran menjadi fokus dan presisi
• Model belajar untuk memprioritaskan akurasi atas respon yang terdengar masuk akal tetapi salah

RLVR Training (Allen AI)

Hasilnya? Tülu 3 menunjukkan perbaikan yang signifikan pada tugas di mana kebenaran paling penting. Kinerjanya pada penalaran matematika (benchmark GSM8K) dan tantangan coding melompat secara signifikan. Bahkan kemampuan mengikuti instruksinya menjadi lebih presisi karena model belajar untuk menghargai akurasi konkret atas respon yang mendekati.

Apa yang membuat ini sangat menarik adalah bagaimana ini mengubah permainan untuk AI sumber terbuka. Pendekatan sebelumnya sering bergelut untuk menyaingi presisi model tertutup pada tugas teknis. RLVR menunjukkan bahwa dengan pendekatan pelatihan yang tepat, model sumber terbuka dapat mencapai tingkat keandalan yang sama.

Melihat Angka-angka

Versi 405B parameter Tülu 3 bersaing langsung dengan model teratas di bidang ini. Mari kita lihat di mana ia unggul dan apa artinya ini untuk AI sumber terbuka.

Matematika

Tülu 3 unggul dalam penalaran matematika kompleks. Pada benchmark seperti GSM8K dan MATH, ia menyaingi kinerja DeepSeek. Model ini menangani masalah multi-langkah dan menunjukkan kemampuan penalaran matematika yang kuat.

Kode

Hasil coding membuktikan kesan yang sama mengesankan. Berkat pelatihan RLVR, Tülu 3 menulis kode yang menyelesaikan masalah secara efektif. Kekuatan utamanya terletak pada pemahaman instruksi coding dan menghasilkan solusi fungsional.

Mengikuti Instruksi yang Tepat

Kemampuan model untuk mengikuti instruksi menonjol sebagai kekuatan inti. Sementara banyak model mendekati atau menggeneralisasi instruksi, Tülu 3 menunjukkan presisi yang luar biasa dalam menjalankan instruksi yang diminta secara tepat.

Membuka Kotak Hitam Pengembangan AI

Allen AI merilis model yang kuat dan proses pengembangan lengkap mereka.

Setiap aspek proses pelatihan didokumentasikan dan dapat diakses. Dari pendekatan empat tahap hingga metode persiapan data dan implementasi RLVR – seluruh proses terbuka untuk dipelajari dan direplikasi. Transparansi ini menetapkan standar baru dalam pengembangan AI kinerja tinggi.

Pengembang menerima sumber daya komprehensif:

• Pipa pelatihan lengkap
• Alat pemrosesan data
• Kerangka evaluasi
• Spesifikasi implementasi

Ini memungkinkan tim untuk:

• Memodifikasi proses pelatihan
• Menyesuaikan metode untuk kebutuhan spesifik
• Membangun pada pendekatan yang terbukti
• Membuat implementasi khusus

Pendekatan terbuka ini mempercepat inovasi di seluruh bidang. Peneliti dapat membangun pada metode yang diverifikasi, sementara pengembang dapat fokus pada perbaikan daripada memulai dari nol.

Munculnya Keunggulan Sumber Terbuka

Keberhasilan Tülu 3 adalah momen besar bagi pengembangan AI sumber terbuka. Ketika model sumber terbuka menyaingi atau melampaui alternatif swasta, ini secara fundamental mengubah industri. Tim penelitian di seluruh dunia mendapatkan akses ke metode yang terbukti, mempercepat pekerjaan mereka, dan memicu inovasi baru. Lab AI swasta harus beradaptasi – baik dengan meningkatkan transparansi atau mendorong batas teknis lebih jauh.

Menghadap ke depan, terobosan Tülu 3 dalam hadiah yang dapat diverifikasi dan pelatihan multi-tahap menunjukkan apa yang akan datang. Tim dapat membangun pada fondasi ini, potensial mendorong kinerja bahkan lebih tinggi. Kode ada, metode didokumentasikan, dan gelombang baru pengembangan AI telah dimulai. Bagi pengembang dan peneliti, kesempatan untuk bereksperimen dan memperbaiki metode ini menandai awal babak yang menarik dalam pengembangan AI.

Pertanyaan yang Sering Diajukan (FAQ) tentang Tülu 3

Apa itu Tülu 3 dan apa fitur-fitur utamanya?

Tülu 3 adalah keluarga model LLM sumber terbuka yang dikembangkan oleh Allen AI, dibangun atas arsitektur Llama 3.1. Ini tersedia dalam berbagai ukuran (8B, 70B, dan 405B parameter). Tülu 3 dirancang untuk kinerja yang ditingkatkan di berbagai tugas, termasuk pengetahuan, penalaran, matematika, coding, mengikuti instruksi, dan keamanan.

Apa proses pelatihan Tülu 3 dan data apa yang digunakan?

Pelatihan Tülu 3 melibatkan beberapa tahap kunci. Pertama, tim mengkurasi berbagai set prompt dari dataset publik dan data sintetis yang ditargetkan untuk keterampilan tertentu, memastikan data bebas dari kontaminasi benchmark. Kedua, pelatihan fine-tuning yang diawasi (SFT) dilakukan pada campuran data instruksi, matematika, dan coding. Selanjutnya, optimasi preferensi langsung (DPO) digunakan dengan data preferensi yang dihasilkan melalui umpan balik manusia dan LLM. Terakhir, Reinforcement Learning with Verifiable Rewards (RLVR) digunakan untuk tugas dengan kebenaran yang dapat diukur. Tülu 3 menggunakan dataset yang dikurasi untuk setiap tahap, termasuk instruksi yang dipandu persona, matematika, dan data kode.

Bagaimana Tülu 3 mendekati keamanan dan apa metrik yang digunakan untuk mengevaluasinya?

Keamanan adalah komponen inti dari pengembangan Tülu 3, yang ditangani sepanjang proses pelatihan. Dataset khusus keamanan digunakan selama SFT, yang ditemukan sebagian besar orthogonal terhadap data tugas lainnya.

Apa itu RLVR?

RLVR adalah teknik di mana model dilatih untuk mengoptimalkan hadiah yang dapat diverifikasi, seperti kebenaran jawaban. Ini berbeda dari RLHF tradisional yang menggunakan model hadiah.