Di Dalam DBRX: Databricks Meluncurkan LLM Sumber Terbuka yang Kuat

Dalam bidang large language models (LLMs) yang berkembang pesat, sebuah model baru yang kuat telah muncul – DBRX, sebuah model sumber terbuka yang dibuat oleh Databricks. LLM ini membuat gelombang dengan kinerjanya yang canggih di berbagai benchmark, bahkan menyaingi kemampuan raksasa industri seperti OpenAI’s GPT-4.

DBRX mewakili sebuah tonggak penting dalam demokratisasi kecerdasan buatan, memberikan akses terbuka kepada peneliti, pengembang, dan perusahaan untuk menggunakan model bahasa kelas atas. Tapi apa sebenarnya DBRX, dan apa yang membuatnya begitu spesial? Dalam technical deep dive ini, kita akan menjelajahi arsitektur inovatif, proses pelatihan, dan kemampuan kunci yang telah mendorong DBRX ke garis depan lanskap LLM sumber terbuka.

Kelahiran DBRX Pembuatan DBRX didorong oleh misi Databricks untuk membuat kecerdasan data dapat diakses oleh semua perusahaan. Sebagai pemimpin di platform analitik data, Databricks mengakui potensi besar LLM dan berusaha mengembangkan model yang dapat menyaingi atau bahkan melampaui kinerja penawaran proprietary.

Setelah berbulan-bulan penelitian, pengembangan, dan investasi multi-juta dolar, tim Databricks mencapai terobosan dengan DBRX. Kinerja model yang impresif pada berbagai benchmark, termasuk pemahaman bahasa, pemrograman, dan matematika, secara kuat menetapkan DBRX sebagai model sumber terbuka baru.

Arsitektur Inovatif

Kekuatan Mixture-of-Experts Di inti kinerja DBRX yang luar biasa terletak pada arsitektur mixture-of-experts (MoE) yang inovatif. Desain canggih ini mewakili perubahan dari model padat tradisional, mengadopsi pendekatan yang lebih ramping yang meningkatkan efisiensi pelatihan dan kecepatan inferensi.

Dalam kerangka MoE, hanya sekelompok komponen yang dipilih, disebut “ahli,” yang diaktifkan untuk setiap input. Spesialisasi ini memungkinkan model untuk menangani berbagai tugas dengan lebih terampil, sambil juga mengoptimalkan sumber daya komputasi.

DBRX membawa konsep ini lebih jauh dengan arsitektur MoE yang halus. Tidak seperti beberapa model MoE lain yang menggunakan jumlah ahli yang lebih kecil, DBRX menggunakan 16 ahli, dengan empat ahli aktif untuk setiap input. Desain ini menyediakan kombinasi ahli yang mungkin sebanyak 65 kali lebih banyak, yang secara langsung menyumbang kinerja DBRX yang unggul.

DBRX membedakan diri dengan beberapa fitur inovatif:

• Kode Posisi Rotary (RoPE): Meningkatkan pemahaman posisi token, yang sangat penting untuk menghasilkan teks yang akurat secara kontekstual.
• Unit Linear Bergate (GLU): Memperkenalkan mekanisme gatenya yang meningkatkan kemampuan model untuk mempelajari pola kompleks dengan lebih efisien.
• Perhatian Kelompok Query (GQA): Meningkatkan efisiensi model dengan mengoptimalkan mekanisme perhatian.
• Tokenisasi Lanjutan: Menggunakan tokenizer GPT-4 untuk memproses input dengan lebih efektif.

Arsitektur MoE sangat cocok untuk model bahasa besar, karena memungkinkan skala yang lebih efisien dan penggunaan sumber daya komputasi yang lebih baik. Dengan mendistribusikan proses pembelajaran di seluruh jaringan sub-spesialis, DBRX dapat secara efektif mengalokasikan data dan daya komputasi untuk setiap tugas, memastikan kualitas output yang tinggi dan efisiensi optimal.

Data Pelatihan yang Luas dan Optimasi yang Efisien Sementara arsitektur DBRX memang impresif, kekuatan sebenarnya terletak pada proses pelatihan yang cermat dan jumlah data yang sangat besar yang diproses. DBRX telah dipratinjau pada 12 triliun token teks dan data kode, yang dipilih dengan hati-hati untuk memastikan kualitas tinggi dan keragaman.

Data pelatihan diproses menggunakan serangkaian alat Databricks, termasuk Apache Spark untuk pemrosesan data, Unity Catalog untuk manajemen dan tata kelola data, dan MLflow untuk pelacakan eksperimen. Set alat komprehensif ini memungkinkan tim Databricks untuk secara efektif mengelola, mengeksplorasi, dan memperbaiki dataset besar, meletakkan dasar untuk kinerja DBRX yang luar biasa.

Untuk lebih meningkatkan kemampuan model, Databricks menggunakan kurikulum pelatihan dinamis, yang secara inovatif mengubah campuran data selama pelatihan. Strategi ini memungkinkan setiap token untuk diproses secara efektif menggunakan 36 miliar parameter aktif, menghasilkan model yang lebih seimbang dan adaptif.

Selain itu, proses pelatihan DBRX dioptimalkan untuk efisiensi, menggunakan teknik seperti pembelajaran kurikulum dan strategi optimasi yang ditingkatkan. Dengan menggunakan teknik-teknik ini, tim mencapai peningkatan efisiensi komputasi hampir empat kali lipat dibandingkan dengan model sebelumnya.

Training dan Arsitektur

DBRX dilatih menggunakan model prediksi token berikutnya pada dataset kolosal 12 triliun token, menekankan baik teks dan kode. Set pelatihan ini diyakini jauh lebih efektif daripada yang digunakan dalam model sebelumnya, memastikan pemahaman dan kemampuan respons yang kaya di berbagai prompt.

Arsitektur DBRX tidak hanya merupakan bukti keahlian teknis Databricks, tetapi juga menyoroti aplikasinya di berbagai sektor. Dari meningkatkan interaksi chatbot hingga memungkinkan analisis data kompleks, DBRX dapat diintegrasikan ke dalam berbagai bidang yang memerlukan pemahaman bahasa yang halus.

DBRX Instruct bahkan menyaingi beberapa model tertutup yang paling canggih di pasar. Menurut pengukuran Databricks, DBRX melampaui GPT-3.5 dan kompetitif dengan Gemini 1.0 Pro dan Mistral Medium di berbagai benchmark, termasuk pengetahuan umum, penalaran umum, pemrograman, dan penalaran matematika.

Misalnya, pada benchmark MMLU, yang mengukur pemahaman bahasa, DBRX Instruct mencapai skor 73,7%, melampaui skor GPT-3.5 yang dilaporkan sebesar 70,0%. Pada benchmark HellaSwag untuk penalaran umum, DBRX Instruct mencapai skor 89,0%, melampaui skor GPT-3.5 sebesar 85,5%.

DBRX Instruct benar-benar bersinar, mencapai akurasi 70,1% pada benchmark HumanEval, melampaui tidak hanya GPT-3.5 (48,1%) tetapi juga model CodeLLaMA-70B Instruct (67,8%).

Hasil luar biasa ini menyoroti kelenturan DBRX dan kemampuannya untuk unggul di berbagai tugas, dari pemahaman bahasa alami hingga pemrograman dan pemecahan masalah matematika yang kompleks.

Inferensi yang Efisien dan Skalabilitas Salah satu kelebihan utama arsitektur MoE DBRX adalah efisiensinya selama inferensi. Berkat aktivasi parameter yang ramping, DBRX dapat mencapai throughput inferensi yang dua hingga tiga kali lebih cepat daripada model padat dengan jumlah parameter total yang sama.

Dibandingkan dengan LLaMA2-70B, sebuah model LLM sumber terbuka populer, DBRX tidak hanya menunjukkan kualitas yang lebih tinggi tetapi juga memiliki kecepatan inferensi hampir dua kali lipat, meskipun memiliki sekitar setengah jumlah parameter aktif. Efisiensi ini membuat DBRX menjadi pilihan menarik untuk diterapkan dalam berbagai aplikasi, dari pembuatan konten hingga analisis data dan lain-lain.

Selain itu, Databricks telah mengembangkan tumpukan pelatihan yang kuat yang memungkinkan perusahaan untuk melatih model DBRX kelas mereka sendiri dari awal atau melanjutkan pelatihan dari titik awal yang disediakan. Kemampuan ini memungkinkan bisnis untuk memanfaatkan potensi penuh DBRX dan menyesuaikannya dengan kebutuhan spesifik mereka, lebih lanjut mendemokratisasi akses ke teknologi LLM canggih.

Aksesibilitas dan Integrasi

Sejalan dengan misinya untuk mempromosikan akses terbuka ke AI, Databricks telah membuat DBRX tersedia melalui berbagai saluran. Berat model baik untuk model dasar (DBRX Base) dan model yang telah diperhalus (DBRX Instruct) diposting di platform Hugging Face yang populer, memungkinkan peneliti dan pengembang untuk dengan mudah mengunduh dan bekerja dengan model tersebut.

Selain itu, repositori model DBRX tersedia di GitHub, memberikan transparansi dan memungkinkan penjelajahan dan kustomisasi kode model lebih lanjut.

Untuk pelanggan Databricks, DBRX Base dan DBRX Instruct dapat diakses dengan mudah melalui API Model Dasar Databricks, memungkinkan integrasi yang mulus ke dalam alur kerja dan aplikasi yang ada. Ini tidak hanya memudahkan proses penerapan tetapi juga memastikan tata kelola data dan keamanan untuk kasus penggunaan yang sensitif.

Selain itu, DBRX telah diintegrasikan ke dalam beberapa platform dan layanan pihak ketiga, seperti You.com dan Perplexity Labs, memperluas jangkauannya dan aplikasi potensial. Integrasi ini menunjukkan minat yang tumbuh terhadap DBRX dan kemampuannya, serta adopsi LLM sumber terbuka yang meningkat di berbagai industri dan kasus penggunaan.

Kemampuan Konteks Panjang dan Generasi yang Diperkuat Pencarian Salah satu fitur unggulan DBRX adalah kemampuannya untuk menangani input konteks panjang, dengan panjang konteks maksimum 32.768 token. Kemampuan ini memungkinkan model untuk memproses dan menghasilkan teks berdasarkan informasi kontekstual yang luas, membuatnya sangat cocok untuk tugas seperti ringkasan dokumen, menjawab pertanyaan, dan pengambilan informasi.

Dalam benchmark yang mengevaluasi kinerja konteks panjang, seperti KV-Pairs dan HotpotQAXL, DBRX Instruct mengungguli GPT-3.5 Turbo di berbagai panjang urutan dan posisi konteks.

DBRX mengungguli model sumber terbuka yang mapan dalam pemahaman bahasa, pemrograman, dan matematika.

Batasan dan Pekerjaan Masa Depan

Sementara DBRX mewakili pencapaian signifikan dalam bidang LLM sumber terbuka, penting untuk mengakui batasannya dan area untuk perbaikan di masa depan. Seperti model AI lainnya, DBRX mungkin menghasilkan respons yang tidak akurat atau bias, tergantung pada kualitas dan keragaman data pelatihannya.

Selain itu, sementara DBRX unggul dalam tugas umum, aplikasi spesifik domain mungkin memerlukan penyetelan lebih lanjut atau pelatihan khusus untuk mencapai kinerja optimal. Misalnya, dalam skenario di mana akurasi dan keandalan sangat penting, Databricks merekomendasikan menggunakan teknik generasi yang diperkuat pencarian (RAG) untuk meningkatkan output model.

Selanjutnya, dataset pelatihan DBRX saat ini terutama terdiri dari konten bahasa Inggris, yang berpotensi membatasi kinerjanya pada tugas non-Inggris. Iterasi masa depan model mungkin melibatkan perluasan dataset pelatihan untuk mencakup berbagai bahasa dan konteks budaya.

Databricks berkomitmen untuk terus meningkatkan kemampuan DBRX, mengatasi batasannya, dan memperluas aplikasinya. Pekerjaan masa depan akan fokus pada meningkatkan kinerja, skalabilitas, dan kemudahan penggunaan model di berbagai aplikasi dan kasus penggunaan, serta menjelajahi teknik untuk mitigasi bias potensial dan mempromosikan penggunaan AI yang etis.

Selain itu, perusahaan berencana untuk lebih memperhalus proses pelatihan, menggunakan teknik seperti pembelajaran federasi dan metode privasi-pengawasan untuk memastikan privasi dan keamanan data.

Jalan Menuju Masa Depan

DBRX mewakili langkah besar dalam demokratisasi pengembangan AI. Ini membayangkan masa depan di mana setiap perusahaan memiliki kemampuan untuk mengendalikan data dan takdirnya di dunia AI generatif yang muncul.

Dengan membuka sumber DBRX dan memberikan akses ke alat dan infrastruktur yang sama yang digunakan untuk membangunnya, Databricks memberdayakan bisnis dan peneliti untuk mengembangkan model AI kelas Databricks yang disesuaikan dengan kebutuhan spesifik mereka.

Melalui platform Databricks, pelanggan dapat memanfaatkan serangkaian alat pemrosesan data perusahaan, termasuk Apache Spark, Unity Catalog, dan MLflow, untuk mengkurasi dan mengelola data pelatihan mereka. Mereka kemudian dapat menggunakan perpustakaan pelatihan yang dioptimalkan Databricks, seperti Composer, LLM Foundry, MegaBlocks, dan Streaming, untuk melatih model DBRX kelas mereka sendiri dengan efisien dan skala besar.

Demokratisasi pengembangan AI ini memiliki potensi untuk membuka gelombang inovasi baru, karena perusahaan memperoleh kemampuan untuk memanfaatkan kekuatan model bahasa besar untuk berbagai aplikasi, dari pembuatan konten dan analisis data hingga dukungan keputusan dan lain-lain.

Selain itu, dengan mempromosikan ekosistem terbuka dan kolaboratif di sekitar DBRX, Databricks bertujuan untuk mempercepat laju penelitian dan pengembangan dalam bidang model bahasa besar. Ketika lebih banyak organisasi dan individu memberikan kontribusi keahlian dan wawasan mereka, pengetahuan dan pemahaman kolektif tentang sistem AI kuat ini akan terus tumbuh, membuka jalan bagi model yang lebih maju dan mampu di masa depan.

Kesimpulan

DBRX adalah permainan yang berubah dalam dunia model bahasa besar sumber terbuka. Dengan arsitektur mixture-of-experts yang inovatif, data pelatihan yang luas, dan kinerja kelas atas, DBRX telah menetapkan benchmark baru untuk apa yang mungkin dilakukan dengan model LLM sumber terbuka.

Dengan mendemokratisasi akses ke teknologi AI canggih, DBRX memberdayakan peneliti, pengembang, dan perusahaan untuk menjelajahi frontiers baru dalam pemrosesan bahasa alami, pembuatan konten, analisis data, dan lain-lain. Ketika Databricks terus memperbaiki dan meningkatkan DBRX, aplikasi dan dampak potensial model kuat ini benar-benar tidak terbatas.