Vnútri DBRX: Databricks uvoľňuje výkonnú LLM s otvoreným zdrojom

V rýchlo sa rozvíjajúcej oblasti veľkých jazykových modelov (LLM) sa objavil nový výkonný model – DBRX, open source model vytvorený Databricks. Tento LLM robí vlny svojim špičkovým výkonom v širokej škále benchmarkov, dokonca konkuruje schopnostiam priemyselných gigantov, ako je OpenAI GPT-4.

DBRX predstavuje významný míľnik v demokratizácii umelej inteligencie a poskytuje výskumníkom, vývojárom a podnikom otvorený prístup k špičkovému jazykovému modelu. Ale čo presne je DBRX a čím je taký výnimočný? V tomto technickom hĺbkovom ponore preskúmame inovatívnu architektúru, tréningový proces a kľúčové schopnosti, ktoré posunuli DBRX do popredia otvoreného prostredia LLM.

Zrodenie DBRX Vytvorenie DBRX bolo poháňané poslaním Databricks sprístupniť dátovú inteligenciu všetkým podnikom. Ako líder v platformách na analýzu údajov spoločnosť Databricks rozpoznala obrovský potenciál LLM a rozhodla sa vyvinúť model, ktorý by mohol zodpovedať alebo dokonca prekonať výkon vlastných ponúk.

Po mesiacoch intenzívneho výskumu, vývoja a investícii vo výške niekoľkých miliónov dolárov dosiahol tím Databricks prelom s DBRX. Pôsobivý výkon modelu v širokom spektre benchmarkov, vrátane jazykového porozumenia, programovania a matematiky, ho pevne etabloval ako nový stav-of-the-art v otvorených LLM.

Inovatívna architektúra

Sila mixu expertov Jadrom výnimočného výkonu DBRX je jeho inovatívna architektúra mix-of-experts (MoE). Tento špičkový dizajn predstavuje odklon od tradičných hustých modelov a využíva riedky prístup, ktorý zvyšuje efektivitu predtréningu a rýchlosť odvodzovania.

V rámci MŽP sa pre každý vstup aktivuje iba vybraná skupina komponentov, nazývaná „experti“. Táto špecializácia umožňuje modelu riešiť širšiu škálu úloh s väčšou obratnosťou a zároveň optimalizovať výpočtové zdroje.

DBRX posúva tento koncept ešte ďalej vďaka svojej jemnozrnnej architektúre MoE. Na rozdiel od niektorých iných modelov MŽP, ktoré využívajú menší počet väčších expertov, DBRX zamestnáva 16 expertov, pričom štyria experti sú aktívni pre akýkoľvek daný vstup. Tento dizajn poskytuje ohromujúcich 65-krát viac možných odborných kombinácií, čo priamo prispieva k vynikajúcemu výkonu DBRX.

DBRX sa odlišuje niekoľkými inovatívnymi funkciami:

• Kódovanie rotačnej polohy (RoPE): Zlepšuje pochopenie pozícií tokenov, čo je kľúčové pre generovanie kontextovo presného textu.
• Gated Linear Units (GLU): Zavádza mechanizmus hradlovania, ktorý zvyšuje schopnosť modelu efektívnejšie sa učiť zložité vzory.
• Grouped Query Attention (GQA): Zlepšuje efektivitu modelu optimalizáciou mechanizmu pozornosti.
• Pokročilá tokenizácia: Využíva tokenizér GPT-4 na efektívnejšie spracovanie vstupov.

Architektúra MŽP je vhodná najmä pre rozsiahle jazykové modely, pretože umožňuje efektívnejšie škálovanie a lepšie využitie výpočtových zdrojov. Vďaka distribúcii procesu učenia do viacerých špecializovaných podsietí môže DBRX efektívne prideľovať údaje a výpočtový výkon pre každú úlohu, čím sa zabezpečí vysokokvalitný výstup a optimálna účinnosť.

Rozsiahle školiace údaje a efektívna optimalizácia Aj keď je architektúra DBRX nepochybne pôsobivá, jej skutočná sila spočíva v precíznom tréningovom procese a obrovskom množstve údajov, ktorým bola vystavená. DBRX bol vopred pripravený na ohromujúcich 12 biliónoch tokenov textových a kódových údajov, starostlivo upravených, aby bola zabezpečená vysoká kvalita a rozmanitosť.

Tréningové dáta boli spracované pomocou sady nástrojov Databricks, vrátane Apache Spark na spracovanie dát, Unity Catalog na správu a riadenie dát a MLflow na sledovanie experimentov. Táto komplexná sada nástrojov umožnila tímu Databricks efektívne spravovať, skúmať a zdokonaľovať rozsiahly súbor údajov, čím položili základ pre výnimočný výkon DBRX.

Aby sa ešte viac zlepšili možnosti modelu, Databricks použila dynamické predškolské osnovy, ktoré inovatívne zmenili mix údajov počas školenia. Táto stratégia umožnila efektívne spracovať každý token pomocou aktívnych 36 miliárd parametrov, výsledkom čoho je komplexnejší a prispôsobivejší model.

Okrem toho bol tréningový proces DBRX optimalizovaný pre efektívnosť s využitím balíka proprietárnych nástrojov a knižníc Databricks, vrátane Composer, LLM Foundry, MegaBlocks a Streaming. Využitím techník, ako je učenie sa učebných osnov a optimalizované optimalizačné stratégie, tím dosiahol takmer štvornásobné zlepšenie výpočtovej efektivity v porovnaní s ich predchádzajúcimi modelmi.

Školenie a architektúra

DBRX bol trénovaný pomocou modelu predikcie ďalšieho tokenu na kolosálnom súbore údajov s 12 biliónmi tokenov s dôrazom na text aj kód. Predpokladá sa, že táto školiaca súprava je podstatne účinnejšia ako tie, ktoré sa používali v predchádzajúcich modeloch, pričom zaisťuje bohaté porozumenie a schopnosť reagovať na rôzne výzvy.

Architektúra DBRX nie je len dôkazom technickej zdatnosti Databricks, ale tiež zdôrazňuje jej uplatnenie vo viacerých sektoroch. Od vylepšovania interakcií chatbotov až po napájanie komplexných úloh analýzy údajov, DBRX možno integrovať do rôznych oblastí, ktoré si vyžadujú jemné porozumenie jazyka.

Je pozoruhodné, že DBRX Instruct dokonca konkuruje niektorým z najpokročilejších uzavretých modelov na trhu. Podľa meraní Databricks prekonáva GPT-3.5 a je konkurencieschopný s Gemini 1.0 Pro a Mistral Medium v ​​rôznych benchmarkoch, vrátane všeobecných znalostí, zdravého uvažovania, programovania a matematického uvažovania.

Napríklad v benchmarku MMLU, ktorý meria porozumenie jazyka, DBRX Instruct dosiahol skóre 73.7 %, čím prekonal skóre GPT-3.5 70.0 %. V benchmarku HellaSwag zdravého rozumu dosiahol DBRX Instruct pôsobivých 89.0 %, čím prekonal GPT-3.5 85.5 %.

DBRX Instruct skutočne žiari a dosahuje pozoruhodnú presnosť 70.1 % v benchmarku HumanEval, čím prekonáva nielen GPT-3.5 (48.1 %), ale aj špecializovaný model CodeLLaMA-70B Instruct (67.8 %).

Tieto výnimočné výsledky zvýrazňujú všestrannosť DBRX a jeho schopnosť vynikať v rozmanitej škále úloh, od porozumenia prirodzenému jazyku až po komplexné programovanie a riešenie matematických problémov.

Efektívna inferencia a škálovateľnosť Jednou z kľúčových výhod architektúry MoE DBRX je jej efektívnosť počas inferencie. Vďaka riedkej aktivácii parametrov môže DBRX dosiahnuť priepustnosť odvodenia, ktorá je až dvakrát až trikrát rýchlejšia ako husté modely s rovnakým celkovým počtom parametrov.

V porovnaní s LLaMA2-70B, populárnym open source LLM, DBRX nielenže demonštruje vyššiu kvalitu, ale môže sa pochváliť aj takmer dvojnásobnou rýchlosťou odvodenia, a to aj napriek tomu, že má približne o polovicu menej aktívnych parametrov. Vďaka tejto efektívnosti je DBRX atraktívnou voľbou pre nasadenie v širokej škále aplikácií, od vytvárania obsahu až po analýzu údajov a ďalej.

Okrem toho spoločnosť Databricks vyvinula robustný tréningový balík, ktorý umožňuje podnikom trénovať svoje vlastné modely triedy DBRX od nuly alebo pokračovať v školení na poskytnutých kontrolných bodoch. Táto schopnosť umožňuje podnikom využiť plný potenciál DBRX a prispôsobiť ho ich špecifickým potrebám, čím sa ďalej demokratizuje prístup k špičkovej technológii LLM.

Dostupnosť a integrácia

V súlade so svojím poslaním podporovať otvorený prístup k AI, Databricks sprístupnil DBRX prostredníctvom viacerých kanálov. Váhy základného modelu (DBRX Base) aj doladeného modelu (DBRX Instruct) sú umiestnené na populárnej platforme Hugging Face, čo umožňuje výskumníkom a vývojárom jednoducho stiahnuť a pracovať s modelom.

ďalej, Úložisko modelov DBRX je k dispozícii na GitHub, poskytuje transparentnosť a umožňuje ďalšie skúmanie a prispôsobenie kódu modelu.

Pre zákazníkov Databricks sú DBRX Base a DBRX Instruct pohodlne prístupné cez API Databricks Foundation Model, čo umožňuje bezproblémovú integráciu do existujúcich pracovných postupov a aplikácií. To nielen zjednodušuje proces nasadenia, ale zabezpečuje aj správu údajov a bezpečnosť pre citlivé prípady použitia.

Okrem toho už bol DBRX integrovaný do niekoľkých platforiem a služieb tretích strán, ako sú You.com a Perplexity Labs, čím sa rozšíril jeho dosah a potenciálne aplikácie. Tieto integrácie demonštrujú rastúci záujem o DBRX a jeho schopnosti, ako aj rastúce prijímanie otvorených LLM v rôznych odvetviach a prípadoch použitia.

Možnosti dlhého kontextu a rozšírené generovanie získavania Jednou z výnimočných funkcií DBRX je jeho schopnosť spracovať vstupy z dlhého kontextu s maximálnou dĺžkou kontextu 32,768 XNUMX tokenov. Táto schopnosť umožňuje modelu spracovávať a generovať text na základe rozsiahlych kontextových informácií, vďaka čomu je vhodný pre úlohy, ako je sumarizácia dokumentov, odpovedanie na otázky a vyhľadávanie informácií.

V benchmarkoch hodnotiacich výkon v dlhom kontexte, ako sú KV-Pairs a HotpotQAXL, DBRX Instruct prekonal GPT-3.5 Turbo v rôznych dĺžkach sekvencií a pozíciách kontextu.

DBRX prekonáva zavedené modely s otvoreným zdrojovým kódom v oblasti porozumenia jazyku (MMLU), programovania (HumanEval) a matematiky (GSM8K).