Uvnitř DBRX: Databricks představuje výkonný open source LLM

V rychle se vyvíjejícím poli velkých jazykových modelů (LLM) se objevil nový výkonný model – DBRX, open source model vytvořený společností Databricks. Tento LLM způsobuje vlny svými špičkovými výkony napříč širokým spektrem benchmarků, dokonce rivalling schopnosti průmyslových gigantů jako OpenAI’s GPT-4.

DBRX představuje významný milník v demokratizaci umělé inteligence, poskytující výzkumníkům, vývojářům a podnikům otevřený přístup k špičkovému jazykovému modelu. Ale co exactly je DBRX a co ho dělá tak zvláštním? V tomto technickém hlubokém ponoru prozkoumáme inovativní architekturu, trénovací proces a klíčové schopnosti, které katapultovaly DBRX do čela otevřeného LLM krajiny.

Zrození DBRX Vytvoření DBRX bylo poháněno misí Databricks udělat datové inteligenci dostupnou všem podnikům. Jako líder v datové analytické platformě Databricks rozpoznal obrovský potenciál LLM a vydal se vyvinout model, který by mohl odpovídat nebo dokonce přesahovat výkon proprietárních nabídek.

Po měsících intenzivního výzkumu, vývoje a multi-milionové investice tým Databricks dosáhl průlomu s DBRX. Impozantní výkon modelu na širokém spektru benchmarků, včetně jazykového porozumění, programování a matematiky, pevně ustanovil DBRX jako nový stav umění v otevřených LLM.

Inovativní architektura

Síla Mixture-of-Experts V jádru výjimečného výkonu DBRX leží jeho inovativní mixture-of-experts (MoE) architektura. Tento špičkový design představuje odchod od tradičních hustých modelů, přijímající řídký přístup, který vylepšuje både předtrénovací efektivitu a inferenční rychlost.

V rámci MoE jsou aktivovány pouze vybrané komponenty, nazývané “experti”, pro každý vstup. Tato specializace umožňuje modelu zvládnout širší řadu úkolů s větší dovedností, zatímco také optimalizuje výpočetní zdroje.

DBRX ještě více rozšiřuje tuto koncepci s jeho jemnozrnnou MoE architekturou. Na rozdíl od některých jiných MoE modelů, které používají menší počet větších expertů, DBRX zaměstnává 16 expertů, se čtyřmi experty aktivovanými pro každý vstup. Tento design poskytuje ohromujících 65 krát více možných kombinací expertů, přímo přispívajících k výjimečnému výkonu DBRX.

DBRX se odlišuje několika inovativními funkcemi:

• Rotary Position Encodings (RoPE): Vylepšuje porozumění token pozic, klíčové pro generování kontextuálně přesného textu.
• Gated Linear Units (GLU): Představuje bránící mechanismus, který vylepšuje schopnost modelu učit se komplexní vzory efektivněji.
• Grouped Query Attention (GQA): Vylepšuje efektivitu modelu optimalizací pozornostního mechanismu.
• Pokročilá tokenizace: Utilizuje GPT-4 tokenizér pro efektivní zpracování vstupů.

MoE architektura je zvláště vhodná pro velké jazykové modely, protože umožňuje efektivnější škálování a lepší využití výpočetních zdrojů. Rozdělováním procesu učení napříč několika specializovanými subnetworky může DBRX efektivně přidělovat data a výpočetní sílu pro každý úkol, zajišťujíc tak jak vysokou kvalitu výstupu, tak optimální efektivitu.

Rozsáhlá trénovací data a efektivní optimalizace Zatímco architektura DBRX je bezpochyby působivá, jeho pravá síla leží v pečlivém trénovacím procesu a obrovském množství dat, kterým byl vystaven. DBRX byl předtrénován na ohromujících 12 bilionech tokenů textu a kódových dat, pečlivě vybraných pro zajištění vysoké kvality a rozmanitosti.

Trénovací data byla zpracována pomocí sady nástrojů Databricks, včetně Apache Spark pro zpracování dat, Unity Catalog pro správu a řízení dat a MLflow pro sledování experimentů. Tato komplexní sada nástrojů umožnila týmu Databricks efektivně spravovat, prozkoumat a vylepšit obrovské dataset, položením základu pro výjimečný výkon DBRX.

K dalšímu vylepšení schopností modelu Databricks zaměstnal dynamický trénovací plán, inovativně měnící datový mix během trénování. Tato strategie umožnila efektivní zpracování každého tokenu pomocí 36 miliard aktivních parametrů, výsledkem čehož je více vyvážený a adaptabilní model.

Navíc byl trénovací proces DBRX optimalizován pro efektivitu, využívající sadu proprietárních nástrojů a knihoven Databricks, včetně Composer, LLM Foundry, MegaBlocks a Streaming. Používáním technik, jako je curriculum learning a optimalizované optimalizační strategie, tým dosáhl téměř čtyřnásobného zlepšení výpočetní efektivnosti ve srovnání s předchozími modely.

Trénování a architektura

DBRX byl trénován pomocí modelu next-token prediction na kolosálním datasetu 12 bilionů tokenů, zdůrazňujícím både text a kód. Tento trénovací set se věří, že je podstatně účinnější než ty, které byly použity v předchozích modelech, zajišťujíc bohaté porozumění a odpovědní schopnost napříč různými příkazy.

Architektura DBRX není pouze svědectvím technických schopností Databricks, ale také zdůrazňuje jeho aplikaci napříč několika sektory. Od vylepšení interakcí chatbotů až po napájení komplexních úloh analýzy dat, DBRX může být integrován do různých oblastí vyžadujících nuancované jazykové porozumění.

Zejména DBRX Instruct dokonce rivalue některé z nejpokročilejších uzavřených modelů na trhu. Podle měření Databricks přesahuje GPT-3.5 a je konkurenceschopný s Gemini 1.0 Pro a Mistral Medium napříč různými benchmarky, včetně obecných znalostí, rozumění, programování a matematického rozumění.

Například na MMLU benchmarku, který měří jazykové porozumění, DBRX Instruct dosáhl skóre 73,7%, překonávající GPT-3.5 s 70,0%. Na HellaSwag benchmarku pro rozumění DBRX Instruct dosáhl impozantních 89,0%, překonávající GPT-3.5 s 85,5%.

DBRX Instruct skutečně vyniká, dosahujících ohromujících 70,1% přesnosti na HumanEval benchmarku, překonávající nejen GPT-3.5 (48,1%), ale také specializovaný CodeLLaMA-70B Instruct model (67,8%).

Tyto výjimečné výsledky zdůrazňují všestrannost DBRX a jeho schopnost vyniknout napříč širokým spektrem úkolů, od přirozeného jazykového porozumění až po komplexní programování a řešení matematických problémů.

Efektivní inference a škálovatelnost Jednou z hlavních výhod MoE architektury DBRX je jeho efektivita během inference. Díky řídké aktivaci parametrů může DBRX dosáhnout inferenční propustnosti, která je až dvakrát až třikrát rychlejší než husté modely se stejným počtem parametrů.

Ve srovnání s LLaMA2-70B, populárním open source LLM, DBRX nejen демонстрирует vyšší kvalitu, ale také téměř dvojnásobnou inferenční rychlost, navzdory tomu, že má asi polovinu aktivních parametrů. Tato efektivita činí DBRX atraktivní volbou pro nasazení v širokém spektru aplikací, od tvorby obsahu až po analýzu dat a dále.

Navíc Databricks vyvinul robustní trénovací stack, který umožňuje podnikům trénovat své vlastní modely DBRX zScratch nebo pokračovat v trénování na základě poskytnutých kontrolních bodů. Tato schopnost umožňuje podnikům využít plný potenciál DBRX a přizpůsobit ho svým konkrétním potřebám, dále demokratizujíc přístup k špičkové LLM technologii.

Přístupnost a integrace

V souladu se svou misí podporovat otevřený přístup k AI, Databricks zpřístupnil DBRX prostřednictvím několika kanálů. Váhy obou základního modelu (DBRX Base) a fine-tuned modelu (DBRX Instruct) jsou hostovány na populární Hugging Face platformě, umožňujíc výzkumníkům a vývojářům snadno stáhnout a pracovat s modelem.

Navíc je repozitář modelu DBRX dostupný na GitHubu, poskytující transparentnost a umožňující další prozkoumání a přizpůsobení kódu modelu.

Pro zákazníky Databricks jsou DBRX Base a DBRX Instruct snadno dostupné prostřednictvím Databricks Foundation Model APIs, umožňujících bezproblémovou integraci do stávajících pracovních postupů a aplikací. To nejen zjednodušuje proces nasazení, ale také zajišťuje správu dat a bezpečnost pro citlivé použití.

Navíc byl DBRX již integrován do několika třetích stran a služeb, jako jsou You.com a Perplexity Labs, rozšiřujíc jeho dosah a potenciální aplikace. Tyto integrace demonstrují rostoucí zájem o DBRX a jeho schopnosti, stejně jako rostoucí přijetí otevřených LLM napříč různými odvětvími a použitími.

Schopnosti dlouhého kontextu a generace s podporou vyhledávání Jednou z výjimečných funkcí DBRX je jeho schopnost zpracovávat dlouhé kontextové vstupy, s maximální délkou kontextu 32 768 tokenů. Tato schopnost umožňuje modelu generovat text na základě rozsáhlých kontextových informací, činíc ho vhodným pro úkoly, jako je shrnutí dokumentů, odpovědi na otázky a vyhledávání informací.

V benchmarcích, které hodnotí výkon v dlouhém kontextu, jako je KV-Pairs a HotpotQAXL, DBRX Instruct překonal GPT-3.5 Turbo napříč různými délkami sekvencí a kontextovými polohami.

DBRX outperforms established open source models on language understanding (MMLU), Programming (HumanEval), and Math (GSM8K).