DBRX-ի ներսում. Databricks-ը բացում է հզոր բաց կոդով LLM-ը

Լեզուների մեծ մոդելների (LLM) արագ զարգացող ոլորտում ի հայտ է եկել նոր հզոր մոդել՝ DBRX, Databricks-ի կողմից ստեղծված բաց կոդով մոդելը. Այս LLM-ն ալիք է բարձրացնում իր գերժամանակակից կատարողականությամբ հենանիշների լայն շրջանակում՝ նույնիսկ մրցակցելով արդյունաբերական հսկաների հնարավորությունների հետ, ինչպիսին է OpenAI-ի GPT-4-ը:

DBRX-ը նշանակալի իրադարձություն է արհեստական ​​ինտելեկտի ժողովրդավարացման գործում՝ հետազոտողներին, մշակողներին և ձեռնարկություններին տրամադրելով բարձրակարգ լեզվական մոդելի բաց հասանելիություն: Բայց կոնկրետ ինչ է DBRX-ը և ինչո՞վ է այն առանձնահատուկ: Այս տեխնիկական խորը սուզման ընթացքում մենք կուսումնասիրենք նորարարական ճարտարապետությունը, ուսուցման գործընթացը և հիմնական հնարավորությունները, որոնք առաջ են մղել DBRX-ը բաց LLM լանդշաֆտի առաջնագծում:

DBRX-ի ծնունդը DBRX-ի ստեղծումը պայմանավորված էր Databricks-ի առաքելությամբ՝ տվյալների հետախուզությունը հասանելի դարձնել բոլոր ձեռնարկություններին: Որպես տվյալների վերլուծության հարթակներում առաջատար՝ Databricks-ը ճանաչեց LLM-ների հսկայական ներուժը և ձեռնամուխ եղավ այնպիսի մոդելի մշակմանը, որը կարող է համապատասխանել կամ նույնիսկ գերազանցել սեփականության առաջարկների կատարողականը:

Ամիսներ շարունակ ինտենսիվ հետազոտություններից, մշակումից և մի քանի միլիոն դոլար ներդրումներից հետո Databricks-ի թիմը առաջընթացի հասավ DBRX-ի հետ: Մոդելի տպավորիչ կատարումը չափորոշիչների լայն շրջանակի վրա, ներառյալ լեզվի ըմբռնումը, ծրագրավորումը և մաթեմատիկան, հաստատապես հաստատեցին այն որպես նորագույն տեխնոլոգիա բաց LLM-ներում:

Նորարարական ճարտարապետություն

Փորձագետների խառնուրդի ուժը DBRX-ի բացառիկ կատարողականության հիմքում ընկած է փորձագետների խառնուրդի (MoE) նորարարական ճարտարապետությունը: Այս գերժամանակակից դիզայնը ներկայացնում է շեղում ավանդական խիտ մոդելներից, որդեգրելով նոսր մոտեցում, որը բարձրացնում է և՛ նախավարժանքների արդյունավետությունը, և՛ եզրակացության արագությունը:

ԷՆ շրջանակում յուրաքանչյուր մուտքի համար ակտիվացվում է բաղադրիչների միայն ընտրված խումբ, որը կոչվում է «փորձագետներ»: Այս մասնագիտացումը թույլ է տալիս մոդելին ավելի մեծ հմտությամբ լուծել առաջադրանքների ավելի լայն շրջանակ՝ միաժամանակ օպտիմալացնելով հաշվողական ռեսուրսները:

DBRX-ն ավելի առաջ է տանում այս հայեցակարգը իր մանրակրկիտ MoE ճարտարապետությամբ: Ի տարբերություն ԿԳ որոշ այլ մոդելների, որոնք օգտագործում են ավելի փոքր թվով ավելի մեծ փորձագետներ, DBRX-ն աշխատում է 16 փորձագետների հետ, որոնցից չորս փորձագետներ ակտիվ են ցանկացած տվյալի համար: Այս դիզայնը ապահովում է ապշեցուցիչ 65 անգամ ավելի հավանական փորձագիտական ​​համակցություններ, որոնք ուղղակիորեն նպաստում են DBRX-ի բարձր արդյունավետությանը:

DBRX-ը տարբերվում է մի քանի նորարարական հատկանիշներով.

• Պտտվող դիրքի կոդավորումներ (RoPE): Բարելավում է նշանների դիրքերի ըմբռնումը, ինչը կարևոր է համատեքստային ճշգրիտ տեքստ ստեղծելու համար:
• Gated Linear Units (GLU): Ներկայացնում է փակման մեխանիզմ, որն ուժեղացնում է մոդելի կարողությունը՝ ավելի արդյունավետ կերպով սովորելու բարդ նախշերը:
• Խմբավորված հարցման ուշադրություն (GQA): Բարելավում է մոդելի արդյունավետությունը՝ օպտիմալացնելով ուշադրության մեխանիզմը:
• Ընդլայնված Tokenization: Օգտագործում է GPT-4-ի թոքենիզատորը՝ մուտքերն ավելի արդյունավետ մշակելու համար:

ԿԳ ճարտարապետությունը հատկապես հարմար է լայնածավալ լեզվական մոդելների համար, քանի որ այն թույլ է տալիս ավելի արդյունավետ մասշտաբել և ավելի լավ օգտագործել հաշվողական ռեսուրսները: Բաշխելով ուսուցման գործընթացը մի քանի մասնագիտացված ենթացանցերում՝ DBRX-ը կարող է արդյունավետորեն բաշխել տվյալներ և հաշվողական հզորություն յուրաքանչյուր առաջադրանքի համար՝ ապահովելով և՛ բարձրորակ արդյունք, և՛ օպտիմալ արդյունավետություն:

Ուսուցման լայնածավալ տվյալներ և արդյունավետ օպտիմիզացում Թեև DBRX-ի ճարտարապետությունը, անկասկած, տպավորիչ է, դրա իրական ուժը բծախնդիր վերապատրաստման գործընթացի և տվյալների հսկայական քանակի մեջ է: DBRX-ը նախապես պատրաստված էր 12 տրիլիոն տեքստի և կոդի տվյալների ապշեցուցիչ նշանների վրա, որոնք խնամքով մշակված էին բարձր որակ և բազմազանություն ապահովելու համար:

Վերապատրաստման տվյալները մշակվել են Databricks-ի գործիքների փաթեթի միջոցով, ներառյալ Apache Spark-ը՝ տվյալների մշակման համար, Unity Catalog-ը՝ տվյալների կառավարման և կառավարման համար, և MLflow-ը՝ փորձի հետևման համար: Այս համապարփակ գործիքների հավաքածուն Databricks-ի թիմին թույլ տվեց արդյունավետ կառավարել, ուսումնասիրել և կատարելագործել զանգվածային տվյալների բազան՝ հիմք դնելով DBRX-ի բացառիկ կատարողականությանը:

Մոդելի հնարավորություններն էլ ավելի բարձրացնելու համար Databricks-ը կիրառել է դինամիկ նախնական ուսումնական ծրագիր՝ վերապատրաստման ընթացքում նորարարորեն փոփոխելով տվյալների խառնուրդը: Այս ռազմավարությունը թույլ տվեց յուրաքանչյուր նշան արդյունավետ մշակել՝ օգտագործելով ակտիվ 36 միլիարդ պարամետրերը, ինչի արդյունքում ստացվեց ավելի լավ կլորացված և հարմարվող մոդել:

Ավելին, DBRX-ի վերապատրաստման գործընթացը օպտիմիզացվել է արդյունավետության համար՝ օգտագործելով Databricks-ի սեփական գործիքների և գրադարանների հավաքածուն, ներառյալ Composer, LLM Foundry, MegaBlocks և Streaming: Օգտագործելով այնպիսի տեխնիկա, ինչպիսին է ուսումնական պլանի ուսուցումը և օպտիմիզացման ռազմավարությունները, թիմը հասել է հաշվողական արդյունավետության գրեթե քառակի բարելավման՝ համեմատած իրենց նախորդ մոդելների հետ:

Ուսուցում և ճարտարապետություն

DBRX-ը ուսուցանվել է հաջորդ նշանի կանխատեսման մոդելի միջոցով 12 տրիլիոն նշաններից բաղկացած հսկայական տվյալների բազայի վրա՝ ընդգծելով և՛ տեքստը, և՛ կոդը: Ենթադրվում է, որ այս ուսուցման հավաքածուն զգալիորեն ավելի արդյունավետ է, քան նախկին մոդելներում օգտագործվածները՝ ապահովելով հարուստ ըմբռնում և արձագանքման կարողություն տարբեր հուշումներով:

DBRX-ի ճարտարապետությունը ոչ միայն վկայում է Databricks-ի տեխնիկական հմտության մասին, այլև ընդգծում է դրա կիրառումը բազմաթիվ ոլորտներում: Չաթ բոտերի փոխազդեցությունների կատարելագործումից մինչև տվյալների վերլուծության բարդ առաջադրանքների հզորացում, DBRX-ը կարող է ինտեգրվել տարբեր ոլորտներում, որոնք պահանջում են լեզվի նրբերանգ ընկալում:

Հատկանշական է, որ DBRX Instruct-ը նույնիսկ մրցում է շուկայի ամենաառաջադեմ փակ մոդելներից: Ըստ Databricks-ի չափումների՝ այն գերազանցում է GPT-3.5-ին և մրցունակ է Gemini 1.0 Pro-ի և Mistral Medium-ի հետ տարբեր չափորոշիչներով, ներառյալ ընդհանուր գիտելիքները, ընդհանուր իմաստով դատողությունը, ծրագրավորումը և մաթեմատիկական հիմնավորումը:

Օրինակ, MMLU հենանիշի վրա, որը չափում է լեզվի ըմբռնումը, DBRX Instruct-ը ստացել է 73.7% միավոր՝ գերազանցելով GPT-3.5-ի 70.0% գնահատականը: HellaSwag commonsense հիմնավորման հենանիշի վրա DBRX Instruct-ը հավաքել է տպավորիչ 89.0%՝ գերազանցելով GPT-3.5-ի 85.5%-ը:

DBRX Instruct-ը իսկապես փայլում է՝ հասնելով ուշագրավ 70.1% ճշգրտության HumanEval-ի չափանիշի վրա՝ գերազանցելով ոչ միայն GPT-3.5-ին (48.1%), այլև մասնագիտացված CodeLLaMA-70B Instruct մոդելին (67.8%):

Այս բացառիկ արդյունքները ընդգծում են DBRX-ի բազմակողմանիությունը և առաջադրանքների բազմազան շրջանակում գերազանցելու նրա կարողությունը՝ բնական լեզվի ըմբռնումից մինչև բարդ ծրագրավորում և մաթեմատիկական խնդիրների լուծում:

Արդյունավետ եզրակացություն և մասշտաբայնություն DBRX-ի MoE ճարտարապետության հիմնական առավելություններից մեկը եզրակացության ընթացքում դրա արդյունավետությունն է: Պարամետրերի նոսր ակտիվացման շնորհիվ DBRX-ը կարող է հասնել եզրակացության թողունակության, որը մինչև երկու-երեք անգամ ավելի արագ է, քան նույն ընդհանուր պարամետրերի քանակով խիտ մոդելները:

Համեմատած LLaMA2-70B-ի՝ հանրաճանաչ բաց կոդով LLM-ի հետ, DBRX-ը ոչ միայն ցույց է տալիս ավելի բարձր որակ, այլև պարծենում է գրեթե կրկնակի ենթադրությունների արագությամբ՝ չնայած մոտ կես անգամ շատ ակտիվ պարամետրերի: Այս արդյունավետությունը դարձնում է DBRX-ը գրավիչ ընտրություն՝ կիրառման լայն շրջանակում՝ սկսած բովանդակության ստեղծումից մինչև տվյալների վերլուծություն և դրանից դուրս:

Ավելին, Databricks-ը մշակել է ամուր ուսումնական փաթեթ, որը թույլ է տալիս ձեռնարկություններին զրոյից վարժեցնել իրենց DBRX դասի մոդելները կամ շարունակել ուսուցումը տրամադրված անցակետերի վերևում: Այս հնարավորությունը բիզնեսին հնարավորություն է տալիս օգտագործելու DBRX-ի ողջ ներուժը և հարմարեցնել այն իրենց հատուկ կարիքներին՝ հետագայում ժողովրդավարացնելով LLM-ի ժամանակակից տեխնոլոգիաների հասանելիությունը:

Մատչելիություն և ինտեգրում

Արհեստական ​​ինտելեկտի բաց մուտքը խթանելու իր առաքելությանը համապատասխան՝ Databricks-ը DBRX-ը հասանելի է դարձրել բազմաթիվ ալիքներով: Ե՛վ հիմնական մոդելի (DBRX Base) և՛ ճշգրտված մոդելի (DBRX Instruct) կշիռները տեղակայված են հանրահայտ Hugging Face հարթակում, որը թույլ է տալիս հետազոտողներին և մշակողներին հեշտությամբ ներբեռնել և աշխատել մոդելի հետ:

Բացի այդ, DBRX մոդելի պահեստ հասանելի է GitHub-ում՝ ապահովելով թափանցիկություն և հնարավորություն տալով մոդելի կոդի հետագա ուսումնասիրությունն ու հարմարեցումը:

Databricks-ի հաճախորդների համար DBRX Base-ը և DBRX Instruct-ը հարմար հասանելի են Databricks Foundation Model API-ների միջոցով՝ հնարավորություն տալով անխափան ինտեգրվել առկա աշխատանքային հոսքերին և հավելվածներին: Սա ոչ միայն պարզեցնում է տեղակայման գործընթացը, այլ նաև ապահովում է տվյալների կառավարում և անվտանգություն զգայուն օգտագործման դեպքերի համար:

Ավելին, DBRX-ն արդեն ինտեգրվել է մի քանի երրորդ կողմի հարթակներում և ծառայություններում, ինչպիսիք են You.com-ը և Perplexity Labs-ը՝ ընդլայնելով իր հասանելիությունը և հնարավոր հավելվածները: Այս ինտեգրումները ցույց են տալիս աճող հետաքրքրությունը DBRX-ի և նրա հնարավորությունների նկատմամբ, ինչպես նաև բաց LLM-ների աճող ընդունումը տարբեր ոլորտներում և օգտագործման դեպքերում:

Երկար համատեքստի հնարավորություններ և ընդլայնված սերունդ որոնում DBRX-ի առանձնահատուկ առանձնահատկություններից մեկն այն է, որ երկար համատեքստում մուտքագրումներ վարելու կարողությունն է՝ առավելագույն համատեքստի երկարությունը 32,768 նշան: Այս հնարավորությունը թույլ է տալիս մոդելին մշակել և ստեղծել տեքստ՝ հիմնված ընդարձակ համատեքստային տեղեկատվության վրա՝ այն դարձնելով այն լավ պիտանի այնպիսի խնդիրների համար, ինչպիսիք են փաստաթղթերի ամփոփումը, հարցերի պատասխանը և տեղեկատվության որոնումը:

Երկար համատեքստի կատարողականությունը գնահատող հենանիշերում, ինչպիսիք են KV-Pairs-ը և HotpotQAXL-ը, DBRX Instruct-ը գերազանցում է GPT-3.5 Turbo-ին տարբեր հաջորդականության երկարությունների և համատեքստի դիրքերում:

DBRX-ը գերազանցում է բաց կոդով ստեղծված մոդելներին լեզվի ըմբռնման (MMLU), Ծրագրավորման (HumanEval) և Մաթեմատիկայի (GSM8K) վերաբերյալ: