Gemma. Google-ը բերում է AI առաջադեմ հնարավորություններ բաց կոդով

Արհեստական ​​ինտելեկտի (AI) ոլորտը վերջին տարիներին հսկայական առաջընթաց է գրանցել՝ հիմնականում պայմանավորված առաջընթացներով խորը ուսուցում և բնական լեզվով մշակման գործընթացը (NLP): Այս առաջընթացների առաջնագծում են մեծ լեզվի մոդելներ (LLMs) – AI համակարգեր, որոնք պատրաստված են հսկայական քանակությամբ տեքստային տվյալների վրա, որոնք կարող են ստեղծել մարդու նման տեքստ և ներգրավվել խոսակցական առաջադրանքներում:

LLM-ները, ինչպիսիք են Google-ի PaLM-ը, Anthropic's Claude-ը և DeepMind's Gopher-ը, ցուցադրել են ուշագրավ կարողություններ՝ սկսած կոդավորումից մինչև առողջ դատողություն: Այնուամենայնիվ, այս մոդելներից շատերը բացահայտորեն չեն թողարկվել՝ սահմանափակելով դրանց հասանելիությունը հետազոտության, մշակման և շահավետ հավելվածների համար:

Սա փոխվեց Gemma-ի վերջերս բաց աղբյուրի հետ՝ Google-ի DeepMind-ի LLM-ների ընտանիք՝ հիմնված նրանց հզոր ֆիրմային Gemini մոդելների վրա: Այս բլոգի գրառման մեջ մենք կսկսենք սուզվել Gemma-ի մեջ՝ վերլուծելով նրա ճարտարապետությունը, վերապատրաստման գործընթացը, կատարումը և պատասխանատու թողարկումը:

Gemma-ի ակնարկ

2023 թվականի փետրվարին DeepMind բաց կոդով Gemma մոդելների երկու չափս՝ 2 միլիարդ պարամետրի տարբերակ՝ օպտիմիզացված սարքի վրա տեղակայման համար, և ավելի մեծ՝ 7 միլիարդ պարամետրային տարբերակ՝ նախատեսված GPU/TPU օգտագործման համար:

Gemma-ն օգտագործում է նմանատիպ տրանսֆորմատորային ճարտարապետություն և վերապատրաստման մեթոդոլոգիա DeepMind-ի առաջատար Gemini մոդելների համար: Այն վերապատրաստվել է վեբ փաստաթղթերից, մաթեմատիկայից և կոդից մինչև 6 տրիլիոն տեքստային նշանների վրա:

DeepMind-ը թողարկել է Gemma-ի և՛ հում, նախապես պատրաստված անցակետերը, և՛ տարբերակները, որոնք ճշգրտված են վերահսկվող ուսուցմամբ և մարդկանց հետադարձ կապով՝ ուժեղացված հնարավորությունների համար այնպիսի ոլորտներում, ինչպիսիք են երկխոսությունը, հրահանգներին հետևելը և կոդավորումը:

Ինչպես սկսել Gemma-ի հետ

Gemma-ի բաց թողարկումը նրա առաջադեմ AI հնարավորությունները հասանելի է դարձնում մշակողների, հետազոտողների և էնտուզիաստների համար: Ահա մի արագ ուղեցույց՝ սկսելու համար.

Պլատֆորմի ագնոստիկ տեղակայում

Gemma-ի հիմնական ուժը նրա ճկունությունն է. դուք կարող եք այն գործարկել պրոցեսորների, գրաֆիկական պրոցեսորների կամ TPU-ների վրա: CPU-ի համար օգտագործեք TensorFlow Lite կամ HuggingFace տրանսֆորմատորներ: GPU/TPU-ի արագացված աշխատանքի համար օգտագործեք TensorFlow: Ամպային ծառայությունները, ինչպիսիք են Google Cloud-ի Vertex AI-ն, նույնպես ապահովում են անխափան մասշտաբավորում:

Մուտք գործեք նախապես պատրաստված մոդելներ

Gemma-ն գալիս է տարբեր նախապես պատրաստված տարբերակներով՝ կախված ձեր կարիքներից: 2B և 7B մոդելներն առաջարկում են ուժեղ գեներացնող ունակություններ առանց տուփի: Հատուկ ճշգրտման համար 2B-FT և 7B-FT մոդելները իդեալական մեկնարկային կետեր են:

Ստեղծեք հետաքրքիր հավելվածներ

Gemma-ով կարող եք ստեղծել հավելվածների բազմազան տեսականի, ինչպիսիք են պատմությունների ստեղծումը, լեզվի թարգմանությունը, հարցերի պատասխանը և ստեղծագործական բովանդակության արտադրությունը: Հիմնական բանը Gemma-ի ուժեղ կողմերն օգտագործելն է՝ ձեր սեփական տվյալների շտեմարանները ճշգրտելու միջոցով:

ճարտարապետություն

Gemma-ն օգտագործում է միայն ապակոդավորող տրանսֆորմատորային ճարտարապետություն՝ հիմնվելով այնպիսի առաջընթացների վրա, ինչպիսիք են բազմակողմանի հարցումների ուշադրությունը և պտտվող դիրքային ներկառուցումները.

• Տրանսֆորմատորներ: 2017 թվականին ներդրված տրանսֆորմատորային ճարտարապետությունը, որը հիմնված է բացառապես ուշադրության մեխանիզմների վրա, դարձել է ամենուր NLP-ում: Gemma-ն ժառանգում է տրանսֆորմատորի ունակությունը՝ մոդելավորելու հեռահար կախվածությունները տեքստում:
• Միայն ապակոդավորող. Gemma-ն օգտագործում է միայն տրանսֆորմատորային ապակոդավորիչի կույտ, ի տարբերություն կոդավորող-ապակոդավորող մոդելների, ինչպիսիք են BART-ը կամ T5-ը: Սա ապահովում է հզոր գեներատիվ հնարավորություններ այնպիսի առաջադրանքների համար, ինչպիսին է տեքստի ստեղծումը:
• Բազմակի հարցման ուշադրություն. Gemma-ն իր ավելի մեծ մոդելում օգտագործում է բազմակի հարցումների ուշադրություն՝ թույլ տալով յուրաքանչյուր ուշադրության գլխին զուգահեռաբար մշակել բազմաթիվ հարցումներ՝ ավելի արագ եզրակացության համար:
• Պտտվող դիրքային ներդիրներ. Gemma-ն ներկայացնում է դիրքային տեղեկատվությունը, օգտագործելով պտտվող ներդիրները՝ բացարձակ դիրքի կոդավորման փոխարեն: Այս տեխնիկան նվազեցնում է մոդելի չափը՝ միաժամանակ պահպանելով դիրքի մասին տեղեկատվությունը:

Տեխնիկայի օգտագործումը, ինչպիսիք են բազմակի հարցումների ուշադրությունը և պտտվող դիրքային ներդիրները, հնարավորություն են տալիս Gemma մոդելներին հասնել օպտիմալ փոխզիջման աշխատանքի, եզրակացության արագության և մոդելի չափի միջև:

Տվյալներ և վերապատրաստման գործընթաց

Gemma-ն վերապատրաստվել է մինչև 6 տրիլիոն տեքստային տվյալների վրա, հիմնականում անգլերենով։ Սա ներառում էր վեբ փաստաթղթեր, մաթեմատիկական տեքստ և սկզբնական կոդը: DeepMind-ը զգալի ջանքեր է ներդրել տվյալների զտման համար՝ հեռացնելով թունավոր կամ վնասակար բովանդակությունը՝ օգտագործելով դասակարգիչներ և էվրիստիկա:

Ուսուցումն իրականացվել է Google-ի TPUv5 ենթակառուցվածքի միջոցով, Gemma-4096B-ի մարզման համար օգտագործվել է մինչև 7 TPU: Արդյունավետ մոդելների և տվյալների զուգահեռության տեխնիկան հնարավորություն տվեց ուսուցանել զանգվածային մոդելները ապրանքային սարքավորումներով:

Օգտագործվել է փուլային ուսուցում` շարունակաբար կարգավորելով տվյալների բաշխումը` կենտրոնանալով բարձրորակ, համապատասխան տեքստի վրա: Կարգավորման վերջնական փուլերում օգտագործվել է մարդու կողմից ստեղծված և սինթետիկ հրահանգների մի խառնուրդ՝ հնարավորությունները բարձրացնելու համար:

Մոդելի կատարում

DeepMind-ը խստորեն գնահատել է Gemma մոդելները ավելի քան 25 հենանիշերի լայն շրջանակի վրա, որոնք ներառում են հարցերին պատասխանելու, պատճառաբանելու, մաթեմատիկայի, կոդավորման, ողջախոհության և երկխոսության հնարավորությունները:

Gemma-ն ձեռք է բերում գերժամանակակից արդյունքներ՝ համեմատած նույն չափի բաց կոդով մոդելների հետ՝ հենանիշների մեծ մասում: Որոշ կարևոր կետեր.

• ՄաթեմատիկաGemma-ն գերազանցում է մաթեմատիկական հիմնավորման թեստերը, ինչպիսիք են GSM8K-ը և MATH-ը, գերազանցելով մոդելներին, ինչպիսիք են Codex-ը և Anthropic's Claude-ը ավելի քան 10 միավորով:
• ԿոդավորումGemma-ն համընկնում է կամ գերազանցում է Codex-ի կատարողականը ծրագրավորման հենանիշերի վրա, ինչպիսին է MBPP-ն, չնայած որ հատուկ ուսուցանված չէ կոդի վրա:
• ԵրկխոսությունGemma-ն ցուցադրում է խոսակցական ուժեղ կարողություն՝ 51.7% շահելու գործակիցով Anthropic-ի Mistral-7B-ի նկատմամբ մարդկային նախասիրությունների թեստերում:
• ՓաստարկԵզրակացություն պահանջող առաջադրանքների դեպքում, ինչպիսիք են ARC-ը և Winogrande-ը, Gemma-ն 7-5 միավորով գերազանցում է մյուս 10B մոդելներին:

Gemma-ի բազմակողմանիությունը տարբեր առարկաների մեջ ցույց է տալիս նրա ուժեղ ընդհանուր հետախուզական կարողությունները: Թեև մարդկային մակարդակի կատարողականի բացերը մնում են, Gemma-ն առաջընթաց է ներկայացնում բաց կոդով NLP-ում:

Անվտանգություն և պատասխանատվություն

Խոշոր մոդելների բաց կոդով կշիռների թողարկումը մարտահրավեր է նետում կանխամտածված չարաշահման և մոդելի բնորոշ կողմնակալության շուրջ: DeepMind-ը քայլեր է ձեռնարկել ռիսկերը մեղմելու համար.

• Տվյալների զտում. Հնարավոր թունավոր, անօրինական կամ կողմնակալ տեքստը հեռացվել է ուսումնական տվյալներից՝ օգտագործելով դասակարգիչներ և էվրիստիկա:
• Գնահատումներ. Gemma-ն փորձարկվել է 30+ հենանիշերի վրա, որոնք ընտրվել են՝ գնահատելու անվտանգությունը, արդարությունը և ամրությունը: Այն համապատասխանում է կամ գերազանցում է այլ մոդելներին:
• Հստակ կարգավորում. Մոդելի ճշգրտումը կենտրոնացած է անվտանգության հնարավորությունների բարելավման վրա, ինչպիսիք են տեղեկատվության զտումը և հեջավորման/մերժման համապատասխան վարքագիծը:
• Օգտագործման պայմաններ Օգտագործման պայմաններն արգելում են Gemma մոդելների վիրավորական, անօրինական կամ ոչ բարոյական կիրառությունները: Այնուամենայնիվ, կիրարկումը մնում է մարտահրավեր:
• Մոդելային քարտեր. Թափանցիկությունը խթանելու համար թողարկվել են քարտեր, որոնք մանրամասնում են մոդելի հնարավորությունները, սահմանափակումները և կողմնակալությունները:

Թեև բաց աղբյուրներից առաջացած ռիսկերը գոյություն ունեն, DeepMind-ը որոշեց, որ Gemma-ի թողարկումը ապահովում է զուտ սոցիալական օգուտներ՝ հիմնված նրա անվտանգության պրոֆիլի և հետազոտության հնարավորության վրա: Այնուամենայնիվ, հնարավոր վնասների զգոն մոնիտորինգը կմնա կարևոր:

AI նորարարության հաջորդ ալիքի ակտիվացում

Gemma-ի թողարկումը որպես բաց կոդով մոդելային ընտանիք՝ բացելու առաջընթացը AI համայնքում.

• Մատչելիություն. Gemma-ն նվազեցնում է նորագույն NLP-ով կառուցելու կազմակերպությունների համար խոչընդոտները, որոնք նախկինում բախվել են հաշվողական/տվյալների բարձր ծախսերի՝ իրենց սեփական LLM-ների վերապատրաստման համար:
• Նոր հավելվածներ. Նախապես պատրաստված և կարգավորված անցակետերի բաց աղբյուրի միջոցով DeepMind-ը հնարավորություն է տալիս ավելի հեշտ զարգացնել օգտակար հավելվածները այնպիսի ոլորտներում, ինչպիսիք են կրթությունը, գիտությունը և մատչելիությունը:
• Customization: Մշակողները կարող են հետագայում հարմարեցնել Gemma-ն արդյունաբերության կամ տիրույթի հատուկ հավելվածների համար՝ սեփականության տվյալների վերաբերյալ շարունակական ուսուցման միջոցով:
• Հետազոտություններ. Gemma-ի նման բաց մոդելները խթանում են ներկայիս NLP համակարգերի ավելի մեծ թափանցիկությունը և աուդիտը՝ լուսավորելով ապագա հետազոտական ​​ուղղությունները:
• Նորարարություն. Gemma-ի նման ուժեղ ելակետային մոդելների առկայությունը կարագացնի առաջընթացը այնպիսի ոլորտներում, ինչպիսիք են կողմնակալության մեղմացումը, փաստացիությունը և արհեստական ​​ինտելեկտի անվտանգությունը:

Բաց աղբյուրի միջոցով բոլորին տրամադրելով Gemma-ի հնարավորությունները՝ DeepMind-ը հույս ունի խթանել AI-ի պատասխանատու զարգացումը սոցիալական բարօրության համար:

Առաջ ճանապարհը

AI-ի յուրաքանչյուր ցատկում մենք ավելի ենք մոտենում մոդելներին, որոնք մրցակցում կամ գերազանցում են մարդկային ինտելեկտը բոլոր ոլորտներում: Gemma-ի նման համակարգերն ընդգծում են, թե ինչպես են ինքնավերահսկվող մոդելների արագ առաջընթացը բացում ավելի ու ավելի զարգացած ճանաչողական կարողությունները:

Այնուամենայնիվ, աշխատանքը դեռևս շարունակվում է բարելավել AI-ի հուսալիությունը, մեկնաբանելիությունը և վերահսկելիությունը՝ ոլորտներ, որտեղ մարդկային ինտելեկտը դեռևս գերակայում է: Մաթեմատիկայի նման տիրույթները ընդգծում են այս մշտական ​​բացերը, ընդ որում Gemma-ն MMLU-ում հավաքում է 64%՝ համեմատած մոտավոր 89% մարդկային կատարողականի հետ:

Այս բացերը փակելը, միաժամանակ ապահովելով ավելի ու ավելի ընդունակ AI համակարգերի անվտանգությունն ու էթիկան, կլինի հիմնական մարտահրավերները գալիք տարիներին: Բացության և զգուշության միջև ճիշտ հավասարակշռություն հաստատելը կարևոր կլինի, քանի որ DeepMind-ը նպատակ ունի ժողովրդավարացնել AI-ի առավելություններին հասանելիությունը՝ միաժամանակ կառավարելով առաջացող ռիսկերը:

AI-ի անվտանգությունը խթանող նախաձեռնությունները, ինչպիսիք են Դարիո Ամոդեիի ANC-ը, DeepMind-ի Ethics & Society թիմը և Anthropic-ի Սահմանադրական AI-ն, ազդարարում են նրբերանգների այս անհրաժեշտության աճող ճանաչումը: Իմաստալից առաջընթացը կպահանջի բաց, ապացույցների վրա հիմնված երկխոսություն հետազոտողների, մշակողների, քաղաքականություն մշակողների և հանրության միջև:

Եթե ​​նավարկվի պատասխանատու կերպով, Gemma-ն ներկայացնում է ոչ թե AI-ի գագաթնակետը, այլ բազային ճամբար հաջորդ սերնդի AI հետազոտողների համար, որոնք հետևում են DeepMind-ի հետքերին՝ դեպի արդար, շահավետ արհեստական ​​ընդհանուր ինտելեկտ:

եզրափակում

DeepMind-ի կողմից Gemma մոդելների թողարկումը նշանակում է բաց կոդով արհեստական ​​ինտելեկտի նոր դարաշրջան, որը գերազանցում է նեղ չափանիշները դեպի ընդհանրացված հետախուզական հնարավորություններ: Անվտանգության համար լայնորեն փորձարկված և լայնորեն հասանելի՝ Gemma-ն նոր ստանդարտ է սահմանում AI-ի պատասխանատու բաց աղբյուրների համար:

Համագործակցային արժեքներով կոփված մրցակցային ոգով առաջնորդվելով՝ Gemma-ի նման առաջընթացների փոխանակումը բարձրացնում է արհեստական ​​ինտելեկտի էկոհամակարգի բոլոր նավակները: Ողջ համայնքն այժմ ունի բազմակողմանի LLM ընտանիք՝ իրենց նախաձեռնությունները վարելու կամ աջակցելու համար:

Թեև ռիսկերը մնում են, DeepMind-ի տեխնիկական և էթիկական ջանասիրությունը վստահություն է տալիս, որ Gemma-ի օգուտները գերազանցում են դրա հնարավոր վնասները: Քանի որ AI կարողությունները գնալով ավելի են զարգանում, բացության և զգուշության միջև այս նրբերանգի պահպանումը կարևոր կլինի:

Gemma-ն մեզ մեկ քայլ ավելի է մոտեցնում արհեստական ​​ինտելեկտին, որն օգուտ է բերում ողջ մարդկությանը: Բայց շատ մեծ մարտահրավերներ դեռ սպասում են բարեգործական արհեստական ​​ընդհանուր ինտելեկտի ճանապարհին: Եթե ​​AI հետազոտողները, մշակողները և ընդհանուր առմամբ հասարակությունը կարողանան պահպանել համագործակցային առաջընթացը, Gemma-ն մի օր կարող է դիտվել որպես պատմական բազային ճամբար, այլ ոչ թե վերջնական գագաթնաժողով: