Gemma: Google Inaleta Uwezo wa Kina wa AI kupitia Chanzo Huria

Uga wa akili bandia (AI) umeona maendeleo makubwa katika miaka ya hivi karibuni, yakichochewa sana na maendeleo katika kujifunza kwa kina na usindikaji wa lugha asilia (NLP). Mbele ya maendeleo haya ni mifano kubwa ya lugha (LLMs) - Mifumo ya AI iliyofunzwa juu ya kiasi kikubwa cha data ya maandishi ambayo inaweza kuzalisha maandishi kama ya kibinadamu na kushiriki katika kazi za mazungumzo.

LLM kama vile Google's PaLM, Anthropic's Claude, na DeepMind's Gopher zimeonyesha uwezo wa ajabu, kuanzia kuweka msimbo hadi kuwaza kwa akili ya kawaida. Hata hivyo, nyingi ya miundo hii haijatolewa kwa uwazi, ikizuia ufikiaji wao kwa utafiti, maendeleo, na matumizi ya manufaa.

Hili lilibadilika kutokana na upataji wazi wa hivi majuzi wa Gemma - familia ya LLMs kutoka DeepMind ya Google kulingana na miundo yao ya wamiliki ya Gemini yenye nguvu. Katika chapisho hili la blogi, tutazama katika Gemma, tukichanganua usanifu wake, mchakato wa mafunzo, utendakazi, na kutolewa kwa kuwajibika.

Maelezo ya jumla ya Gemma

Mnamo Februari 2023, DeepMind wazi sourced saizi mbili za miundo ya Gemma - toleo la kigezo cha bilioni 2 lililoboreshwa kwa matumizi ya kifaa, na toleo kubwa la vigezo bilioni 7 iliyoundwa kwa matumizi ya GPU/TPU.

Gemma hutumia usanifu wa msingi wa kibadilishaji na mbinu ya mafunzo sawa na miundo inayoongoza ya DeepMind ya Gemini. Ilifunzwa hadi tokeni trilioni 6 za maandishi kutoka kwa hati za wavuti, hesabu, na msimbo.

DeepMind ilitoa vituo vibichi vya ukaguzi vilivyofunzwa awali vya Gemma, pamoja na matoleo yaliyosanifiwa vyema kwa mafunzo yanayosimamiwa na maoni ya kibinadamu kwa uwezo ulioimarishwa katika maeneo kama vile mazungumzo, kufuata maagizo na usimbaji.

Anza na Gemma

Toleo la wazi la Gemma hufanya uwezo wake wa hali ya juu wa AI kupatikana kwa watengenezaji, watafiti, na wapendaji. Hapa kuna mwongozo wa haraka wa kuanza:

Usambazaji wa Agnostic wa Jukwaa

Nguvu kuu ya Gemma ni kubadilika kwake - unaweza kuiendesha kwenye CPU, GPU, au TPU. Kwa CPU, tumia TensorFlow Lite au HuggingFace Transfoma. Kwa utendakazi ulioharakishwa kwenye GPU/TPU, tumia TensorFlow. Huduma za wingu kama vile Vertex AI ya Wingu la Google pia hutoa uboreshaji usio na mshono.

Fikia Miundo Iliyofunzwa Mapema

Gemma huja katika lahaja tofauti zilizofunzwa mapema kulingana na mahitaji yako. Miundo ya 2B na 7B hutoa uwezo mkubwa wa kuzalisha nje ya boksi. Kwa urekebishaji mzuri maalum, miundo ya 2B-FT na 7B-FT ni sehemu bora za kuanzia.

Jenga Maombi ya Kusisimua

Unaweza kuunda anuwai ya programu ukitumia Gemma, kama vile kutengeneza hadithi, tafsiri ya lugha, kujibu maswali na utayarishaji wa maudhui bunifu. Jambo kuu ni kuongeza nguvu za Gemma kupitia urekebishaji mzuri kwenye hifadhidata zako mwenyewe.

usanifu

Gemma hutumia usanifu wa kibadilishaji cha dekoda pekee, ikijengwa juu ya maendeleo kama vile umakini wa hoja nyingi na upachikaji wa nafasi za mzunguko:

• Mabadiliko: Ilianzishwa mwaka wa 2017, usanifu wa transformer unaozingatia tu taratibu za tahadhari imekuwa kila mahali katika NLP. Gemma hurithi uwezo wa kibadilishaji kielelezo wa vitegemezi vya masafa marefu katika maandishi.
• Kisimbuaji pekee: Gemma hutumia mrundikano wa dekoda ya transfoma pekee, tofauti na miundo ya kisimbaji cha kusimbua kama vile BART au T5. Hii hutoa uwezo mkubwa wa kuzalisha kwa kazi kama vile utengenezaji wa maandishi.
• Uangalifu wa maswali mengi: Gemma hutumia usikivu wa hoja nyingi katika muundo wake mkubwa, ikiruhusu kila kichwa cha umakini kuchakata hoja nyingi sambamba kwa uelekezaji wa haraka zaidi.
• Upachikaji wa nafasi za mzunguko: Gemma inawakilisha maelezo ya muda kwa kutumia upachikaji wa mzunguko badala ya usimbaji wa nafasi kamili. Mbinu hii inapunguza ukubwa wa mfano huku ikihifadhi maelezo ya nafasi.

Matumizi ya mbinu kama vile umakini wa hoja nyingi na upachikaji wa nafasi za mzunguko huwezesha miundo ya Gemma kufikia uwiano bora kati ya utendakazi, kasi ya makisio na ukubwa wa kielelezo.

Mchakato wa Takwimu na Mafunzo

Gemma alifunzwa hadi tokeni trilioni 6 za data ya maandishi, kimsingi katika Kiingereza. Hii ilijumuisha hati za wavuti, maandishi ya hisabati, na msimbo wa chanzo. DeepMind iliwekeza juhudi kubwa katika uchujaji wa data, kuondoa maudhui yenye sumu au hatari kwa kutumia viainishaji na utabiri.

Mafunzo yalitekelezwa kwa kutumia miundombinu ya Google ya TPUv5, na hadi TPU 4096 zilizotumika kutoa mafunzo kwa Gemma-7B. Muundo bora na mbinu za usambamba wa data ziliwezesha kufunza miundo mikubwa kwa maunzi ya bidhaa.

Mafunzo kwa hatua yalitumiwa, yakiendelea kurekebisha usambazaji wa data ili kuzingatia ubora wa juu, maandishi muhimu. Hatua za mwisho za urekebishaji zilitumia mchanganyiko wa mifano iliyotokana na binadamu na sanisi ya kufuata maagizo ili kuongeza uwezo.

Utendaji wa Mfano

DeepMind ilitathmini kwa ukali miundo ya Gemma kwenye seti pana ya zaidi ya vigezo 25 vinavyojumuisha majibu ya maswali, hoja, hisabati, usimbaji, akili ya kawaida na uwezo wa mazungumzo.

Gemma hupata matokeo ya hali ya juu ikilinganishwa na miundo huria ya ukubwa sawa katika vigezo vingi. Baadhi ya mambo muhimu:

• Hisabati: Gemma hufaulu kwenye majaribio ya hoja za hisabati kama vile GSM8K na MATH, miundo inayofanya kazi vizuri zaidi kama Codex na Anthropic Claude kwa zaidi ya pointi 10.
• Kuandika: Gemma inalingana au inazidi utendakazi wa Codex kwenye alama za programu kama vile MBPP, licha ya kutokuwa na mafunzo mahususi kuhusu msimbo.
• Mazungumzo: Gemma inaonyesha uwezo thabiti wa mazungumzo kwa asilimia 51.7% ya kushinda Mistral-7B ya Anthropic kwenye majaribio ya upendeleo wa binadamu.
• Hoja: Kwenye kazi zinazohitaji makisio kama vile ARC na Winogrande, Gemma hufaulu kuliko miundo mingine ya 7B kwa pointi 5-10.

Uwezo mwingi wa Gemma katika taaluma mbalimbali unaonyesha uwezo wake dhabiti wa akili wa jumla. Ingawa mapengo katika utendaji wa kiwango cha binadamu yanasalia, Gemma inawakilisha kurukaruka mbele katika chanzo huria cha NLP.

Usalama na Wajibu

Kutoa uzani wa vyanzo huria vya miundo mikubwa huleta changamoto kuhusu matumizi mabaya ya kimakusudi na upendeleo asilia wa miundo. DeepMind ilichukua hatua za kupunguza hatari:

• Uchujaji wa data: Maandishi yanayoweza kuwa ya sumu, haramu au ya kupendelea yaliondolewa kutoka kwa data ya mafunzo kwa kutumia viainishaji na vielelezo.
• maoni: Gemma ilijaribiwa kwa alama 30+ zilizoratibiwa kutathmini usalama, haki na uthabiti. Ililingana au ilizidi mifano mingine.
• Urekebishaji mzuri: Urekebishaji wa muundo unaolenga kuboresha uwezo wa usalama kama vile uchujaji wa taarifa na tabia zinazofaa za ua/kukataa.
• Masharti ya matumizi: Masharti ya matumizi yanakataza matumizi mabaya, haramu au yasiyo ya maadili ya miundo ya Gemma. Walakini, utekelezaji unabaki kuwa changamoto.
• Kadi za mfano: Kadi zinazoelezea uwezo wa kielelezo, mapungufu, na upendeleo zilitolewa ili kukuza uwazi.

Ingawa hatari kutoka kwa vyanzo huria zipo, DeepMind iliamua toleo la Gemma linatoa manufaa ya jumla ya jamii kulingana na wasifu wake wa usalama na uwezeshaji wa utafiti. Walakini, ufuatiliaji wa uangalifu wa madhara yanayoweza kutokea utabaki kuwa muhimu.

Kuwezesha Wimbi Linalofuata la Ubunifu wa AI

Kuachilia Gemma kama familia ya mfano wa chanzo huria inasimama ili kufungua maendeleo katika jumuiya ya AI:

• Upatikanaji: Gemma inapunguza vizuizi kwa mashirika kujenga na NLP ya kisasa, ambayo hapo awali ilikabiliana na gharama kubwa za kukokotoa/data kwa kufunza LLM zao wenyewe.
• Matumizi mapya: Kwa kutafuta maeneo ya ukaguzi yaliyotayarishwa awali na kupangwa, DeepMind huwezesha uundaji rahisi wa programu muhimu katika maeneo kama vile elimu, sayansi na ufikivu.
• customization: Wasanidi programu wanaweza kubinafsisha Gemma kwa matumizi ya sekta au mahususi ya kikoa kupitia mafunzo yanayoendelea kuhusu data ya umiliki.
• Utafiti: Fungua miundo kama vile Gemma inakuza uwazi zaidi na ukaguzi wa mifumo ya sasa ya NLP, inayoangazia mwelekeo wa utafiti wa siku zijazo.
• Innovation: Upatikanaji wa miundo thabiti ya msingi kama vile Gemma itaharakisha maendeleo kwenye maeneo kama vile kupunguza upendeleo, ukweli na usalama wa AI.

Kwa kutoa uwezo wa Gemma kwa wote kupitia vyanzo huria, DeepMind inatarajia kuchochea maendeleo ya kuwajibika ya AI kwa manufaa ya kijamii.

Barabara Inayofuata

Kwa kila mruko katika AI, tunakaribia zaidi miundo ambayo inashindana au kuzidi akili ya binadamu katika vikoa vyote. Mifumo kama Gemma inasisitiza jinsi maendeleo ya haraka katika miundo ya kujisimamia yanavyofungua uwezo wa juu zaidi wa utambuzi.

Hata hivyo, kazi inabakia kuboresha kutegemewa, kutafsiri, na udhibiti wa AI - maeneo ambayo akili ya binadamu bado inatawala. Vikoa kama vile hisabati huangazia mapungufu haya yanayoendelea, Gemma akipata 64% kwenye MMLU ikilinganishwa na makadirio ya 89% ya utendaji wa binadamu.

Kufunga mapengo haya huku ukihakikisha usalama na maadili ya mifumo ya AI yenye uwezo zaidi itakuwa changamoto kuu katika miaka ijayo. Kuweka usawa sahihi kati ya uwazi na tahadhari itakuwa muhimu, kwani DeepMind inalenga kuweka kidemokrasia ufikiaji wa manufaa ya AI huku ikidhibiti hatari zinazojitokeza.

Mipango ya kukuza usalama wa AI - kama vile ANC ya Dario Amodei, timu ya Maadili na Jamii ya DeepMind, na AI ya Kikatiba ya Anthropic - inaashiria utambuzi unaokua wa hitaji hili la mabadiliko. Maendeleo ya maana yatahitaji mazungumzo ya wazi, yenye msingi wa ushahidi kati ya watafiti, watengenezaji, watunga sera na umma.

Ikiwa itasogezwa kwa kuwajibika, Gemma haiwakilishi mkutano wa kilele wa AI, lakini kambi ya msingi kwa kizazi kijacho cha watafiti wa AI wanaofuata nyayo za DeepMind kuelekea akili ya jumla ya haki na yenye manufaa.

Hitimisho

Utoaji wa DeepMind wa miundo ya Gemma unaashiria enzi mpya ya chanzo huria AI - ambayo inavuka alama finyu hadi uwezo wa kijasusi wa jumla. Imejaribiwa kwa kina kwa usalama na kupatikana kwa upana, Gemma inaweka kiwango kipya cha upataji huria unaowajibika katika AI.

Kwa kuendeshwa na roho ya ushindani iliyochochewa na maadili ya ushirika, kushiriki mafanikio kama Gemma huinua boti zote katika mfumo ikolojia wa AI. Jumuiya nzima sasa ina uwezo wa kufikia familia ya LLM yenye uwezo mwingi kuendesha au kuunga mkono mipango yao.

Ingawa hatari zinasalia, bidii ya kiufundi na kimaadili ya DeepMind inatoa imani kwamba manufaa ya Gemma yanapita madhara yake. Kadiri uwezo wa AI unavyokua zaidi, kudumisha hali hii kati ya uwazi na tahadhari itakuwa muhimu.

Gemma inatuchukua hatua moja karibu na AI ambayo inanufaisha ubinadamu wote. Lakini changamoto nyingi kubwa bado zinangoja njiani kuelekea akili ya jumla ya bandia. Ikiwa watafiti wa AI, wasanidi programu na jamii kwa ujumla wanaweza kudumisha maendeleo ya ushirikiano, Gemma siku moja inaweza kuonekana kama kambi ya kihistoria, badala ya mkutano wa mwisho.