Gemma: Google Bringing Advanced AI Capabilities through Open Source

Il-qasam tal-intelliġenza artifiċjali (AI) ra progress kbir f'dawn l-aħħar snin, l-aktar immexxi minn avvanzi fil- tagħlim fil-fond u, Ipproċessar tal-lingwa naturali (NLP). Fuq quddiemnett ta 'dawn l-avvanzi huma mudelli kbar tal-lingwa (LLMs) – Sistemi AI mħarrġa fuq ammonti massivi ta’ dejta tat-test li jistgħu jiġġeneraw test simili għall-bniedem u jidħlu f’kompiti konversazzjonali.

LLMs bħal Google's PaLM, Anthropic's Claude, u DeepMind's Gopher wrew kapaċitajiet notevoli, mill-kodifikazzjoni għal raġunament tas-sens komun. Madankollu, ħafna minn dawn il-mudelli ma ġewx rilaxxati fil-miftuħ, li jillimitaw l-aċċess tagħhom għar-riċerka, l-iżvilupp u l-applikazzjonijiet ta 'benefiċċju.

Dan inbidel bis-sors miftuħ riċenti ta 'Gemma - familja ta' LLMs minn DeepMind ta 'Google ibbażati fuq il-mudelli proprjetarji qawwija tagħhom Gemini. F'din il-post tal-blog, aħna ser nidħlu f'Gemma, tanalizzaw l-arkitettura tagħha, il-proċess ta 'taħriġ, il-prestazzjoni, u r-rilaxx responsabbli.

Ħarsa ġenerali lejn Gemma

Fi Frar 2023, DeepMind miftuħa żewġ daqsijiet ta 'mudelli Gemma - verżjoni ta' parametru ta '2 biljun ottimizzata għall-iskjerament fuq l-apparat, u verżjoni ta' parametru akbar ta '7 biljun iddisinjata għall-użu ta' GPU/TPU.

Gemma tisfrutta arkitettura simili bbażata fuq transformer u metodoloġija ta 'taħriġ għall-mudelli ewlenin Gemini ta' DeepMind. Ġie mħarreġ fuq sa 6 triljun tokens ta’ test minn dokumenti tal-web, matematika u kodiċi.

DeepMind ħarġet kemm punti ta 'kontroll mhux maħduma mħarrġa minn qabel ta' Gemma, kif ukoll verżjonijiet irfinati b'tagħlim sorveljat u feedback uman għal kapaċitajiet imtejba f'oqsma bħad-djalogu, is-segwitu tal-istruzzjoni, u l-kodifikazzjoni.

Nibdew ma' Gemma

Ir-rilaxx miftuħ ta 'Gemma jagħmel il-kapaċitajiet avvanzati tagħha ta' AI aċċessibbli għall-iżviluppaturi, ir-riċerkaturi u d-dilettanti. Hawnhekk hawn gwida ta' malajr biex tibda:

Skjerament Agnostiku tal-Pjattaforma

Qawwa ewlenija ta 'Gemma hija l-flessibbiltà tagħha - tista' tħaddem fuq CPUs, GPUs jew TPUs. Għas-CPU, uża TensorFlow Lite jew HuggingFace Transformers. Għal prestazzjoni aċċellerata fuq GPU/TPU, uża TensorFlow. Servizzi tal-cloud bħall-Vertex AI ta' Google Cloud jipprovdu wkoll skalar bla xkiel.

Aċċess Mudelli mħarrġa minn qabel

Gemma tiġi f'varjanti differenti mħarrġa minn qabel skont il-bżonnijiet tiegħek. Il-mudelli 2B u 7B joffru abbiltajiet ġenerattivi qawwija out-of-the-box. Għall-irfinar tad-dwana, il-mudelli 2B-FT u 7B-FT huma punti ta 'tluq ideali.

Ibni Applikazzjonijiet eċċitanti

Tista' tibni firxa diversa ta' applikazzjonijiet ma' Gemma, bħall-ġenerazzjoni tal-istorja, it-traduzzjoni tal-lingwa, it-tweġibiet tal-mistoqsijiet, u l-produzzjoni ta' kontenut kreattiv. Iċ-ċavetta hija li tissaħħaħ is-saħħiet ta' Gemma permezz ta' rfinar fuq is-settijiet tad-dejta tiegħek stess.

arkitettura

Gemma tutilizza arkitettura ta' transformer ta' decoder biss, li tibni fuq avvanzi bħal attenzjoni multi-query u inkorporazzjonijiet pożizzjonali li jdur:

• transformers: Introdotta fl-2017, l-arkitettura tat-transformer ibbażata biss fuq mekkaniżmi ta 'attenzjoni saret kullimkien fl-NLP. Gemma tirret l-abbiltà tat-transformer li jimmudella dipendenzi fuq medda twila fit-test.
• Dekoder biss: Gemma tuża biss munzell ta 'decoder tat-trasformaturi, kuntrarjament għal mudelli ta' encoder-decoder bħal BART jew T5. Dan jipprovdi kapaċitajiet ġenerattivi qawwija għal kompiti bħall-ġenerazzjoni tat-test.
• Attenzjoni għal mistoqsijiet multipli: Gemma timpjega attenzjoni b'ħafna mistoqsijiet fil-mudell akbar tagħha, li tippermetti lil kull ras ta 'attenzjoni tipproċessa mistoqsijiet multipli b'mod parallel għal inferenza aktar mgħaġġla.
• Inkorporazzjonijiet pożizzjonali li jdur: Gemma tirrappreżenta informazzjoni pożizzjonali billi tuża embeddings rotanti minflok kodifikazzjonijiet ta 'pożizzjoni assoluta. Din it-teknika tnaqqas id-daqs tal-mudell filwaqt li żżomm l-informazzjoni dwar il-pożizzjoni.

L-użu ta 'tekniki bħall-attenzjoni b'ħafna mistoqsijiet u inkorporazzjonijiet pożizzjonali li jdur jippermettu lill-mudelli Gemma jilħqu kompromess ottimali bejn il-prestazzjoni, il-veloċità tal-inferenza u d-daqs tal-mudell.

Data u Proċess ta' Taħriġ

Gemma ġiet imħarrġa fuq sa 6 triljun tokens ta 'dejta tat-test, primarjament bl-Ingliż. Dan kien jinkludi dokumenti tal-web, test matematiku, u kodiċi tas-sors. DeepMind investa sforzi sinifikanti fil-filtrazzjoni tad-dejta, neħħi kontenut tossiku jew ta 'ħsara bl-użu ta' klassifikaturi u euristiċi.

It-taħriġ sar bl-użu tal-infrastruttura TPUv5 ta 'Google, b'sa 4096 TPU użati biex iħarrġu Gemma-7B. Mudelli effiċjenti u tekniki ta' paralleliżmu tad-dejta ppermettew it-taħriġ tal-mudelli massivi b'ħardwer tal-komoditajiet.

Ġie utilizzat taħriġ fi stadji, li kontinwament aġġusta d-distribuzzjoni tad-dejta biex tiffoka fuq test rilevanti ta 'kwalità għolja. L-istadji finali tal-irfinar użaw taħlita ta 'eżempji li jsegwu istruzzjoni ġġenerata mill-bniedem u sintetiċi biex itejbu l-kapaċitajiet.

Prestazzjoni tal-Mudell

DeepMind evalwat b'mod rigoruż il-mudelli ta' Gemma fuq sett wiesa' ta' aktar minn 25 punt ta' referenza li jkopru kapaċitajiet ta' tweġibiet għall-mistoqsijiet, raġunament, matematika, kodifikazzjoni, sens komun u djalogu.

Gemma tikseb riżultati avvanzati meta mqabbla ma 'mudelli open source ta' daqs simili fil-maġġoranza tal-benchmarks. Xi punti ewlenin:

• Matematika: Gemma teċċella fuq testijiet ta’ raġunament matematiku bħal GSM8K u MATH, u tegħleb mudelli bħal Codex u Claude ta’ Anthropic b’aktar minn 10 punti.
• Kodifikazzjoni: Gemma taqbel jew taqbeż il-prestazzjoni tal-Codex fuq benchmarks tal-ipprogrammar bħall-MBPP, minkejja li ma tkunx imħarrġa speċifikament fuq il-kodiċi.
• Djalogu: Gemma turi kapaċità ta 'konversazzjoni qawwija b'rata ta' rebħ ta '51.7% fuq il-Mistral-7B ta' Anthropic fuq testijiet tal-preferenza tal-bniedem.
• Raġunament: Fuq kompiti li jeħtieġu inferenza bħal ARC u Winogrande, Gemma tegħleb mudelli 7B oħra b'5-10 punti.

Il-versatilità ta' Gemma madwar id-dixxiplini turi l-kapaċitajiet ta' intelliġenza ġenerali qawwija tagħha. Filwaqt li għad fadal nuqqasijiet fil-prestazzjoni fil-livell tal-bniedem, Gemma tirrappreżenta qabża 'l quddiem fl-NLP ta' sors miftuħ.

Sigurtà u Responsabbiltà

Ir-rilaxx ta' piżijiet ta' sors miftuħ ta' mudelli kbar jintroduċi sfidi madwar użu ħażin intenzjonat u preġudizzji inerenti tal-mudell. DeepMind ħa passi biex itaffi r-riskji:

• Filtrazzjoni tad-data: Test potenzjalment tossiku, illegali jew preġudikat tneħħa mid-dejta tat-taħriġ bl-użu ta' klassifikaturi u euristiċi.
• Klassifikazzjonijiet: Gemma ġiet ittestjata fuq 30+ benchmarks ikkurati biex tevalwa s-sikurezza, il-ġustizzja u r-robustezza. Huwa qabbel jew qabeż mudelli oħra.
• Irfinar: L-irfinar tal-mudell iffokat fuq it-titjib tal-kapaċitajiet tas-sikurezza bħall-iffiltrar tal-informazzjoni u l-imġiba xierqa ta’ hedging/rifjut.
• Termini ta 'użu: It-termini tal-użu jipprojbixxu applikazzjonijiet offensivi, illegali jew mhux etiċi tal-mudelli Gemma. Madankollu, l-infurzar għadu ta’ sfida.
• Mudell tal-karti: Ġew rilaxxati karti li jagħtu dettalji dwar il-kapaċitajiet, il-limitazzjonijiet u l-preġudizzji tal-mudelli biex jippromwovu t-trasparenza.

Filwaqt li jeżistu riskji minn sorsi miftuħa, DeepMind iddeterminat li r-rilaxx ta' Gemma jipprovdi benefiċċji netti għas-soċjetà bbażati fuq il-profil ta' sikurezza tagħha u l-abilitazzjoni tar-riċerka. Madankollu, monitoraġġ viġilanti tal-ħsara potenzjali se jibqa' kritiku.

Nippermettu l-Mewġa Li jmiss ta 'Innovazzjoni AI

Ir-rilaxx ta' Gemma bħala familja ta' mudell ta' sors miftuħ huwa li nisfrutta l-progress fil-komunità tal-AI:

• Aċċessibilità: Gemma tnaqqas l-ostakli għall-organizzazzjonijiet biex jibnu b'NLP avvanzata, li qabel iffaċċjaw spejjeż għoljin ta 'komputazzjoni/dejta għat-taħriġ tal-LLMs tagħhom stess.
• Applikazzjonijiet ġodda: Permezz ta’ xiri miftuħ ta’ punti ta’ kontroll imħarrġa minn qabel u sintonizzati, DeepMind jippermetti żvilupp aktar faċli ta’ apps ta’ benefiċċju f’oqsma bħall-edukazzjoni, ix-xjenza u l-aċċessibbiltà.
• Personalizzazzjoni: L-iżviluppaturi jistgħu jippersonalizzaw aktar Gemma għall-industrija jew applikazzjonijiet speċifiċi għad-dominju permezz ta 'taħriġ kontinwu dwar data proprjetarja.
• Riċerka: Mudelli miftuħa bħal Gemma jrawmu trasparenza u verifika akbar tas-sistemi NLP attwali, li jdawwal direzzjonijiet ta 'riċerka futuri.
• Innovazzjoni: Id-disponibbiltà ta' mudelli ta' bażi b'saħħithom bħal Gemma se taċċellera l-progress f'oqsma bħall-mitigazzjoni tal-preġudizzju, il-fattwalita', u s-sikurezza tal-IA.

Billi tipprovdi l-kapaċitajiet ta 'Gemma lil kulħadd permezz ta' sorsi miftuħin, DeepMind tittama li tixpruna l-iżvilupp responsabbli tal-IA għall-ġid soċjali.

It-Triq Ahead

Ma 'kull qabża fl-AI, aħna pulzieri eqreb lejn mudelli li rivalu jew jaqbżu l-intelliġenza umana fl-oqsma kollha. Sistemi bħal Gemma jenfasizzaw kif avvanzi mgħaġġla fil-mudelli awto-superviżjonati qed jiftħu kapaċitajiet konjittivi dejjem aktar avvanzati.

Madankollu, għad fadal ix-xogħol biex titjieb l-affidabbiltà, l-interpretabilità u l-kontrollabbiltà tal-AI - oqsma fejn l-intelliġenza umana għadha tirrenja suprema. Oqsma bħall-matematika jenfasizzaw dawn il-lakuni persistenti, b'Gemma skorja 64% fuq MMLU meta mqabbel ma 'prestazzjoni umana stmata ta' 89%.

L-isfidi ċentrali fis-snin li ġejjin se jkunu l-għeluq ta’ dawn il-lakuni filwaqt li jiġu żgurati s-sikurezza u l-etika ta’ sistemi ta’ AI li jkunu dejjem aktar kapaċi. L-ilħuq tal-bilanċ it-tajjeb bejn il-ftuħ u l-kawtela se jkun kritiku, peress li DeepMind għandu l-għan li jiddemokratizza l-aċċess għall-benefiċċji tal-IA filwaqt li jimmaniġġja r-riskji emerġenti.

Inizjattivi biex jippromwovu s-sikurezza tal-IA – bħall-ANC ta’ Dario Amodei, it-tim tal-Etika u tas-Soċjetà ta’ DeepMind, u l-AI Kostituzzjonali ta’ Anthropic – jindikaw rikonoxximent dejjem jikber ta’ din il-ħtieġa għal sfumatura. Progress sinifikanti se jeħtieġ djalogu miftuħ u bbażat fuq l-evidenza bejn ir-riċerkaturi, l-iżviluppaturi, dawk li jfasslu l-politika u l-pubbliku.

Jekk tinnaviga b'mod responsabbli, Gemma tirrappreżenta mhux is-samit tal-AI, iżda kamp bażi għall-ġenerazzjoni li jmiss ta 'riċerkaturi tal-AI li jsegwu l-passi ta' DeepMind lejn intelliġenza ġenerali artifiċjali ġusta u ta 'benefiċċju.

konklużjoni

Ir-rilaxx ta 'DeepMind tal-mudelli Gemma ifisser era ġdida għall-AI ta' sors miftuħ - waħda li tittraxxendi punti ta 'referenza dojoq f'kapaċitajiet ta' intelliġenza ġeneralizzati. Ittestjata b'mod estensiv għas-sikurezza u aċċessibbli b'mod wiesa ', Gemma tistabbilixxi standard ġdid għal sors miftuħ responsabbli fl-AI.

Immexxi minn spirtu kompetittiv ittemprat b'valuri kooperattivi, il-qsim ta' skoperti bħal Gemma tqajjem id-dgħajjes kollha fl-ekosistema tal-AI. Il-komunità kollha issa għandha aċċess għal familja LLM versatili biex tmexxi jew tappoġġja l-inizjattivi tagħhom.

Filwaqt li r-riskji jibqgħu, id-diliġenza teknika u etika ta 'DeepMind tipprovdi kunfidenza li l-benefiċċji ta' Gemma jegħlbu l-ħsara potenzjali tagħha. Hekk kif il-kapaċitajiet tal-IA jikbru dejjem aktar avvanzati, iż-żamma ta' din l-isfumatura bejn il-ftuħ u l-kawtela se tkun kritika.

Gemma teħodna pass eqreb lejn l-AI li tibbenefika lill-umanità kollha. Iżda ħafna sfidi kbar għadhom jistennew tul it-triq lejn intelliġenza ġenerali artifiċjali benivola. Jekk ir-riċerkaturi tal-AI, l-iżviluppaturi u s-soċjetà inġenerali jistgħu jżommu progress kollaborattiv, Gemma tista’ xi darba titqies bħala bażi storika, aktar milli s-summit finali.