Google lanserer Gemma 2: Forbedret ytelse, hastighet og tilgjengelighet for utviklere

Google (GOOGL ) har lansert Gemma 2, den nyeste iterasjonen av deres åpne, lettvinte språkmodeller, tilgjengelig i 9 milliarder (9B) og 27 milliarder (27B) parameterstørrelser. Denne nye versjonen lover forbedret ytelse og raskere inferens sammenlignet med sin forgjenger, Gemma-modellen. Gemma 2, som er avledet fra Googles Gemini-modeller, er designet for å være mer tilgjengelig for forskere og utviklere, og tilbyr betydelige forbedringer i hastighet og effisiens. I motsetning til de multimodale og flerspråklige Gemini-modellene, fokuserer Gemma 2 kun på språkbehandling. I denne artikkelen vil vi dykke ned i de fremtredende egenskapene og fremgangene til Gemma 2, sammenlignet med sine forgjengere og konkurrenter på markedet, og høydepunktene av dens bruksområder og utfordringer.

Bygging av Gemma 2

Like sin forgjenger, er Gemma 2-modellene basert på en decoder-kun transformer-arkitektur. Den 27B-varianten er trent på 13 billioner tokens av hovedsakelig engelsk data, mens den 9B-modellen bruker 8 billioner tokens, og den 2,6B-modellen er trent på 2 billioner tokens. Disse tokenene kommer fra en rekke kilder, inkludert webdokumenter, kode og vitenskapelige artikler. Modellen bruker samme tokenizer som Gemma 1 og Gemini, og sikrer konsistens i dataprosessering.

Gemma 2 er forhåndstrent ved hjelp av en metode kalt kunnskapsdestillasjon, hvor den lærer fra utgangsprobabilitetene til en større, forhåndstrent modell. Etter initial trening, er modellene finjustert gjennom en prosess kalt instruksjonstuning. Dette starter med overvåket finjustering (SFT) på en blanding av syntetisk og menneskegenerert engelsk tekst-basert prompt-respons-par. Deretter blir forsterkingslæring med menneskelig tilbakemelding (RLHF) brukt til å forbedre den totale ytelsen.

Gemma 2: Forbedret ytelse og effisiens på diverse hardware

Gemma 2 ikke bare overgår Gemma 1 i ytelse, men konkurrerer også effektivt med modeller som er dobbelt så store. Den er designet for å fungere effektivt på ulike hardware-konfigurasjoner, inkludert bærbare datamaskiner, stasjonære datamaskiner, IoT-enheter og mobile plattformer. Spesifikt optimert for enkelt-GPUer og TPU-er, forbedrer Gemma 2 effisiensen til sin forgjenger, særlig på ressursbegrensede enheter. For eksempel, kjører den 27B-modellen utmerket på en enkelt NVIDIA H100 Tensor Core GPU (NVDA ) eller TPU-vert, og gjør det til en kostnadseffektiv valg for utviklere som trenger høy ytelse uten å investere tungt i hardware.

I tillegg tilbyr Gemma 2 utviklere forbedrede justeringsmuligheter på en rekke plattformer og verktøy. Uansett om du bruker skybaserte løsninger som Google Cloud eller populære plattformer som Axolotl, tilbyr Gemma 2 omfattende justeringsmuligheter. Integrasjon med plattformer som Hugging Face, NVIDIA TensorRT-LLM og Google’s JAX og Keras gjør det mulig for forskere og utviklere å oppnå optimal ytelse og effektiv utrulling på diverse hardware-konfigurasjoner.

Gemma 2 vs. Llama 3 70B

Når vi sammenligner Gemma 2 med Llama 3 70B, skiller begge modellene seg ut i kategorien åpne språkmodeller. Google-forskere hevder at Gemma 2 27B leverer ytelse som er sammenlignbar med Llama 3 70B, til tross for at den er mye mindre i størrelse. I tillegg overgår Gemma 2 9B konsekvent Llama 3 8B i ulike benchmark-tester, som språkforståelse, kode og løsning av matematikkproblemer.

En merkbart fordel med Gemma 2 over Meta’s Llama 3 er dens håndtering av indiske språk. Gemma 2 skiller seg ut på grunn av sin tokenizer, som er spesifikt designet for disse språkene og inkluderer en stor vokabular på 256k tokens for å fange lingvistiske nyanser. På den andre siden, har Llama 3, til tross for at den støtter mange språk, problemer med tokenisering for indiske skripter på grunn av begrensede vokabular og treningdata. Dette gir Gemma 2 en fordel i oppgaver som involverer indiske språk, og gjør den til et bedre valg for utviklere og forskere som arbeider i disse områdene.

Bruksområder

Basert på de spesifikke egenskapene til Gemma 2-modellen og dens ytelse i benchmark-tester, har vi identifisert noen praktiske bruksområder for modellen.

• Flerspråklige assistenter: Gemma 2’s spesialiserte tokenizer for ulike språk, særlig indiske språk, gjør den til et effektivt verktøy for å utvikle flerspråklige assistenter tilpasset disse språkbrukerne. Uansett om du søker etter informasjon på hindi, lager utdanningsmateriell på urdu, markedsføringsinnhold på arabisk eller forskningsartikler på bengali, gir Gemma 2 skapere effektive språkgenereringsverktøy. Et eksempel på dette bruksområdet er Navarasa, en flerspråklig assistent bygget på Gemma som støtter ni indiske språk. Brukere kan enkelt produsere innhold som resonerer med regionale publikum, samtidig som de overholder bestemte lingvistiske normer og nyanser.
• Utdanningsverktøy: Med dens evne til å løse matematikkproblemer og forstå komplekse språkspørsmål, kan Gemma 2 brukes til å skape intelligente undervisningssystemer og utdanningsapper som gir personlige læringsopplevelser.
• Koding og kodeassistans: Gemma 2’s dyktighet i kode-benchmark-tester indikerer dens potensiale som et kraftfullt verktøy for kodegenerering, feiloppsporing og automatiserte kodegjennomganger. Dens evne til å fungere godt på ressursbegrensede enheter gjør det mulig for utviklere å integrere den sømløst i sine utviklingsmiljøer.
• Retrieval Augmented Generation (RAG): Gemma 2’s sterke ytelse på tekst-basert inferens-tester gjør den til et godt verktøy for å utvikle RAG-systemer på ulike områder. Den støtter helseapplikasjoner ved å syntetisere klinisk informasjon, hjelper juridiske AI-systemer med å gi juridisk råd, muliggjør utvikling av intelligente chatboter for kundestøtte og fasiliteter for å skape personlige utdanningsverktøy.

Begrensninger og utfordringer

Selv om Gemma 2 viser fremtredende fremgang, møter den også begrensninger og utfordringer, hovedsakelig relatert til kvaliteten og mangfoldet av dens treningdata. Til tross for at dens tokenizer støtter ulike språk, mangler Gemma 2 spesifikk trening for flerspråklige evner og krever finjustering for å håndtere andre språk effektivt. Modellen fungerer godt med klare, strukturerte spørsmål, men har problemer med å håndtere åpne eller komplekse oppgaver og subtile språknyanser som sarkasme eller figurative uttrykk. Dens faktiske nøyaktighet er ikke alltid pålitelig, og kan produsere foreldede eller feilaktige opplysninger, og den kan mangle vanlig fornuft i bestemte sammenhenger. Selv om det er gjort forsøk på å håndtere hallucinasjoner, spesielt i følsomme områder som medisin eller CBRN-scenarier, er det fortsatt en risiko for å generere feilaktige opplysninger i mindre raffinerte domener som finansiell informasjon. I tillegg er Gemma 2 kun tekst-basert og støtter ikke multimodal data-prosessering.

Sluttkonklusjon

Gemma 2 introduserer fremtredende fremgang i åpne språkmodeller, og forbedrer ytelse og inferenshastighet sammenlignet med sin forgjenger. Den er godt egnet for ulike hardware-konfigurasjoner, og gjør det mulig å bruke den uten betydelige hardware-investeringer. Likevel består utfordringer i å håndtere nyanserte språkoppgaver og sikre nøyaktighet i komplekse scenarioer. Selv om den er nyttig for applikasjoner som juridisk rådgivning og utdanningsverktøy, bør utviklere være bevisste på dens begrensninger i flerspråklige evner og potensielle problemer med faktisk nøyaktighet i følsomme sammenhenger. Til tross for disse overveielser, forblir Gemma 2 et verdifullt alternativ for utviklere som søker pålitelige språkbehandlingsløsninger.