Google Introducerar Gemma 2: Förbättrad Prestanda, Hastighet och Tillgänglighet för Utvecklare

Google (GOOGL ) har presenterat Gemma 2, den senaste versionen av deras öppen källkodsmodell för språk, tillgänglig i 9 miljarder (9B) och 27 miljarder (27B) parametrar. Denna nya version lovar förbättrad prestanda och snabbare inferens jämfört med sin föregångare, Gemma-modellen. Gemma 2, som är baserad på Googles Gemini-modeller, är utformad för att vara mer tillgänglig för forskare och utvecklare, med betydande förbättringar i hastighet och effektivitet. Till skillnad från de multimodala och flerspråkiga Gemini-modellerna fokuserar Gemma 2 enbart på språkbehandling. I den här artikeln kommer vi att undersöka de främsta funktionerna och framstegen i Gemma 2, jämföra den med dess föregångare och konkurrenter inom området, och belysa dess användningsfall och utmaningar.

Bygga Gemma 2

Liksom sin föregångare bygger Gemma 2-modellerna på en decoder-only transformer-arkitektur. Den 27B-varianten är tränad på 13 biljoner token av huvudsakligen engelska data, medan 9B-modellen använder 8 biljoner token, och 2,6B-modellen är tränad på 2 biljoner token. Dessa token kommer från en mängd olika källor, inklusive webbdokument, kod och vetenskapliga artiklar. Modellen använder samma tokenisator som Gemma 1 och Gemini, vilket säkerställer konsekvens i datahantering.

Gemma 2 är förtränad med en metod som kallas kunskapsdestillering, där den lär sig från utgångssannolikheterna för en större, förtränad modell. Efter den initiala träningsprocessen finjusteras modellerna genom en process som kallas instruktionsjustering. Detta börjar med övervakad finjustering (SFT) på en blandning av syntetisk och mänsklig genererad engelsk text-baserad prompt-svar-par. Därefter tillämpas förstärkt inlärning med mänsklig feedback (RLHF) för att förbättra den övergripande prestandan.

Gemma 2: Förbättrad Prestanda och Effektivitet över Diverse Hårdvara

Gemma 2 överträffar inte bara Gemma 1 i prestanda, utan konkurrerar också effektivt med modeller som är dubbelt så stora. Den är utformad för att fungera effektivt på olika hårdvarukonfigurationer, inklusive bärbara datorer, stationära datorer, IoT-enheter och mobila plattformar. Specifikt optimerad för enskilda GPU:er och TPU:er, förbättrar Gemma 2 effektiviteten hos sin föregångare, särskilt på resursbegränsade enheter. Till exempel excellerar 27B-modellen vid att köra inferens på en enskild NVIDIA H100 Tensor Core GPU (NVDA ) eller TPU-värd, vilket gör den till ett kostnadseffektivt alternativ för utvecklare som behöver hög prestanda utan att investera tungt i hårdvara.

Dessutom erbjuder Gemma 2 utvecklare förbättrade justeringsmöjligheter över en mängd olika plattformar och verktyg. Oavsett om du använder molnbaserade lösningar som Google Cloud eller populära plattformar som Axolotl, tillhandahåller Gemma 2 omfattande justeringsalternativ. Integration med plattformar som Hugging Face, NVIDIA TensorRT-LLM och Google’s JAX och Keras möjliggör för forskare och utvecklare att uppnå optimal prestanda och effektiv distribution över diverse hårdvarukonfigurationer.

Gemma 2 vs. Llama 3 70B

När man jämför Gemma 2 med Llama 3 70B, utmärker sig båda modellerna i den öppna källkodsmodellkategorin. Google-forskare hävdar att Gemma 2 27B levererar prestanda som är jämförbar med Llama 3 70B, trots att den är mycket mindre i storlek. Dessutom överträffar Gemma 2 9B konsekvent Llama 3 8B i olika benchmark-tester, såsom språkförståelse, kodning och matematikproblem.

En anmärkningsvärd fördel med Gemma 2 jämfört med Meta’s Llama 3 är dess hantering av indiska språk. Gemma 2 excellerar tack vare sin tokenisator, som är specifikt utformad för dessa språk och inkluderar en stor ordförråd på 256 000 token för att fånga språkliga nyanser. Å andra sidan kämpar Llama 3, trots att den stöder många språk, med tokenisering för indiska skript på grund av begränsad ordförråd och träningsdata. Detta ger Gemma 2 en fördel i uppgifter som involverar indiska språk, vilket gör den till ett bättre val för utvecklare och forskare som arbetar inom dessa områden.

Användningsfall

Baserat på de specifika egenskaperna hos Gemma 2-modellen och dess prestanda i benchmark-tester, har vi identifierat några praktiska användningsfall för modellen.

• Flerspråkiga assistenter: Gemma 2:s specialiserade tokenisator för olika språk, särskilt indiska språk, gör den till ett effektivt verktyg för att utveckla flerspråkiga assistenter anpassade för dessa språk. Oavsett om du söker information på hindi, skapar utbildningsmaterial på urdu, marknadsföringsinnehåll på arabiska eller forskningsartiklar på bengali, ger Gemma 2 skapare effektiva språkgenereringsverktyg. Ett verkligt exempel på detta användningsfall är Navarasa, en flerspråkig assistent byggd på Gemma som stöder nio indiska språk. Användare kan enkelt producera innehåll som resoneras med regionala publik medan de följer specifika språkliga normer och nyanser.
• Utbildningsverktyg: Med sin förmåga att lösa matematikproblem och förstå komplexa språkfrågor kan Gemma 2 användas för att skapa intelligenta utbildningssystem och utbildningsappar som tillhandahåller personliga inlärningsupplevelser.
• Kodning och kodassistans: Gemma 2:s kompetens i kodningsbenchmark-tester indikerar dess potential som ett kraftfullt verktyg för kodgenerering, felsökning och automatiserad kodgranskning. Dess förmåga att fungera bra på resursbegränsade enheter tillåter utvecklare att integrera den smidigt i sina utvecklingsmiljöer.
• Retrieval Augmented Generation (RAG): Gemma 2:s starka prestanda på textbaserade inferens-tester gör den väl lämpad för att utveckla RAG-system över olika domäner. Den stöder hälsoapplikationer genom att syntetisera klinisk information, assisterar juridiska AI-system i att tillhandahålla juridisk rådgivning, möjliggör utveckling av intelligenta chatbots för kundsupport och underlättar skapandet av personliga utbildningsverktyg.

Begränsningar och Utmaningar

Medan Gemma 2 visar på betydande framsteg, står den också inför begränsningar och utmaningar, främst relaterade till kvaliteten och mångfalden av dess träningsdata. Trots att dess tokenisator stöder olika språk, saknar Gemma 2 specifik träningsdata för flerspråkiga förmågor och kräver finjustering för att effektivt hantera andra språk. Modellen fungerar bra med tydliga, strukturerade prompter men kämpar med öppna eller komplexa uppgifter och subtila språknyanser som sarkasm eller figurativt språk. Dess faktiska noggrannhet är inte alltid tillförlitlig, vilket potentiellt kan producera föråldrad eller felaktig information, och den kan sakna sunt förnuft i vissa sammanhang. Medan ansträngningar har gjorts för att hantera hallucinationer, särskilt i känsliga områden som medicin eller CBRN-scenarier, finns det fortfarande en risk att generera felaktig information i mindre utvecklade domäner som finans. Dessutom, trots kontroller för att förhindra oetiskt innehållsgenerering som hatprat eller cyberhot, finns det fortfarande en risk för missbruk i andra domäner. Slutligen är Gemma 2 enbart textbaserad och stöder inte multimodal datahantering.

Slutsatsen

Gemma 2 introducerar betydande framsteg i öppen källkodsmodeller för språk, med förbättrad prestanda och inferenshastighet jämfört med sin föregångare. Den är väl lämpad för olika hårdvarukonfigurationer, vilket gör den tillgänglig utan betydande hårdvaruinvesteringar. Men utmaningar kvarstår i hanteringen av subtila språkuppgifter och säkerställandet av noggrannhet i komplexa scenarier. Medan den är fördelaktig för applikationer som juridisk rådgivning och utbildningsverktyg, bör utvecklare vara medvetna om dess begränsningar i flerspråkiga förmågor och potentiella problem med faktisk noggrannhet i känsliga sammanhang. Trots dessa överväganden förblir Gemma 2 ett värdefullt alternativ för utvecklare som söker pålitliga språkbehandlingslösningar.