Google introducerer Gemma 2: Forbedrer AI-ydelse, hastighed og tilgængelighed for udviklere

Google (GOOGL ) har offentliggjort Gemma 2, den seneste iteration af deres open-source letvægts sprogmodeller, tilgængelig i 9 milliarder (9B) og 27 milliarder (27B) parameterstørrelser. Denne nye version lover forbedret ydelse og hurtigere inferens sammenlignet med sin forgænger, Gemma-modellen. Gemma 2, der er afledt af Googles Gemini-modeller, er designet til at være mere tilgængelig for forskere og udviklere, og tilbyder betydelige forbedringer i hastighed og effektivitet. I modsætning til de multimodale og multilinguale Gemini-modeller, fokuserer Gemma 2 udelukkende på sprogbehandling. I denne artikel vil vi dykke ned i de fremhævede funktioner og fremskridt i Gemma 2, sammenlignet med dens forgængere og konkurrenter på markedet, og fremhæve dets anvendelsesmuligheder og udfordringer.

Opbygning af Gemma 2

Ligesom sin forgænger er Gemma 2-modellerne baseret på en decoder-kun transformer-arkitektur. Den 27B-variant er trænet på 13 billioner tokens af primært engelsk data, mens 9B-modellen bruger 8 billioner tokens, og 2,6B-modellen er trænet på 2 billioner tokens. Disse tokens kommer fra en række kilder, herunder webdokumenter, kode og videnskabelige artikler. Modellen bruger samme tokenizer som Gemma 1 og Gemini, hvilket sikrer konsistens i databehandling.

Gemma 2 er fortrænet ved hjælp af en metode kaldet knowledge distillation, hvor den lærer fra output-sandsynlighederne fra en større, fortrænet model. Efter den initiale træning bliver modellerne finjusteret gennem en proces kaldet instruktionsjustering. Dette starter med overvåget finjustering (SFT) på en blanding af syntetisk og menneskeskabt engelsk tekst-baseret prompt-svar-par. Herefter bliver forstærkning med menneskefeedback (RLHF) anvendt for at forbedre den samlede ydelse

Gemma 2: Forbedret ydelse og effektivitet på diverse hardware

Gemma 2 overgår ikke kun Gemma 1 i ydelse, men konkurrerer også effektivt med modeller, der er dobbelt så store. Den er designet til at fungere effektivt på diverse hardware-konfigurationer, herunder bærbare computere, stationære computere, IoT-enheder og mobile platforme. Specielt optimeret til enkelt-GPU’er og TPU’er, forbedrer Gemma 2 effektiviteten af sin forgænger, især på ressource-begrænsede enheder. For eksempel udfører 27B-modellen inference på en enkelt NVIDIA H100 Tensor Core GPU (NVDA ) eller TPU-vært, hvilket gør den til en omkostningseffektiv løsning for udviklere, der har brug for høj ydelse uden at investere tungt i hardware.

Derudover tilbyder Gemma 2 udviklere forbedrede justeringsmuligheder på en bred vifte af platforme og værktøjer. Uanset om man bruger cloud-baserede løsninger som Google Cloud eller populære platforme som Axolotl, tilbyder Gemma 2 omfattende justeringsmuligheder. Integration med platforme som Hugging Face, NVIDIA TensorRT-LLM og Google’s JAX og Keras giver forskere og udviklere mulighed for at opnå optimal ydelse og effektiv installation på diverse hardware-konfigurationer.

Gemma 2 vs. Llama 3 70B

Når man sammenligner Gemma 2 med Llama 3 70B, fremhæver begge modeller sig i kategorien af open-source sprogmodeller. Google-forskere påstår, at Gemma 2 27B leverer ydelse, der er sammenlignelig med Llama 3 70B, på trods af at være betydeligt mindre i størrelse. Derudover overgår Gemma 2 9B konsekvent Llama 3 8B i diverse benchmarks, herunder sprogforståelse, kodning og løsning af matematiske problemer.

En bemærkelsesværdig fordel for Gemma 2 i forhold til Meta’s Llama 3 er dens håndtering af Indic-sprog. Gemma 2 udfører godt takket være sin tokenizer, der er specifikt designet til disse sprog og inkluderer en stor ordforråd på 256k tokens for at fange sproglige nuancer. På den anden side kæmper Llama 3, på trods af at den understøtter mange sprog, med tokenisering for Indic-manuskripter på grund af begrænset ordforråd og træningsdata. Dette giver Gemma 2 en fordel i opgaver, der involverer Indic-sprog, hvilket gør den til et bedre valg for udviklere og forskere, der arbejder i disse områder.

Anvendelsesmuligheder

Baseret på de specifikke karakteristika af Gemma 2-modellen og dens præstationer i benchmarks, har vi identificeret nogle praktiske anvendelsesmuligheder for modellen.

• Flersprogede assistenter: Gemma 2’s specialiserede tokenizer til diverse sprog, især Indic-sprog, gør den til et effektivt værktøj til udvikling af flersprogede assistenter tilpasset disse sprogbrugere. Uanset om man søger efter information på hindi, skaber undervisningsmateriale på urdu, markedsføringsindhold på arabisk eller forskningsartikler på bengali, giver Gemma 2 skabere effektive sproggenereringsværktøjer. Et virkeligt eksempel på denne anvendelsesmulighed er Navarasa, en flersproget assistent bygget på Gemma, der understøtter ni indiske sprog. Brugere kan uden besvær producere indhold, der resonerer med regionale publikummer, samtidig med at de overholder specifikke sproglige normer og nuancer.
• Uddannelsesværktøjer: Med sin evne til at løse matematiske problemer og forstå komplekse sprogforespørgsler, kan Gemma 2 bruges til at skabe intelligente undervisningssystemer og uddannelsesapps, der giver personlige læringsoplevelser.
• Kodning og kodeassistance: Gemma 2’s dygtighed i kodningsbenchmarks indikerer dens potentiale som et kraftfuldt værktøj til kodegenerering, fejlfinding og automatiserede kodegennemgange. Dens evne til at udføre godt på ressource-begrænsede enheder giver udviklere mulighed for at integrere den nærmest i deres udviklingsmiljøer.
• Retrieval Augmented Generation (RAG): Gemma 2’s stærke præstation på tekstbaseret inferensbenchmarks gør den velegnet til udvikling af RAG-systemer på diverse domæner. Den understøtter sundhedsapplikationer ved at syntetisere klinisk information, hjælper juridiske AI-systemer med at give juridisk rådgivning, muliggør udvikling af intelligente chatbots til kundesupport og faciliterer skabelsen af personlige uddannelsesværktøjer.

Begrænsninger og udfordringer

Selv om Gemma 2 viser bemærkelsesværdige fremskridt, står den også over for begrænsninger og udfordringer, primært relateret til kvaliteten og diversiteten af dens træningsdata. På trods af at dens tokenizer understøtter diverse sprog, mangler Gemma 2 specifik træning til flersprogede evner og kræver finjustering for at håndtere andre sprog effektivt. Modellen udfører godt med klare, strukturerede forespørgsler, men kæmper med åbne eller komplekse opgaver og subtile sproglige nuancer som sarkasme eller figurative udtryk. Dens faktuelle nøjagtighed er ikke altid pålidelig, og den kan producere forældede eller forkerte oplysninger, og den kan mangle almindelig fornuft i visse sammenhænge. Selv om der er blevet gjort bestræbelser for at tackle hallucinationer, især i følsomme områder som medicin eller CBRN-scenarier, er der stadig en risiko for at generere forkert information i mindre raffinerede domæner som finans. Desuden, på trods af kontroller for at forhindre uetisk indholdsgenerering som hadefulde udtryk eller cybersecurity-trusler, er der fortsat en risiko for misbrug i andre domæner. Endelig er Gemma 2 udelukkende tekstbaseret og understøtter ikke multimodal databehandling.

Det endelige punkt

Gemma 2 introducerer bemærkelsesværdige fremskridt i open-source sprogmodeller, forbedrer ydelse og inferenshastighed i forhold til sin forgænger. Den er velegnet til diverse hardware-konfigurationer, hvilket gør den tilgængelig uden betydelige hardware-investeringer. Udfordringer består dog i håndtering af nuancerede sprogopgaver og sikring af nøjagtighed i komplekse scenarier. Selv om den er nyttig til anvendelser som juridisk rådgivning og uddannelsesværktøjer, bør udviklere være opmærksomme på dens begrænsninger i flersprogede evner og potentielle problemer med faktuel nøjagtighed i følsomme sammenhænge. På trods af disse overvejelser forbliver Gemma 2 en værdifuld mulighed for udviklere, der søger pålidelige sprogbehandlingsløsninger.