Google Introduceert Gemma 2: Verhoogde AI-prestaties, Snelheid en Toegankelijkheid voor Ontwikkelaars

Google (GOOGL ) heeft Gemma 2 onthuld, de nieuwste iteratie van zijn open-source lichtgewicht taalmodellen, beschikbaar in 9 miljard (9B) en 27 miljard (27B) parametergroottes. Deze nieuwe versie belooft verbeterde prestaties en snellere inferentie in vergelijking met zijn voorganger, het Gemma-model. Gemma 2, afgeleid van Google’s Gemini-modellen, is ontworpen om toegankelijker te zijn voor onderzoekers en ontwikkelaars, met aanzienlijke verbeteringen in snelheid en efficiëntie. In tegenstelling tot de multimodale en multilinguale Gemini-modellen, richt Gemma 2 zich uitsluitend op taalverwerking. In dit artikel gaan we dieper in op de opvallende functies en verbeteringen van Gemma 2, waarbij we het vergelijken met zijn voorgangers en concurrenten in het veld, de gebruikscases en uitdagingen ervan belichten.

Building Gemma 2

Net als zijn voorganger zijn de Gemma 2-modellen gebaseerd op een decoder-only transformer-architectuur. De 27B-variant is getraind op 13 biljoen tokens van voornamelijk Engelse gegevens, terwijl de 9B-model 8 biljoen tokens gebruikt en het 2,6B-model is getraind op 2 biljoen tokens. Deze tokens komen uit een verscheidenheid aan bronnen, waaronder webdocumenten, code en wetenschappelijke artikelen. Het model gebruikt dezelfde tokenizer als Gemma 1 en Gemini, waardoor de consistentie in gegevensverwerking gewaarborgd is.

Gemma 2 is voorgetraind met behulp van een methode genaamd kennisoverdracht, waarbij het leert van de uitvoerwaarschijnlijkheden van een groter, voorgetraind model. Na de initiële training worden de modellen fijngesteld door middel van een proces genaamd instructietuning. Dit begint met gecontroleerde fijntuning (SFT) op een mix van synthetische en door mensen gegenereerde Engelse tekst-only prompt-response-paren. Vervolgens wordt versterking van het leren met menselijke feedback (RLHF) toegepast om de algehele prestatie te verbeteren.

Gemma 2: Verbeterde Prestaties en Efficiëntie op Uiteenlopende Hardware

Gemma 2 presteert niet alleen beter dan Gemma 1, maar concurreert ook effectief met modellen die twee keer zo groot zijn. Het is ontworpen om efficiënt te functioneren op diverse hardware-configuraties, waaronder laptops, desktops, IoT-apparaten en mobiele platforms. Specifiek geoptimaliseerd voor enkele GPUs en TPUs, verbetert Gemma 2 de efficiëntie van zijn voorganger, vooral op apparaten met beperkte middelen. Zo blinkt de 27B-model uit in het uitvoeren van inferentie op een enkele NVIDIA H100 Tensor Core GPU (NVDA ) of TPU-host, waardoor het een kosteneffectieve optie is voor ontwikkelaars die hoge prestaties nodig hebben zonder zwaar te investeren in hardware.

Bovendien biedt Gemma 2 ontwikkelaars verbeterde afstemmingsmogelijkheden op een breed scala aan platforms en tools. Of u nu cloudgebaseerde oplossingen zoals Google Cloud of populaire platforms zoals Axolotl gebruikt, Gemma 2 biedt uitgebreide afstemmingsmogelijkheden. Integratie met platforms zoals Hugging Face, NVIDIA TensorRT-LLM en Google’s JAX en Keras stelt onderzoekers en ontwikkelaars in staat om optimale prestaties en efficiënte implementatie te bereiken op diverse hardware-configuraties.

Gemma 2 vs. Llama 3 70B

Bij de vergelijking van Gemma 2 met Llama 3 70B onderscheiden beide modellen zich in de categorie open-source taalmodellen. Google-onderzoekers beweren dat Gemma 2 27B prestaties levert die vergelijkbaar zijn met Llama 3 70B, ondanks dat het veel kleiner is in omvang. Bovendien presteert Gemma 2 9B consistent beter dan Llama 3 8B in diverse benchmarks, zoals taalbegrip, codering en het oplossen van wiskundige problemen.

Een opvallend voordeel van Gemma 2 ten opzichte van Meta’s Llama 3 is de verwerking van Indische talen. Gemma 2 blinkt uit vanwege zijn tokenizer, die specifiek is ontworpen voor deze talen en een grote vocabulaire van 256k tokens omvat om linguïstische nuances te vangen. Aan de andere kant heeft Llama 3, ondanks dat het veel talen ondersteunt, moeite met tokenisatie voor Indische schriften vanwege de beperkte vocabulaire en trainingsgegevens. Dit geeft Gemma 2 een voorsprong in taken die Indische talen betreffen, waardoor het een betere keuze is voor ontwikkelaars en onderzoekers die in deze gebieden werken.

Gebruikscases

Op basis van de specifieke kenmerken van het Gemma 2-model en zijn prestaties in benchmarks, hebben we enkele praktische gebruikscases voor het model geïdentificeerd.

• Multilinguale Assistenten: De gespecialiseerde tokenizer van Gemma 2 voor diverse talen, met name Indische talen, maakt het een effectief instrument voor het ontwikkelen van multilinguale assistenten die zijn afgestemd op deze taalgebruikers. Of u nu informatie zoekt in het Hindi, educatief materiaal maakt in het Urdu, marketinginhoud in het Arabisch of onderzoeksartikelen in het Bengaals, Gemma 2 verleent creators effectieve taalgeneratie-instrumenten. Een voorbeeld van deze gebruikscase is Navarasa, een multilinguale assistent gebouwd op Gemma die negen Indiase talen ondersteunt. Gebruikers kunnen moeiteloos inhoud produceren die resoneert met regionale publieken, terwijl ze specifieke linguïstische normen en nuances in acht nemen.
• Onderwijsinstrumenten: Met zijn mogelijkheid om wiskundige problemen op te lossen en complexe taalvragen te begrijpen, kan Gemma 2 worden gebruikt om intelligente tutoriale systemen en educatieve apps te creëren die persoonlijke leerervaringen bieden.
• Codering en Codeondersteuning: De vaardigheid van Gemma 2 in coderingsbenchmarks geeft aan dat het een krachtig instrument kan zijn voor codegeneratie, bugdetectie en geautomatiseerde codebeoordelingen. Zijn vermogen om goed te presteren op apparaten met beperkte middelen stelt ontwikkelaars in staat om het naadloos te integreren in hun ontwikkelomgevingen.
• Retrieval Augmented Generation (RAG): De sterke prestaties van Gemma 2 op tekstgebaseerde inferentiebenchmarks maken het geschikt voor het ontwikkelen van RAG-systemen in diverse domeinen. Het ondersteunt gezondheidsapplicaties door klinische informatie te synthetiseren, helpt juridische AI-systemen bij het verstrekken van juridisch advies, stelt de ontwikkeling van intelligente chatbots voor klantenservice mogelijk en faciliteert de creatie van persoonlijke educatieve instrumenten.

Beperkingen en Uitdagingen

Terwijl Gemma 2 opvallende verbeteringen laat zien, heeft het ook beperkingen en uitdagingen, voornamelijk gerelateerd aan de kwaliteit en diversiteit van zijn trainingsgegevens. Ondanks dat zijn tokenizer diverse talen ondersteunt, ontbreekt het Gemma 2 aan specifieke training voor multilinguale capaciteiten en vereist het fijntuning om andere talen effectief te verwerken. Het model presteert goed met duidelijke, gestructureerde prompts, maar heeft moeite met open-eindige of complexe taken en subtiele taalnuances zoals sarcasme of figuurlijke uitdrukkingen. De feitelijke nauwkeurigheid is niet altijd betrouwbaar, waardoor het mogelijk verouderde of onjuiste informatie kan produceren, en het kan ontbreken aan alledaagse redenering in bepaalde contexten. Hoewel er inspanningen zijn gedaan om hallucinaties aan te pakken, met name in gevoelige gebieden zoals medische of CBRN-scenario’s, bestaat er nog steeds een risico om onjuiste informatie te genereren in minder verfijnde domeinen zoals financiën. Bovendien is Gemma 2 uitsluitend tekstgebaseerd en ondersteunt het geen multimodale gegevensverwerking.

De Bottom Line

Gemma 2 introduceert opvallende verbeteringen in open-source taalmodellen, met verbeterde prestaties en snellere inferentie in vergelijking met zijn voorganger. Het is geschikt voor diverse hardware-configuraties, waardoor het toegankelijk is zonder aanzienlijke investeringen in hardware. Echter, blijven er uitdagingen bestaan bij het verwerken van nuances in taaltaken en het waarborgen van nauwkeurigheid in complexe scenario’s. Hoewel het gunstig is voor toepassingen zoals juridisch advies en educatieve instrumenten, moeten ontwikkelaars zich bewust zijn van de beperkingen in multilinguale capaciteiten en potentiële problemen met feitelijke nauwkeurigheid in gevoelige contexten. Ondanks deze overwegingen blijft Gemma 2 een waardevolle optie voor ontwikkelaars die betrouwbare taalverwerkingsoplossingen zoeken.