Google’s Multimodale AI Gemini – Een Technische Diepe Duik

Sundar Pichai, Google’s CEO, samen met Demis Hassabis van Google DeepMind, hebben Gemini in december 2023 geïntroduceerd. Dit nieuwe grote taalmodel is geïntegreerd in Google’s uitgebreide reeks producten, waardoor verbeteringen ontstaan die doorwerken in diensten en tools die door miljoenen mensen worden gebruikt.

Gemini, Google’s geavanceerde multimodale AI, is ontstaan uit de gezamenlijke inspanningen van de verenigde DeepMind- en Brain AI-labs. Gemini staat op de schouders van zijn voorgangers, belovend om een meer verbonden en intelligente suite van toepassingen te leveren.

De aankondiging van Google Gemini, kort na de lancering van Bard, Duet AI en de PaLM 2 LLM, markeert een duidelijke intentie van Google om niet alleen te concurreren, maar om te leiden in de AI-revolutie.

In tegenstelling tot enige noties van een AI-winter, suggereert de lancering van Gemini een bloeiende AI-lente, vol potentieel en groei. Terwijl we terugkijken op een jaar sinds de opkomst van ChatGPT, dat op zichzelf een baanbrekend moment was voor AI, geeft Google’s stap aan dat de uitbreiding van de industrie verre van voorbij is; in feite kan het net op gang komen.

Wat is Gemini?

Google’s Gemini-model is in staat om diverse gegevenstypen te verwerken, zoals tekst, afbeeldingen, audio en video. Het komt in drie versies – Ultra, Pro en Nano – elk aangepast voor specifieke toepassingen, van complexe redenering tot gebruik op apparaten. Ultra blinkt uit in multifacette-taken en zal beschikbaar zijn op Bard Advanced, terwijl Pro een balans biedt tussen prestaties en bronnen-efficiëntie, reeds geïntegreerd in Bard voor tekstprompts. Nano, geoptimaliseerd voor implementatie op apparaten, komt in twee maten en heeft hardware-optimalisaties zoals 4-bit-quantificatie voor offline-gebruik in apparaten zoals de Pixel 8 Pro.

Gemini’s architectuur is uniek in zijn native multimodale uitvoerfunctie, met behulp van discrete beeldtokens voor beeldgeneratie en integratie van audiofuncties van het Universal Speech Model voor genuanceerd audiobegrip. Zijn vermogen om videogegevens te verwerken als opeenvolgende beelden, verweven met tekst- of audiobronnen, illustreert zijn multimodale kracht.

Gemini ondersteunt sequenties van tekst, afbeelding, audio en video als invoer

Toegang tot Gemini

Gemini 1.0 wordt uitgerold over Google’s ecosysteem, waaronder Bard, dat nu profiteert van de verfijnde mogelijkheden van Gemini Pro. Google heeft Gemini ook geïntegreerd in zijn Search, Ads en Duet-diensten, waardoor de gebruikerservaring wordt verbeterd met snellere, nauwkeurigere antwoorden.

Voor diegenen die de mogelijkheden van Gemini willen benutten, bieden Google AI Studio en Google Cloud Vertex toegang tot Gemini Pro, waarbij de laatste meer aanpassings- en beveiligingsfuncties biedt.

Om de verbeterde mogelijkheden van Bard, aangedreven door Gemini Pro, te ervaren, kunnen gebruikers de volgende eenvoudige stappen volgen:

1. Navigeer naar Bard: Open uw voorkeurswebbrowser en ga naar de Bard-website.
2. Beveiligde aanmelding: Toegang tot de service door aan te melden met uw Google-account, waardoor een naadloze en beveiligde ervaring wordt gegarandeerd.
3. Interactieve chat: U kunt nu Bard gebruiken, waar de geavanceerde functies van Gemini Pro kunnen worden gekozen.

Kracht van multimodaliteit:

In zijn kern gebruikt Gemini een transformer-gebaseerde architectuur, vergelijkbaar met die gebruikt in succesvolle NLP-modellen zoals GPT-3. Echter, Gemini’s uniekheid ligt in zijn vermogen om informatie te verwerken en te integreren van meerdere modaliteiten, waaronder tekst, afbeeldingen en code. Dit wordt bereikt door een novatechniek genaamd cross-modale aandacht, waardoor het model relaties en afhankelijkheden tussen verschillende typen gegevens kan leren.

Hieronder volgt een overzicht van Gemini’s belangrijkste componenten:

• Multimodale encoder: Deze module verwerkt de invoergegevens van elke modus (bijv. tekst, afbeelding) onafhankelijk, waarbij relevante functies worden geëxtraheerd en individuele representaties worden gegenereerd.
• Netwerk voor cross-modale aandacht: Dit netwerk is het hart van Gemini. Het stelt het model in staat om relaties en afhankelijkheden tussen de verschillende representaties te leren, waardoor ze met elkaar kunnen “praten” en hun begrip kunnen verrijken.
• Multimodale decoder: Deze module gebruikt de verrijkte representaties gegenereerd door het netwerk voor cross-modale aandacht om verschillende taken uit te voeren, zoals afbeeldingsbijschriften, tekst-naar-afbeelding-generatie en codegeneratie.

Gemini-model is niet alleen gericht op het begrijpen van tekst of afbeeldingen – het gaat om het integreren van verschillende soorten informatie op een manier die veel dichter bij hoe wij, als mensen, de wereld waarnemen. Bijvoorbeeld, Gemini kan naar een reeks afbeeldingen kijken en de logische of ruimtelijke volgorde van objecten daarin bepalen. Het kan ook de ontwerpeigenschappen van objecten analyseren om oordelen te vellen, zoals welke van twee auto’s een meer aerodynamische vorm heeft.

Maar Gemini’s talenten gaan verder dan alleen visueel begrip. Het kan een set instructies omzetten in code, waardoor praktische tools zoals een countdown-timer ontstaan die niet alleen functioneert zoals bedoeld, maar ook creatieve elementen bevat, zoals motivatie-emoji’s, om gebruikersinteractie te verbeteren. Dit geeft aan dat het in staat is om taken te verwerken die een combinatie van creativiteit en functionaliteit vereisen – vaardigheden die vaak als typisch menselijk worden beschouwd.

Gemini’s mogelijkheden : Ruimtelijke redenering (Bron)

Gemini’s mogelijkheden strekken zich uit tot het uitvoeren van programmeertaken(Bron)

Gemini’s geavanceerde ontwerp is gebaseerd op een rijke geschiedenis van neurale netwerkonderzoek en maakt gebruik van Google’s cutting-edge TPU-technologie voor training. Gemini Ultra heeft in het bijzonder nieuwe benchmarks gezet in verschillende AI-domeinen, met opvallende prestatieverbeteringen in multimodale redenertaken.

Met zijn vermogen om complexe gegevens te parseren en te begrijpen, biedt Gemini oplossingen voor real-world-toepassingen, vooral in het onderwijs. Het kan oplossingen voor problemen analyseren en corrigeren, zoals in de natuurkunde, door handschriften te begrijpen en accurate wiskundige notatie te bieden. Dergelijke mogelijkheden suggereren een toekomst waarin AI assisteert in onderwijsomgevingen, waarbij studenten en docenten geavanceerde tools voor leren en probleemoplossing krijgen.

Gemini is gebruikt om agents zoals AlphaCode 2 te creëren, die uitblinkt in competitieve programmeertaken. Dit toont Gemini’s potentieel om te fungeren als een generalistische AI, in staat om complexe, meerdere stappen te nemen.

Gemini Nano brengt de kracht van AI naar alledaagse apparaten, met indrukwekkende mogelijkheden in taken zoals samenvatting en leesbegrip, evenals codering en STEM-gerelateerde uitdagingen. Deze kleinere modellen zijn gefinetuned om hoogwaardige AI-functionaliteiten te bieden op apparaten met minder geheugen, waardoor geavanceerde AI meer toegankelijk is dan ooit tevoren.

De ontwikkeling van Gemini omvatte innovaties in trainingsalgoritmen en infrastructuur, met behulp van Google’s laatste TPUs. Dit maakte een efficiënte schaling en robuuste trainingsprocessen mogelijk, waardoor zelfs de kleinste modellen uitzonderlijke prestaties leveren.

De trainingsdataset voor Gemini is even divers als zijn mogelijkheden, met webdocumenten, boeken, code, afbeeldingen, audio en video. Deze multimodale en multilinguale dataset zorgt ervoor dat Gemini-modellen een breed scala aan inhoudstypen effectief kunnen begrijpen en verwerken.

Gemini en GPT-4

Ondanks het verschijnen van andere modellen, is de vraag op ieders lippen hoe Google’s Gemini zich verhoudt tot OpenAI’s GPT-4, de industrienorm voor nieuwe LLM’s. Google’s gegevens suggereren dat, hoewel GPT-4 mogelijk uitblinkt in taken die gewone redenering vereisen, Gemini Ultra de bovenhand heeft in vrijwel elk ander gebied.

Gemini VS GPT-4

De bovenstaande benchmarktabel toont de indrukwekkende prestaties van Google’s Gemini AI in een reeks taken. Opvallend is dat Gemini Ultra een score van 90,04% heeft behaald in de MMLU-benchmark, wat aangeeft dat het een superieure begripsniveau heeft in meerderekeuzevragen over 57 onderwerpen.

In de GSM8K, die wiskundevragen voor de basisschool beoordeelt, behaalt Gemini Ultra een score van 94,4%, wat zijn geavanceerde rekenvaardigheden aantoont. In coderingsbenchmarks behaalt Gemini Ultra een score van 74,4% in de HumanEval voor Python-codegeneratie, wat zijn sterke programmeertaalbegrip aantoont.

De DROP-benchmark, die leesbegrip test, ziet Gemini Ultra opnieuw leiden met een score van 82,4%. Ondertussen behaalt Gemini Ultra in een test voor alledaagse redenering, HellaSwag, een respectabele score, hoewel het de extreem hoge benchmark van GPT-4 niet overschrijdt.

Conclusie

Gemini’s unieke architectuur, aangedreven door Google’s cutting-edge technologie, positioneert het als een formidabele speler in het AI-veld, waarbij bestaande benchmarks van modellen zoals GPT-4 worden uitgedaagd. Zijn versies – Ultra, Pro en Nano – zijn elk aangepast aan specifieke behoeften, van complexe redenertaken tot efficiënte toepassingen op apparaten, waarbij Google’s toewijding wordt getoond om geavanceerde AI toegankelijk te maken over verschillende platforms en apparaten.

De integratie van Gemini in Google’s ecosysteem, van Bard tot Google Cloud Vertex, benadrukt zijn potentieel om gebruikerservaringen te verbeteren over een breed spectrum van diensten. Het belooft niet alleen bestaande toepassingen te verfijnen, maar ook nieuwe wegen te openen voor AI-gedreven oplossingen, of het nu gaat om persoonlijke assistentie, creatieve ondernemingen of bedrijfsanalyses.

Terwijl we vooruitkijken, benadrukken de continue vooruitgang in AI-modellen zoals Gemini het belang van voortdurend onderzoek en ontwikkeling. De uitdagingen van het trainen van dergelijke geavanceerde modellen en het waarborgen van hun ethische en verantwoorde gebruik blijven centraal in de discussie.