Google’s Multimodale AI Gemini – Een Technische Diepe Duik

Sundar Pichai, de CEO van Google (GOOGL ), heeft samen met Demis Hassabis van Google DeepMind, Gemini in december 2023 geïntroduceerd. Dit nieuwe grote taalmodel is geïntegreerd in Google’s uitgebreide reeks producten, waardoor verbeteringen ontstaan die doorwerken in diensten en tools die door miljoenen mensen worden gebruikt.

Gemini, Google’s geavanceerde multimodale AI, is het resultaat van de gezamenlijke inspanningen van de verenigde DeepMind- en Brain AI-labs. Gemini staat op de schouders van zijn voorgangers en belooft een meer verbonden en intelligente reeks toepassingen te leveren.

De aankondiging van Google Gemini, kort na de lancering van Bard, Duet AI en PaLM 2 LLM, markeert een duidelijke intentie van Google om niet alleen te concurreren, maar ook te leiden in de AI-revolutie.

In tegenstelling tot enige noties van een AI-winter, suggereert de lancering van Gemini een bloeiende AI-lente, vol potentieel en groei. Terwijl we terugkijken op een jaar sinds de opkomst van ChatGPT, wat op zichzelf een baanbrekend moment was voor AI, geeft Google’s stap aan dat de uitbreiding van de industrie verre van voorbij is; in feite kan het juist vaart beginnen te krijgen.

Wat is Gemini?

Google’s Gemini-model is in staat om diverse gegevenstypen te verwerken, zoals tekst, afbeeldingen, audio en video. Het komt in drie versies – Ultra, Pro en Nano – elk aangepast voor specifieke toepassingen, van complexe redenering tot gebruik op apparaten. Ultra excelleert in multifacette-taken en zal beschikbaar zijn op Bard Advanced, terwijl Pro een balans biedt tussen prestaties en bronnen-efficiëntie, reeds geïntegreerd in Bard voor tekstprompts. Nano, geoptimaliseerd voor gebruik op apparaten, komt in twee maten en heeft hardware-optimalisaties zoals 4-bit-quantificatie voor offline-gebruik in apparaten zoals de Pixel 8 Pro.

Gemini’s architectuur is uniek in zijn native multimodale uitvoer-capaciteit, met behulp van discrete beeldtokens voor beeldgeneratie en integratie van audiofuncties van het Universal Speech Model voor genuanceerd audio-begrip. Zijn vermogen om videogegevens te verwerken als opeenvolgende beelden, verweven met tekst- of audio-input, illustreert zijn multimodale capaciteiten.

Gemini ondersteunt sequenties van tekst, afbeeldingen, audio en video als invoer

Toegang tot Gemini

Gemini 1.0 wordt uitgerold over Google’s ecosysteem, waaronder Bard, dat nu profiteert van de verfijnde capaciteiten van Gemini Pro. Google heeft Gemini ook geïntegreerd in zijn Zoek-, Advertentie- en Duet-diensten, waardoor de gebruikerservaring wordt verbeterd met snellere en nauwkeurigere antwoorden.

Voor diegenen die de capaciteiten van Gemini willen benutten, bieden Google AI Studio en Google Cloud Vertex toegang tot Gemini Pro, waarbij de laatste meer aanpassings- en beveiligingsfuncties biedt.

Om de verbeterde capaciteiten van Bard met Gemini Pro te ervaren, kunnen gebruikers de volgende eenvoudige stappen volgen:

1. Navigeer naar Bard: Open uw voorkeurswebbrowser en ga naar de Bard-website.
2. Beveiligde aanmelding: Toegang tot de dienst door aan te melden met uw Google-account, waardoor een naadloze en beveiligde ervaring wordt gegarandeerd.
3. Interactieve chat: U kunt nu Bard gebruiken, waar de geavanceerde functies van Gemini Pro kunnen worden geselecteerd.

Het vermogen van multimodaliteit:

In zijn kern gebruikt Gemini een transformer-architectuur, vergelijkbaar met die gebruikt in succesvolle NLP-modellen zoals GPT-3. Echter, Gemini’s uniekheid ligt in zijn vermogen om informatie te verwerken en te integreren uit meerdere modaliteiten, waaronder tekst, afbeeldingen en code. Dit wordt bereikt door een novatechniek genaamd cross-modale aandacht, waardoor het model relaties en afhankelijkheden tussen verschillende soorten gegevens kan leren.

Hieronder volgt een overzicht van Gemini’s sleutelcomponenten:

• Multimodale encoder: Deze module verwerkt de invoergegevens van elke modus (bijv. tekst, afbeelding) onafhankelijk, waarbij relevante functies worden geëxtraheerd en afzonderlijke representaties worden gegenereerd.
• Cross-modale aandachtnetwerk: Dit netwerk is het hart van Gemini. Het stelt het model in staat om relaties en afhankelijkheden tussen de verschillende representaties te leren, waardoor ze met elkaar kunnen “praten” en hun begrip kunnen verrijken.
• Multimodale decoder: Deze module gebruikt de verrijkte representaties gegenereerd door het cross-modale aandachtnetwerk om verschillende taken uit te voeren, zoals beeldonderschriften, tekst-naar-beeldgeneratie en codegeneratie.

Gemini-model is niet alleen gericht op het begrijpen van tekst of afbeeldingen, maar op het integreren van verschillende soorten informatie op een manier die veel dichter bij de manier ligt waarop wij, als mensen, de wereld waarnemen. Zo kan Gemini bijvoorbeeld naar een reeks afbeeldingen kijken en de logische of ruimtelijke volgorde van objecten daarin bepalen. Het kan ook de ontwerpeigenschappen van objecten analyseren om oordelen te vellen, zoals welke van twee auto’s een meer aerodynamische vorm heeft.

Maar Gemini’s talenten gaan verder dan alleen visueel begrip. Het kan een set instructies omzetten in code, waardoor praktische tools zoals een afteltimer kunnen worden gemaakt die niet alleen functioneert zoals bedoeld, maar ook creatieve elementen bevat, zoals motivatie-emoji’s, om de gebruikerservaring te verbeteren. Dit geeft aan dat het in staat is om taken te verwerken die een combinatie van creativiteit en functionaliteit vereisen – vaardigheden die vaak als typisch menselijk worden beschouwd.

Gemini’s capaciteiten : Ruimtelijke redenering (Bron)

Gemini’s capaciteiten strekken zich uit tot het uitvoeren van programmeringstaken(Bron)

Gemini’s geavanceerde ontwerp is gebaseerd op een rijke geschiedenis van neurale netwerkonderzoek en maakt gebruik van Google’s cutting-edge TPU-technologie voor training. Gemini Ultra heeft in het bijzonder nieuwe benchmarks gezet in verschillende AI-domeinen, met opvallende prestatieverbeteringen in multimodale redeneertaken.

Met zijn vermogen om complexe gegevens te doorgronden en te begrijpen, biedt Gemini oplossingen voor real-world-toepassingen, vooral in het onderwijs. Het kan oplossingen voor problemen analyseren en corrigeren, zoals in de natuurkunde, door handschriften te begrijpen en accurate wiskundige notatie te bieden. Dergelijke capaciteiten suggereren een toekomst waarin AI ondersteuning biedt in onderwijsomgevingen, waarbij studenten en docenten geavanceerde tools voor leren en probleemoplossing krijgen.

Gemini’s is gebruikt om agenten zoals AlphaCode 2 te creëren, die uitblinken in competitieve programmeringsproblemen. Dit toont Gemini’s potentieel aan om te functioneren als een generalistische AI, in staat om complexe, meerdere stappen omvattende problemen aan te pakken.

Gemini Nano brengt de kracht van AI naar alledaagse apparaten, met indrukwekkende capaciteiten in taken zoals samenvatting en leesbegrip, evenals codering en STEM-gerelateerde uitdagingen. Deze kleinere modellen zijn aangepast om hoogwaardige AI-functionaliteiten te bieden op apparaten met minder geheugen, waardoor geavanceerde AI toegankelijker wordt dan ooit.

De ontwikkeling van Gemini omvatte innovaties in trainingsalgoritmen en -infrastructuur, met gebruik van Google’s nieuwste TPUs. Dit maakte efficiënte schaling en robuuste trainingsprocessen mogelijk, waardoor zelfs de kleinste modellen uitzonderlijke prestaties leveren.

De trainingsdataset voor Gemini is even divers als zijn capaciteiten, met webdocumenten, boeken, code, afbeeldingen, audio en video. Deze multimodale en multilinguale dataset zorgt ervoor dat Gemini-modellen een breed scala aan inhoudstypen effectief kunnen begrijpen en verwerken.

Gemini en GPT-4

Ondanks de opkomst van andere modellen, is de vraag die iedereen bezighoudt hoe Google’s Gemini zich verhoudt tot OpenAI’s GPT-4, de benchmark voor nieuwe LLMs. Google’s gegevens suggereren dat terwijl GPT-4 mogelijk uitblinkt in taken die gezond verstand vereisen, Gemini Ultra de overhand heeft in bijna elk ander gebied.

Gemini VS GPT-4

De bovenstaande benchmarktabel toont de indrukwekkende prestaties van Google’s Gemini AI in een breed scala aan taken. Opvallend is dat Gemini Ultra opmerkelijke resultaten heeft behaald in de MMLU-benchmark met 90,04% nauwkeurigheid, wat aangeeft dat het een superieure begrip heeft in meervoudige keuzevragen over 57 onderwerpen.

In de GSM8K, die grade-school wiskundevragen beoordeelt, scoort Gemini Ultra 94,4%, wat zijn geavanceerde arithmetische verwerking vaardigheden toont. In coderingsbenchmarks behaalt Gemini Ultra een score van 74,4% in de HumanEval voor Python-codegeneratie, wat zijn sterke programmeringstaalbegrip aangeeft.

De DROP-benchmark, die leesbegrip test, ziet Gemini Ultra opnieuw leiden met een score van 82,4%. Ondertussen scoort Gemini Ultra in een test voor gezond verstand redeneren, HellaSwag, goed, maar het overstijgt niet de extreem hoge benchmark die door GPT-4 is gezet.

Conclusie

Gemini’s unieke architectuur, aangedreven door Google’s cutting-edge technologie, positioneert het als een formidabele speler in de AI-arena, waarin bestaande benchmarks worden uitgedaagd door modellen zoals GPT-4. Zijn versies – Ultra, Pro en Nano – zijn elk aangepast aan specifieke behoeften, van complexe redeneertaken tot efficiënte toepassingen op apparaten, en tonen Google’s inzet om geavanceerde AI toegankelijk te maken over verschillende platforms en apparaten.

De integratie van Gemini in Google’s ecosysteem, van Bard tot Google Cloud Vertex, benadrukt zijn potentieel om gebruikerservaringen te verbeteren over een breed spectrum van diensten. Het belooft niet alleen bestaande toepassingen te verfijnen, maar ook nieuwe wegen te openen voor AI-gedreven oplossingen, of het nu gaat om persoonlijke assistentie, creatieve ondernemingen of bedrijfsanalyses.

Terwijl we vooruitkijken, onderstrepen de voortdurende vooruitgang in AI-modellen zoals Gemini het belang van voortdurend onderzoek en ontwikkeling. De uitdagingen van het trainen van dergelijke geavanceerde modellen en het waarborgen van hun ethische en verantwoorde gebruik blijven centraal in de discussie.