Googles Multimodale AI Gemini – En Teknisk Dybdeanalyse

Sundar Pichai, Googles administrerende direktør, sammen med Demis Hassabis fra Google DeepMind, har præsenteret Gemini i december 2023. Dette nye store sprogmodel er integreret på tværs af Googles omfattende produktsortiment, og det tilbyder forbedringer, der går gennem tjenester og værktøjer, som bruges af millioner.

Gemini, Googles avancerede multimodale AI, er født af det samarbejde mellem de samlede DeepMind og Brain AI-laboratorier. Gemini står på skuldrene af sine forgængere og lover at levere en mere sammenhængende og intelligent samling af programmer.

Meddelelsen om Google Gemini, der ligger tæt efter debuterne af Bard, Duet AI og PaLM 2 LLM, markerer en tydelig intention fra Google om ikke blot at konkurrere, men at lede i AI-revolutionen.

I modsætning til enhver forestilling om en AI-vinter, antyder lanceringen af Gemini en blomstrende AI-forår, der bugner med potentiale og vækst. Da vi reflekterer over et år siden opdukken af ChatGPT, som i sig selv var et banebrydende øjeblik for AI, indikerer Googles træk, at branchens udvidelse er langt fra ovre; faktisk kan den måske ligefrem være ved at tage fart.

Hvad er Gemini?

Googles Gemini-model kan behandle forskellige datatyper, såsom tekst, billeder, lyd og video. Den kommer i tre versioner – Ultra, Pro og Nano – hver tilpasset specifikke anvendelser, fra komplekse resonneringer til brug på enheder. Ultra excellerer i multifacetterede opgaver og vil være tilgængelig på Bard Advanced, mens Pro tilbyder en balance mellem ydeevne og ressourceeffektivitet og allerede er integreret i Bard til tekstprompt. Nano, der er optimeret til brug på enheder, kommer i to størrelser og har hardwareoptimeringer som 4-bit-kvantificering til offlinebrug i enheder som Pixel 8 Pro.

Geminis arkitektur er unik i dens indbyggede multimodale outputfunktion, der bruger diskrete billedtoken til billedgenerering og integrerer lydfunktioner fra det universelle talemodel til nuanceret lydforståelse. Dens evne til at behandle videodata som sekventielle billeder, der er sammenflettet med tekst- eller lydindgang, demonstrerer dens multimodale dygtighed.

Gemini understøtter sekvenser af tekst, billeder, lyd og video som indgang

Adgang til Gemini

Gemini 1.0 ruller ud på tværs af Googles økosystem, herunder Bard, der nu drager fordel af Geminis raffinerede egenskaber. Google har også integreret Gemini i sine Søg, Annoncer og Duet-tjenester, hvilket forbedrer brugeroplevelsen med hurtigere og mere præcise svar.

For dem, der ønsker at udnytte Geminis muligheder, tilbyder Google AI Studio og Google Cloud Vertex adgang til Gemini Pro, hvor sidstnævnte giver større tilpasning og sikkerhedsfunktioner.

For at opleve de forbedrede egenskaber af Bard, der er drevet af Gemini Pro, kan brugerne følge disse simple trin:

1. Navigér til Bard: Åbn din foretrukne webbrowser og gå til Bard-webstedet.
2. Sikker login: Få adgang til tjenesten ved at logge ind med din Google-konto, hvilket sikrer en problemfri og sikker oplevelse.
3. Interaktiv chat: Du kan nu bruge Bard, hvor Geminis avancerede funktioner kan vælges.

Kraften af multimodalitet:

I dens kerne bruger Gemini en transformer-baseret arkitektur, lignende dem, der er anvendt i succesfulde NLP-modeller som GPT-3. Gemini er dog unik i sin evne til at behandle og integrere information fra multiple modaliteter, herunder tekst, billeder og kode. Dette opnås gennem en ny teknik kaldet cross-modal opmærksomhed, der giver modellen mulighed for at lære relationer og afhængigheder mellem forskellige datatyper.

Her er en gennemgang af Geminis nøglekomponenter:

• Multimodal encoder: Denne modul behandler indgangsdata fra hver modalitet (f.eks. tekst, billeder) uafhængigt, udtrækker relevante funktioner og genererer individuelle repræsentationer.
• Cross-modal attention network: Dette netværk er hjertet af Gemini. Det giver modellen mulighed for at lære relationer og afhængigheder mellem de forskellige repræsentationer, hvilket giver dem mulighed for at “tale” til hinanden og berige deres forståelse.
• Multimodal decoder: Denne modul anvender de berigede repræsentationer, der er genereret af cross-modal attention network, til at udføre forskellige opgaver, såsom billedbeskrivelse, tekst-til-billede-generering og kodegenerering.

Gemini-modellen er ikke kun om at forstå tekst eller billeder, men om at integrere forskellige typer information på en måde, der er meget tættere på, hvordan vi, som mennesker, opfatter verden. For eksempel kan Gemini se på en sekvens af billeder og bestemme den logiske eller rumlige orden af objekter inden for dem. Den kan også analysere designfunktionerne af objekter for at træffe domme, såsom hvilken af to biler har en mere aerodynamisk form.

Geminis talenter går dog langt ud over kun visuel forståelse. Den kan omdanne en række instruktioner til kode, hvilket skaber praktiske værktøjer som en nedtællingsur, der ikke kun fungerer, som beskrevet, men også inkluderer kreative elementer, såsom motivations-emojis, for at forbedre brugerinteraktionen. Dette indikerer en evne til at håndtere opgaver, der kræver en blanding af kreativitet og funktionalitet – færdigheder, der ofte betragtes som typisk menneskelige.

Geminis evner: Rumlig forståelse (Kilde)

Geminis evner strækker sig til at udføre programmeringsopgaver(Kilde)

Geminis sofistikerede design bygger på en rig historie af neurale netværksforskning og udnytter Googles avancerede TPU-teknologi til træning. Gemini Ultra har særligt sat nye standarder i forskellige AI-domæner, hvilket viser en bemærkelsesværdig forbedring i multimodale resonansopgaver.

Med dens evne til at gennemløse og forstå komplekse data tilbyder Gemini løsninger til virkelige anvendelser, især i uddannelsessammenhæng. Den kan analysere og korrigere løsninger til problemer, som f.eks. i fysik, ved at forstå håndskrevne noter og give præcise matematiske typesætninger. Sådanne evner antyder en fremtid, hvor AI hjælper i uddannelsessammenhæng, og tilbyder studerende og undervisere avancerede værktøjer til læring og problemløsning.

Gemini er blevet anvendt til at skabe agenter som AlphaCode 2, der excellerer i konkurrencerelaterede programmeringsopgaver. Dette demonstrerer Geminis potentiale til at fungere som en generalist AI, der kan håndtere komplekse, multistep-opgaver.

Gemini Nano bringer AI-kraften til hverdagsenheder, mens den opretholder imponerende evner i opgaver som sammenfatning og læseforståelse samt kodning og STEM-relaterede udfordringer. Disse mindre modeller er finjusteret til at tilbyde højkvalitets AI-funktioner på lavmemorieenheder, hvilket gør avanceret AI mere tilgængelig end nogensinde.

Udviklingen af Gemini involverede innovationer i træningsalgoritmer og infrastruktur, der anvender Googles seneste TPUs. Dette muliggjorde effektiv skalerbarhed og robuste træningsprocesser, hvilket sikrede, at selv de mindste modeller leverede exceptionel ydeevne.

Træningsdatasettet for Gemini er lige så diversificeret som dens evner, og omfatter webdokumenter, bøger, kode, billeder, lyd og videoer. Dette multimodale og multilinguale dataset sikrer, at Gemini-modeller kan forstå og behandle en bred vifte af indholdstyper effektivt.

Gemini og GPT-4

Trods opdukken af andre modeller er spørgsmålet på alles læber, hvordan Googles Gemini står i forhold til OpenAIs GPT-4, branchens benchmark for nye LLM’er. Googles data antyder, at mens GPT-4 måske excellerer i fællesforstandsopgaver, har Gemini Ultra overtaget i næsten alle andre områder.

Gemini VS GPT-4

Ovennævnte benchmarking-tabel viser den imponerende ydeevne af Googles Gemini AI på tværs af en række opgaver. Bemærkelsesværdigt har Gemini Ultra opnået bemærkelsesværdige resultater i MMLU-benchmarket med 90,04% nøjagtighed, hvilket indikerer dens overlegne forståelse i multiple-choice-spørgsmål på tværs af 57 emner.

I GSM8K, der vurderer grundskolematematikspørgsmål, scorer Gemini Ultra 94,4%, hvilket viser dens avancerede aritmetiske procesfærdigheder. I kodningsbenchmark, hvor Gemini Ultra opnår en score på 74,4% i HumanEval for Python-kodegenerering, hvilket viser dens stærke programmeringssprogforståelse.

DROP-benchmarket, der tester læseforståelse, viser Gemini Ultra igen som leder med en score på 82,4%. I et fællesforstands-test, HellaSwag, performer Gemini Ultra godt, selvom den ikke overgår den ekstremt høje benchmark, der er sat af GPT-4.

Konklusion

Geminis unikke arkitektur, drevet af Googles avancerede teknologi, positionerer den som en stærk spiller i AI-arenaen, udfordrer eksisterende benchmark, sat af modeller som GPT-4. Dens versioner – Ultra, Pro og Nano – hver især tilpasset specifikke behov, fra komplekse resonansopgaver til effektive anvendelser på enheder, viser Googles engagement i at gøre avanceret AI tilgængelig på tværs af platforme og enheder.

Integrationen af Gemini i Googles økosystem, fra Bard til Google Cloud Vertex, understreger dens potentiale til at forbedre brugeroplevelser på tværs af en bred vifte af tjenester. Den lover ikke kun at forfine eksisterende programmer, men også at åbne nye veje for AI-drevne løsninger, enten i personlig assistance, kreative færdigheder eller forretningsanalyse.

Da vi ser fremad, understreger de kontinuerlige fremskridt i AI-modeller som Gemini vigtigheden af fortsat forskning og udvikling. Udfordringerne ved at træne sådanne sofistikerede modeller og sikre deres etiske og ansvarlige brug forbliver i forgrunden for diskussionen.