Google’s Multimodal AI Gemini – A Technical Deep Dive

Sundar Pichai, Google’s CEO, spolu s Demisem Hassabim z Google DeepMind, představili Gemini v prosinci 2023. Tento nový velký jazykový model je integrován napříč širokým spektrem produktů Google, nabízející zlepšení, která se prolínají službami a nástroji používanými miliony lidí.

Gemini, pokročilý multimodální AI od Google, vznikl ze spolupráce sjednocených laboratoří DeepMind a Brain AI. Gemini stojí na ramenou svých předchůdců, slibuje dodat více propojený a inteligentní soubor aplikací.

Oznámení o Google Gemini, umístěné těsně po uvedení Bard, Duet AI a PaLM 2 LLM, označuje jasnou záměr Google ne pouze soutěžit, ale vést v AI revoluci.

Na rozdíl od jakýchkoli představ o AI zimě, spuštění Gemini naznačuje prosperující AI jaro, plné potenciálu a růstu. Když se ohlížíme za rokem od vzniku ChatGPT, který sám o sobě byl průlomovým okamžikem pro AI, krok Google ukazuje, že expanze průmyslu je daleko od konce; ve skutečnosti může právě zrychlovat.

Co je Gemini?

Model Google Gemini je schopen zpracovávat různé typy dat, jako je text, obrázky, audio a video. Je k dispozici ve třech verzích – Ultra, Pro a Nano – každá je přizpůsobena pro konkrétní aplikace, od komplexního rozumu po použití na zařízení. Ultra vyniká v multifaceted tasks a bude k dispozici na Bard Advanced, zatímco Pro nabízí rovnováhu výkonu a efektivity zdrojů, již integrovanou do Bard pro textové podněty. Nano, optimalizovaný pro nasazení na zařízení, je k dispozici ve dvou velikostech a nabízí hardwarové optimalizace, jako je 4-bit kvantizace pro offline použití v zařízeních, jako je Pixel 8 Pro.

Architektura Gemini je jedinečná ve své nativní multimodální výstupní schopnosti, využívající diskrétní obrazové tokeny pro generování obrázků a integrující audio funkce z Universal Speech Model pro nuancované audio pochopení. Jeho schopnost zpracovat video data jako sekvenční obrázky, propletené s textovými nebo audio vstupy, demonstruje jeho multimodální schopnosti.

Gemini podporuje sekvence textu, obrázků, audio a videa jako vstupy

Přístup k Gemini

Gemini 1.0 se rozšiřuje napříč ekosystémem Google, včetně Bard, který nyní profituje z rafinovaných schopností Gemini Pro. Google také integroval Gemini do svých služeb Search, Ads a Duet, zlepšujíc uživatelský zážitek s rychlejšími a přesnějšími odpověďmi.

Pro ty, kteří jsou ochotni využít schopnosti Gemini, Google AI Studio a Google Cloud Vertex nabízejí přístup k Gemini Pro, přičemž druhý poskytuje větší přizpůsobení a bezpečnostní funkce.

Abyste mohli zažít vylepšené schopnosti Bard poháněné Gemini Pro, můžete postupovat podle následujících jednoduchých kroků:

1. Navigujte na Bard: Otevřete svůj preferovaný webový prohlížeč a jděte na web Bard.
2. Zabezpečené přihlášení: Přístup k službě přihlášením se svým účtem Google, zajišťujícím bezproblémový a zabezpečený zážitek.
3. Interaktivní chat: Nyní můžete použít Bard, kde můžete využít pokročilé funkce Gemini Pro.

Síla multimodality:

V jeho jádru Gemini využívá architekturu založenou na transforméru, podobnou té, která je použita v úspěšných modelech NLP, jako je GPT-3. Nicméně, jedinečnost Gemini spočívá v jeho schopnosti zpracovat a integrovat informace z více modality, včetně textu, obrázků a kódu. To je dosaženo pomocí novátorské techniky nazvané cross-modal attention, která umožňuje modelu naučit se vztahy a závislosti mezi různými typy dat.

Zde je rozbor klíčových komponent Gemini:

• Multimodální kódovací jednotka: Tato jednotka zpracovává vstupní data z každé modality (například text, obraz) nezávisle, extrahuje relevantní funkce a generuje jednotlivé reprezentace.
• Síť cross-modální pozornosti: Tato síť je srdcem Gemini. Umožňuje modelu naučit se vztahy a závislosti mezi reprezentacemi, umožňujícím jim “mluvit” spolu a obohatit své pochopení.
• Multimodální dekodér: Tato jednotka využívá obohacené reprezentace generované sítí cross-modální pozornosti k provádění různých úkolů, jako je generování popisků obrázků, text-to-image generace a generace kódu.

Model Gemini není pouze o porozumění textu nebo obrázkům – je o integraci různých typů informací způsobem, který je mnohem blíže tomu, jak my, jako lidé, vnímáme svět. Například Gemini může prohlédnout sekvenci obrázků a určit logický nebo prostorový pořadí objektů uvnitř nich. Může také analyzovat designové funkce objektů, aby činil soudy, jako je, který z dvou aut má více aerodynamický tvar.

Ale schopnosti Gemini sahají za hranice pouhého vizuálního pochopení. Může převést sadu instrukcí na kód, vytvářet praktické nástroje, jako je odpočet časovače, který nejen funguje podle pokynů, ale také zahrnuje kreativní prvky, jako jsou motivační emodži, aby zlepšil interakci uživatele. To naznačuje schopnost zvládat úkoly, které vyžadují kombinaci kreativity a funkčnosti – dovednosti, které jsou často považovány za výsostně lidské.

Schopnosti Gemini : Prostorové usuzování (Source)

Schopnosti Gemini se rozšiřují na provádění programovacích úkolů(Source)

Pokročilý design Gemini je založen na bohaté historii výzkumu neuronových sítí a využívá technologii Google’s TPU pro školení. Gemini Ultra, zejména, nastavil nová měřítka v různých AI doménách, ukazujících pozoruhodné zlepšení výkonu v multimodálních úkolech rozumu.

S jeho schopností procházet a rozumět komplexním datům, Gemini nabízí řešení pro reálné aplikace, zejména ve vzdělávání. Může analyzovat a opravovat řešení problémů, jako ve fyzice, rozumějíce rukopisným poznámkám a poskytujícím přesné matematické typografie. Takové schopnosti naznačují budoucnost, kde AI pomáhá ve vzdělávacích prostředích, nabízejícím studentům a pedagogům pokročilé nástroje pro učení a řešení problémů.

Gemini byl využit k vytvoření agentů, jako je AlphaCode 2, který vyniká v soutěžních programovacích problémech. To ukazuje potenciál Gemini fungovat jako generalistický AI, schopný zvládat komplexní, vícekrokové problémy.

Gemini Nano přináší sílu AI do každodenních zařízení, udržujících působivé schopnosti v úkolech, jako je shrnutí a porozumění čtení, stejně jako kódování a STEM souvisejících výzev. Tyto menší modely jsou jemně optimalizovány, aby nabízely vysoce kvalitní AI funkcionality na zařízeních s nižší pamětí, činíc pokročilou AI přístupnější než kdykoli předtím.

Vývoj Gemini zahrnoval inovace ve školicích algoritmech a infrastruktuře, využívajících nejnovější technologii Google’s TPU. To umožnilo efektivní škálování a robustní procesy školení, zajišťujícím, že i nejmenší modely dodávají výjimečný výkon.

Školicí dataset pro Gemini je stejně rozmanitý jako jeho schopnosti, zahrnující webové dokumenty, knihy, kód, obrázky, audio a videa. Tento multimodální a multilingvální dataset zajišťuje, že modely Gemini mohou rozumět a zpracovávat širokou škálu typů obsahu efektivně.

Gemini a GPT-4

Navzdory vzniku dalších modelů, otázka na všech myslích je, jak Google’s Gemini stojí ve srovnání s OpenAI’s GPT-4, průmyslovým benchmarkem pro nové LLM. Data Google naznačují, že zatímco GPT-4 může vyniknout v úkolech zdravého rozumu, Gemini Ultra má navrch v téměř všech ostatních oblastech.

Gemini VS GPT-4

Výše uvedená tabulka benchmarkingu ukazuje působivý výkon Google’s Gemini AI napříč různými úkoly. Značně, Gemini Ultra dosáhl pozoruhodných výsledků v MMLU benchmarku s 90,04% přesností, ukazujícím jeho nadřazené pochopení v multiple-choice otázkách napříč 57 předměty.

V GSM8K, který hodnotí matematické otázky na úrovni základní školy, Gemini Ultra dosahuje 94,4%, demonstrujícím jeho pokročilé aritmetické zpracování. V kódovacích benchmarcích, Gemini Ultra dosahuje skóre 74,4% v HumanEval pro Python kód generaci, ukazujícím jeho silné pochopení programovacích jazyků.

Benchmark DROP, který testuje porozumění čtení, vidí Gemini Ultra opět vedoucí s 82,4% skóre. Zatímco v testu zdravého rozumu HellaSwag, Gemini Ultra vyniká, i když nedosahuje extrémně vysokého benchmarku stanoveného GPT-4.

Závěr

Unikátní architektura Gemini, poháněná technologickým pokrokem Google, позиcionuje ji jako silného hráče v AI aréně, zpochybňujícím stávající benchmarky stanovené modely, jako je GPT-4. Její verze – Ultra, Pro a Nano – každá je přizpůsobena pro konkrétní potřeby, od komplexních úloh rozumu po efektivní použití na zařízeních, demonstrujícím závazek Google k zpřístupnění pokročilé AI napříč různými platformami a zařízeními.

Integrace Gemini do ekosystému Google, od Bard po Google Cloud Vertex, zdůrazňuje jeho potenciál pro zlepšení uživatelských zkušeností napříč spektrem služeb. Slibuje nejen vylepšit stávající aplikace, ale také otevřít nové cesty pro AI poháněná řešení, ať už v personalizované asistenci, kreativních počínáních nebo obchodních analýzách.

Když se ohlížíme do budoucna, neustálé pokroky v AI modelech, jako je Gemini, zdůrazňují důležitost pokračujícího výzkumu a vývoje. Výzvy spojené se školením tak sofistikovaných modelů a zajišťujícím jejich etického a zodpovědného použití zůstávají v popředí diskuse.