Google’s Multimodal AI Gemini – A Technical Deep Dive

Sundar Pichai, CEO Google, wraz z Demisem Hassabisem z Google DeepMind, przedstawili Gemini w grudniu 2023 r. Ten nowy duży model językowy jest zintegrowany z ogromną gamą produktów Google, oferując ulepszenia, które przenikają do usług i narzędzi używanych przez miliony. Gemini, zaawansowany multimodalny AI Google, powstał z współpracy zjednoczonych laboratoriów DeepMind i Brain AI. Gemini stoi na ramionach swoich poprzedników, obiecując dostarczyć bardziej połączony i inteligentny zestaw aplikacji. Ogłoszenie Google Gemini, umieszczone niedaleko od debiutu Bard, Duet AI i PaLM 2 LLM, oznacza wyraźną intencję Google, aby nie tylko konkurować, ale również prowadzić w rewolucji AI. W przeciwieństwie do wszelkich pomysłów na temat zimy AI, uruchomienie Gemini sugeruje kwitnącą wiosnę AI, pełną potencjału i wzrostu. Podczas gdy odbijamy się od roku od pojawienia się ChatGPT, które samo w sobie było przełomowym momentem dla AI, ruch Google wskazuje, że rozwój branży jest daleko od zakończenia; w rzeczywistości może się on właśnie przyspieszać.

Co to jest Gemini?

Model Gemini Google jest w stanie przetwarzać różnorodne typy danych, takie jak tekst, obrazy, audio i wideo. Dostępny jest w trzech wersjach — Ultra, Pro i Nano — każda dostosowana do konkretnych zastosowań, od złożonych rozumowań po użycie na urządzeniu. Ultra wyróżnia się w wielowymiarowych zadaniach i będzie dostępny w Bard Advanced, podczas gdy Pro oferuje balans wydajności i efektywności zasobów, już zintegrowany z Bard dla tekstu. Nano, zoptymalizowany do wdrożenia na urządzeniu, dostępny jest w dwóch rozmiarach i posiada optymalizacje sprzętowe, takie jak 4-bitowa kwantyzacja do użytku offline w urządzeniach takich jak Pixel 8 Pro. Architektura Gemini jest wyjątkowa ze względu na jej rodzimą wielomodalną możliwość wyjściową, używając dyskretnych tokenów obrazu do generowania obrazu i integrując funkcje audio z Universal Speech Model dla nuansowanego zrozumienia audio. Jego zdolność do radzenia sobie z danymi wideo jako sekwencjami obrazów, przeplatanych z wejściami tekstu lub audio, ilustruje jego wielomodalne umiejętności.

Gemini obsługuje sekwencje tekstu, obrazu, audio i wideo jako dane wejściowe

Gemini 1.0 jest wprowadzany w całym ekosystemie Google, w tym w Bard, który teraz korzysta z ulepszonych możliwości Gemini Pro. Google zintegrował również Gemini ze swoimi usługami Search, Ads i Duet, poprawiając w ten sposób doświadczenie użytkownika dzięki szybszym i bardziej dokładnym odpowiedziom. Dla tych, którzy chcą wykorzystać możliwości Gemini, Google AI Studio i Google Cloud Vertex oferują dostęp do Gemini Pro, z tym, że ten ostatni zapewnia większą personalizację i funkcje bezpieczeństwa. Aby doświadczyć ulepszonych możliwości Bard zasilanego przez Gemini Pro, użytkownicy mogą wykonać następujące proste kroki:

1. Nawiguj do Bard: Otwórz swoją przeglądarkę internetową i przejdź do strony internetowej Bard.
2. Zabezpiecz logowanie: Uzyskaj dostęp do usługi, logując się na swoim koncie Google, co gwarantuje bezproblemowe i bezpieczne doświadczenie.
3. Interaktywny czat: Możesz teraz używać Bard, gdzie zaawansowane funkcje Gemini Pro mogą być wybrane.

Moc wielomodalności:

W swojej istocie Gemini wykorzystuje architekturę opartą na transformatorach, podobną do tych zastosowanych w udanych modelach NLP, takich jak GPT-3. Jednak unikalność Gemini leży w jego zdolności do przetwarzania i integrowania informacji z wielu modalności, w tym tekstu, obrazów i kodu. To jest osiągane dzięki nowej technice zwanej uwagą międzymodalną, która pozwala modelowi nauczyć się relacji i zależności między różnymi typami danych.

Oto rozbiór kluczowych komponentów Gemini:

• Kodowanie wielomodalne: Ten moduł przetwarza dane wejściowe z każdej modalności (np. tekst, obraz) niezależnie, wyodrębniając istotne funkcje i generując indywidualne reprezentacje.
• Sieć uwagi międzymodalnej: Ta sieć jest sercem Gemini. Pozwala modelowi nauczyć się relacji i zależności między reprezentacjami, umożliwiając im “rozmowę” i wzbogacenie ich zrozumienia.
• Dekodowanie wielomodalne: Ten moduł wykorzystuje wzbogacone reprezentacje wygenerowane przez sieć uwagi międzymodalnej do wykonywania różnych zadań, takich jak generowanie podpisów do obrazów, generowanie obrazu z tekstu i generowanie kodu.

Model Gemini nie jest tylko o zrozumieniu tekstu lub obrazów — to o integrowaniu różnych rodzajów informacji w sposób, który jest znacznie bliższy temu, jak my, ludzie, postrzegamy świat. Na przykład Gemini może spojrzeć na sekwencję obrazów i określić logiczny lub przestrzenny porządek obiektów w nich. Może również analizować cechy projektowe obiektów, aby podejmować decyzje, takie jak który z dwóch samochodów ma bardziej aerodynamiczny kształt. Umiejętności Gemini sięgają jednak poza zrozumienie wizualne. Może przekształcić zestaw instrukcji w kod, tworząc praktyczne narzędzia, takie jak odliczanie czasu, które nie tylko funkcjonuje zgodnie z poleceniami, ale także zawiera kreatywne elementy, takie jak motywujące emotikony, aby poprawić interakcję użytkownika. To wskazuje na zdolność do radzenia sobie z zadaniami, które wymagają połączenia kreatywności i funkcjonalności — umiejętności, które często uważa się za wyłącznie ludzkie.

Gemini’s capabilities : Spatial Reasoning (Source)

Gemini’s capabilities extend to executing programming tasks(Source)

Złożony projekt Gemini opiera się na bogatej historii badań nad sieciami neuronowymi i wykorzystuje najnowocześniejszą technologię TPU Google do szkolenia. Gemini Ultra, w szczególności, ustanowił nowe benchmarki w różnych dziedzinach AI, prezentując godne uwagi wzrosty wydajności w zadaniach rozumowania wielomodalnego. Dzięki swojej zdolności do analizy i zrozumienia złożonych danych, Gemini oferuje rozwiązania dla aplikacji w świecie rzeczywistym, szczególnie w edukacji. Może analizować i poprawiać rozwiązania problemów, takich jak w fizyce, rozumiejąc ręcznie pisane notatki i zapewniając dokładne matematyczne typowanie. Takie możliwości sugerują przyszłość, w której AI wspomaga w środowiskach edukacyjnych, oferując uczniom i nauczycielom zaawansowane narzędzia do nauki i rozwiązywania problemów. Gemini został wykorzystany do stworzenia agentów, takich jak AlphaCode 2, który wyróżnia się w konkurencyjnych problemach programistycznych. To pokazuje potencjał Gemini, aby działać jako ogólny AI, zdolny do radzenia sobie z złożonymi, wieloetapowymi problemami. Gemini Nano przywozi moc AI do codziennych urządzeń, zachowując imponujące zdolności w zadaniach, takich jak podsumowanie i zrozumienie czytania, a także kodowania i wyzwań związanych z STEM. Te mniejsze modele są dostosowane do oferowania wysokiej jakości funkcjonalności AI na urządzeniach o niższej pamięci, czyniąc zaawansowaną AI bardziej dostępną niż kiedykolwiek. Rozwój Gemini obejmował innowacje w algorytmach szkoleniowych i infrastrukturze, wykorzystując najnowsze TPUs Google. To pozwoliło na efektywne skalowanie i solidne procesy szkoleniowe, zapewniając, że nawet najmniejsze modele dostarczają wyjątkową wydajność. Zestaw danych szkoleniowych dla Gemini jest tak różnorodny, jak jego możliwości, obejmując dokumenty internetowe, książki, kod, obrazy, audio i wideo. Ten multimodalny i wielojęzyczny zestaw danych zapewnia, że modele Gemini mogą zrozumieć i przetworzyć szeroki zakres typów treści. Gemini i GPT-4 Pomimo pojawienia się innych modeli, pytanie na ustach wszystkich brzmi, jak Gemini Google radzi sobie w porównaniu z GPT-4 OpenAI, branżowym benchmarkiem dla nowych LLM. Dane Google sugerują, że podczas gdy GPT-4 może wyróżniać się w zadaniach rozumowania zdroworozsądkowego, Gemini Ultra ma przewagę w niemal każdej innej dziedzinie.

Gemini VS GPT-4

Powyższa tabela benchmarkingowa pokazuje imponującą wydajność AI Gemini Google w różnych zadaniach. Godne uwagi jest to, że Gemini Ultra osiągnął znakomite wyniki w benchmarku MMLU z dokładnością 90,04%, co wskazuje na jego wyższe zrozumienie w pytaniach wielokrotnego wyboru w 57 przedmiotach. W GSM8K, który ocenia pytania matematyczne na poziomie szkoły podstawowej, Gemini Ultra uzyskuje 94,4%, prezentując swoje zaawansowane umiejętności przetwarzania arytmetycznego. W benchmarkach kodowania, z Gemini Ultra osiągającym wynik 74,4% w HumanEval dla generowania kodu Python, co wskazuje na jego silne zrozumienie języka programowania. Benchmark DROP, który testuje zrozumienie czytania, widzi Gemini Ultra ponownie na czele z wynikiem 82,4%. Tymczasem w teście rozumowania zdroworozsądkowego, HellaSwag, Gemini Ultra radzi sobie godnie, choć nie przewyższa niezwykle wysokiego benchmarku ustalonego przez GPT-4.

Podsumowanie

Unikalna architektura Gemini, napędzana przez najnowocześniejszą technologię Google, pozycjonuje ją jako potężnego gracza w arenie AI, wyzywając istniejące benchmarki ustanowione przez modele takie jak GPT-4. Jej wersje — Ultra, Pro i Nano — każda odpowiada konkretnym potrzebom, od złożonych zadań rozumowania do efektywnych aplikacji na urządzeniu, pokazując zaangażowanie Google w udostępnianie zaawansowanego AI na różnych platformach i urządzeniach. Integracja Gemini z ekosystemem Google, od Bard do Google Cloud Vertex, podkreśla jego potencjał do poprawy doświadczeń użytkowników w szerokim zakresie usług. Obiecuje nie tylko udoskonalić istniejące aplikacje, ale także otworzyć nowe ścieżki dla rozwiązań napędzanych przez AI, czy to w asystencji personalizowanej, przedsięwzięciach kreatywnych, czy analizach biznesowych. Przyglądając się w przyszłość, ciągłe postępy w modelach AI, takich jak Gemini, podkreślają wagę ciągłych badań i rozwoju. Wyzwania związane z szkoleniem tak zaawansowanych modeli i zapewnieniem ich etycznego i odpowiedzialnego użycia pozostają na czele dyskusji.