Google Wprowadza Gemmę 2: Podniesienie Wydajności, Szybkości i Dostępności AI dla Deweloperów

Google (GOOGL ) przedstawił Gemmę 2, najnowszą iterację swoich lekkich, otwartoźródłowych modeli językowych, dostępnych w wersjach 9 miliardów (9B) i 27 miliardów (27B) parametrów. Ta nowa wersja obiecuje lepszą wydajność i szybszą inferencję w porównaniu z poprzednikiem, modelem Gemmą. Gemma 2, pochodząca od modeli Gemini od Google, została zaprojektowana, aby być bardziej dostępną dla badaczy i deweloperów, oferując znaczne udoskonalenia w szybkości i wydajności. W przeciwieństwie do multimodalnych i wielojęzycznych modeli Gemini, Gemma 2 koncentruje się wyłącznie na przetwarzaniu języka. W tym artykule zagłębimy się w wyróżniające cechy i postępy Gemmy 2, porównując ją z poprzednikami i konkurentami w branży, podkreślając jej przypadki użycia i wyzwania.

Budowanie Gemmy 2

Podobnie jak poprzednik, modele Gemmy 2 opierają się na architekturze transformatora tylko z dekodera. Wariant 27B jest szkolony na 13 bilionach tokenów, głównie danych w języku angielskim, podczas gdy model 9B wykorzystuje 8 bilionów tokenów, a model 2,6B jest szkolony na 2 biliony tokenów. Te tokeny pochodzą z różnych źródeł, w tym dokumentów internetowych, kodu i artykułów naukowych. Model wykorzystuje ten sam tokenizator, co Gemma 1 i Gemini, zapewniając spójność w przetwarzaniu danych.

Gemma 2 jest wstępnie szkolona przy użyciu metody dystrybucji wiedzy, gdzie uczy się z prawdopodobieństw wyjściowych większego, wstępnie wytrenowanego modelu. Po początkowym szkoleniu modele są dokształcane za pomocą procesu nadzorowanego doskonalenia (SFT) na mieszance syntetycznych i generowanych przez ludzi par promptów i odpowiedzi w języku angielskim. Następnie wzmocnione uczenie się z ludzką informacją zwrotną (RLHF) jest stosowane w celu poprawy ogólnej wydajności.

Gemma 2: Zwiększona Wydajność i Wydajność na Różnych Urządzeniach

Gemma 2 nie tylko przewyższa Gemmę 1 pod względem wydajności, ale także skutecznie konkurowała z modelami o podwójnej wielkości. Została zaprojektowana, aby działać wydajnie na różnych konfiguracjach sprzętowych, w tym laptopach, komputerach stacjonarnych, urządzeniach IoT i platformach mobilnych. Szczególnie zoptymalizowana dla pojedynczych GPU i TPU, Gemma 2 poprawia wydajność swojego poprzednika, szczególnie na urządzeniach o ograniczonych zasobach. Na przykład model 27B doskonale radzi sobie z inferencją na pojedynczym układzie NVIDIA H100 Tensor Core GPU (NVDA ) lub hoście TPU, co czyni go opłacalną opcją dla deweloperów, którzy potrzebują wysokiej wydajności bez dużych inwestycji w sprzęt.

Ponadto Gemma 2 oferuje deweloperom udoskonalone możliwości strojenia na szerokim zakresie platform i narzędzi. Niezależnie od korzystania z rozwiązań opartych na chmurze, takich jak Google Cloud, czy popularnych platform, takich jak Axolotl, Gemma 2 zapewnia obszerną funkcjonalność strojenia. Integracja z platformami, takimi jak Hugging Face, NVIDIA TensorRT-LLM oraz Google’s JAX i Keras, pozwala badaczom i deweloperom osiągnąć optymalną wydajność i efektywną wdrożenie na różnych konfiguracjach sprzętowych.

Gemma 2 vs. Llama 3 70B

Porównując Gemmę 2 z Llama 3 70B, oba modele wyróżniają się w kategorii otwartoźródłowych modeli językowych. Naukowcy Google twierdzą, że Gemma 2 27B oferuje wydajność porównywalną z Llama 3 70B, pomimo mniejszej wielkości. Dodatkowo Gemma 2 9B konsekwentnie przewyższa Llama 3 8B w różnych benchmarkach, takich jak zrozumienie języka, kodowanie i rozwiązywanie problemów matematycznych.

Jedną z istotnych zalet Gemmy 2 nad modelem Llama 3 od Meta jest jej obsługa języków indyjskich. Gemma 2 wyróżnia się dzięki swojemu tokenizatorowi, który jest specjalnie zaprojektowany dla tych języków i zawiera duży słownik 256 tysięcy tokenów, aby uchwycić nuansowanie językowe. Z drugiej strony Llama 3, pomimo obsługi wielu języków, ma trudności z tokenizacją dla skryptów indyjskich z powodu ograniczonej ilości słów i danych szkoleniowych. To daje Gemmie 2 przewagę w zadaniach związanych z językami indyjskimi, co sprawia, że jest lepszym wyborem dla deweloperów i badaczy pracujących w tych obszarach.

Przypadki Użycia

Na podstawie konkretnych cech modelu Gemmy 2 i jej wyników w benchmarkach, zidentyfikowaliśmy praktyczne przypadki użycia dla tego modelu.

• Wielojęzyczne Asystenci: Specjalizowany tokenizator Gemmy 2 dla różnych języków, szczególnie języków indyjskich, sprawia, że jest to skuteczne narzędzie do tworzenia wielojęzycznych asystentów dostosowanych do użytkowników tych języków. Niezależnie od tego, czy szukasz informacji w języku hindi, tworzysz materiały edukacyjne w języku urdu, tworzysz treści marketingowe w języku arabskim czy artykuły naukowe w języku bengalskim, Gemma 2 daje twórcom skuteczne narzędzia do generowania języka. Prawdziwy przykład takiego przypadku użycia to Navarasa, wielojęzyczny asystent zbudowany na Gemmie, który obsługuje dziewięć języków indyjskich. Użytkownicy mogą łatwo generować treści, które rezonują z regionalną publicznością, jednocześnie przestrzegając określonych norm i nuansów językowych.
• Narzędzia Edukacyjne: Dzięki możliwości rozwiązywania problemów matematycznych i zrozumienia złożonych zapytań językowych, Gemma 2 może być wykorzystana do tworzenia inteligentnych systemów nauczania i aplikacji edukacyjnych, które zapewniają spersonalizowane doświadczenia edukacyjne.
• Kodowanie i Pomoc w Kodowaniu: Umiejętność Gemmy 2 w benchmarkach kodowania wskazuje na jej potencjał jako potężnego narzędzia do generowania kodu, wykrywania błędów i automatycznych przeglądów kodu. Jej zdolność do efektywnego działania na urządzeniach o ograniczonych zasobach pozwala deweloperom na łatwą integrację z ich środowiskami programistycznymi.
• Wzmocniona Generacja z Odtworzeniem (RAG): Silna wydajność Gemmy 2 w benchmarkach inferencji opartych na tekście sprawia, że jest to odpowiednie narzędzie do tworzenia systemów RAG w różnych dziedzinach. Wspiera aplikacje opieki zdrowotnej poprzez syntezę informacji klinicznych, wspomaga systemy AI prawne w udzielaniu porad prawnych, umożliwia tworzenie inteligentnych czatbotów do obsługi klienta i ułatwia tworzenie spersonalizowanych narzędzi edukacyjnych.

Ograniczenia i Wyzwania

Chociaż Gemma 2 prezentuje znaczne postępy, stoi także przed ograniczeniami i wyzwaniami, głównie związanymi z jakością i różnorodnością danych szkoleniowych. Pomimo że tokenizator obsługuje różne języki, Gemma 2 brakuje konkretnego szkolenia w zakresie wielojęzyczności i wymaga dostrajania, aby skutecznie obsługiwać inne języki. Model radzi sobie dobrze z wyraźnymi, sformatowanymi promptami, ale ma trudności z otwartymi lub złożonymi zadania i subtelne nuansowanie językowe, takie jak sarkazm lub wyrażenia figuratywne. Jego dokładność faktograficzna nie zawsze jest niezawodna, co może prowadzić do generowania nieaktualnych lub niepoprawnych informacji, i może brakować zdroworozsądkowego rozumowania w pewnych kontekstach. Chociaż podjęto wysiłki, aby rozwiązać problem halucynacji, szczególnie w wrażliwych obszarach, takich jak medycyna lub CBRN, nadal istnieje ryzyko generowania niepoprawnych informacji w mniej wyrafinowanych dziedzinach, takich jak finanse. Ponadto, pomimo kontroli, które zapobiegają nieetycznej generacji treści, takiej jak mowa nienawiści lub zagrożenia cybernetyczne, istnieją ciągłe ryzyka nadużyć w innych dziedzinach. Ostatecznie Gemma 2 jest wyłącznie oparta na tekście i nie obsługuje multimodalnych danych.

Podsumowanie

Gemma 2 wprowadza znaczne postępy w otwartoźródłowych modelach językowych, poprawiając wydajność i szybkość inferencji w porównaniu z poprzednikiem. Jest odpowiednia dla różnych konfiguracji sprzętowych, co sprawia, że jest dostępna bez znacznych inwestycji w sprzęt. Jednakże wyzwania utrzymują się w obsłudze subtelnych zadań językowych i zapewnieniu dokładności w złożonych scenariuszach. Chociaż jest korzystna w aplikacjach, takich jak porady prawne i narzędzia edukacyjne, deweloperzy powinni być świadomi jej ograniczeń w zakresie wielojęzyczności i potencjalnych problemów z dokładnością faktograficzną w wrażliwych kontekstach. Mimo tych rozważań Gemma 2 pozostaje cenną opcją dla deweloperów szukających niezawodnych rozwiązań przetwarzania języka.