Google представляє Gemma 2: підвищення продуктивності, швидкості та доступності для розробників

Google (GOOGL ) представила Gemma 2, останню ітерацію своїх відкритих легких мовних моделей, доступних у розмірах 9 мільярдів (9B) і 27 мільярдів (27B) параметрів. Ця нова версія обіцяє покращену продуктивність і швидшу інференцію порівняно з її попередником, моделлю Gemma. Gemma 2, отримана з моделей Gemini від Google, призначена для того, щоб бути більш доступною для дослідників і розробників, пропонуючи суттєві покращення швидкості та ефективності. На відміну від багатомодальних і багатомовних моделей Gemini, Gemma 2 зосереджується виключно на обробці мови. У цій статті ми розглянемо видатні особливості та вдосконалення Gemma 2, порівнюючи її з попередниками та конкурентами в галузі, підкреслюючи її випадки використання та виклики.

Будування Gemma 2

Як і її попередник, моделі Gemma 2 засновані на архітектурі декодера-трансформера. Варіант 27B тренується на 13 трильйонів токенів переважно англійських даних, тоді як модель 9B використовує 8 трильйонів токенів, а модель 2,6B тренується на 2 трильйони токенів. Ці токени походять з різних джерел, включаючи веб-документи, код і наукові статті. Модель використовує той же токенізаційний інструмент, що і Gemma 1 та Gemini, забезпечуючи узгодженість обробки даних.

Gemma 2 передтренується за допомогою методу знання дистиляції, де вона вчиться з вивідних імовірностей великої попередньо тренованої моделі. Після початкової тренування моделі підтримуються за допомогою процесу під назвою інструктивне налаштування. Це починається з керованого тонкого налаштування (SFT) на змішаних синтетичних та людських текстових парах запит-відповідь. Після цього застосовується підкріплення навчання з людською відгуком (RLHF) для покращення загальної продуктивності.

Gemma 2: покращена продуктивність та ефективність на різних апаратних засобах

Gemma 2 не тільки перевершує Gemma 1 за продуктивністю, але також ефективно конкурує з моделями вдвічі більших розмірів. Вона призначена для ефективної роботи на різних апаратних конфігураціях, включаючи ноутбуки, настільні комп’ютери, пристрої IoT та мобільні платформи. Особливо оптимізована для окремих GPU та TPU, Gemma 2 підвищує ефективність свого попередника, особливо на обмежених ресурсами пристроях. Наприклад, модель 27B добре працює на окремому NVIDIA H100 Tensor Core GPU (NVDA ) або TPU-хості, що робить її економічно ефективним варіантом для розробників, які потребують високої продуктивності без великих вкладень у апаратне забезпечення.

Крім того, Gemma 2 пропонує розробникам покращені можливості налаштування на широкому спектрі платформ та інструментів. Чи використовуючи хмарні рішення, такі як Google Cloud, чи популярні платформи, такі як Axolotl, Gemma 2 забезпечує широкі можливості тонкого налаштування. Інтеграція з платформами, такими як Hugging Face, NVIDIA TensorRT-LLM та Google’s JAX і Keras, дозволяє дослідникам та розробникам досягти оптимальної продуктивності та ефективної розгортки на різних апаратних конфігураціях.

Gemma 2 проти Llama 3 70B

При порівнянні Gemma 2 з Llama 3 70B обидві моделі виділяються в категорії відкритих мовних моделей. Дослідники Google стверджують, що Gemma 2 27B забезпечує продуктивність, порівнянну з Llama 3 70B, незважаючи на те, що вона значно менша за розміром. Крім того, Gemma 2 9B постійно перевершує Llama 3 8B у різних бенчмарках, таких як розуміння мови, програмування та розв’язання математичних задач.

Одна з видатних переваг Gemma 2 над Llama 3 від Meta полягає в її роботі з індійськими мовами. Gemma 2 перевершує завдяки своєму токенізаційному інструменту, який спеціально розроблений для цих мов і включає великий словниковий запас у 256 тисяч токенів для захоплення лінгвістичних нюансів. Навпаки, Llama 3, незважаючи на підтримку багатьох мов, має труднощі з токенізацією індійських скриптів через обмежений словниковий запас і тренувальні дані. Це дає Gemma 2 перевагу в завданнях, пов’язаних з індійськими мовами, що робить її кращим вибором для розробників та дослідників, які працюють у цих областях.

Використання

На основі конкретних характеристик моделі Gemma 2 та її продуктивності у бенчмарках ми ідентифікували практичні випадки використання моделі.

• Багатомовні асистенти: Спеціалізований токенізаційний інструмент Gemma 2 для різних мов, особливо індійських мов, робить її ефективним інструментом для розробки багатомовних асистентів, орієнтованих на цих мовних користувачів. Чи то шукання інформації англійською, створення освітніх матеріалів урду, маркетингового контенту арабською чи дослідницьких статей бенгальською, Gemma 2 надає творцям ефективні інструменти генерації мови. Реальний приклад цього випадку використання – Navarasa, багатомовний асистент, побудований на Gemma, який підтримує дев’ять індійських мов. Користувачі можуть легко створювати контент, який резонує з регіональними аудиторіями, дотримуючись конкретних лінгвістичних норм та нюансів.
• Освітні інструменти: З її можливістю розв’язувати математичні задачі та розуміти складні мовні запити, Gemma 2 може бути використана для створення інтелектуальних систем навчання та освітніх додатків, які забезпечують персоналізовані навчальні trải nghiệm.
• Програмування та допомога з кодом: Здібності Gemma 2 у програмуванні свідчать про її потенціал як потужного інструменту для генерації коду, виявлення помилок та автоматизованого кодування. Її здатність добре працювати на обмежених ресурсами пристроях дозволяє розробникам безперешкодно інтегрувати її у свої середовища розробки.
• Покращена генерація з пошуковими можливостями (RAG): Сильна продуктивність Gemma 2 у текстових інференційних бенчмарках робить її придатною для розробки систем RAG у різних областях. Вона підтримує медичні додатки шляхом синтезу клінічної інформації, допомагає юридичним системам штучного інтелекту у наданні юридичних консультацій, дозволяє створити інтелектуальні чат-боти для клієнтської підтримки та сприяє створенню персоналізованих освітніх інструментів.

Обмеження та виклики

Хоча Gemma 2 демонструє видатні вдосконалення, вона також стикається з обмеженнями та викликами, переважно пов’язаними з якістю та різноманітністю її тренувальних даних. Незважаючи на те, що її токенізаційний інструмент підтримує різні мови, Gemma 2 не має спеціальної підготовки для багатомовних можливостей і потребує тонкого налаштування для ефективної обробки інших мов. Модель добре працює з чіткими, структурованими запитами, але має труднощі з відкритими або складними завданнями та тонкими мовними нюансами, такими як сарказм або фігуративні вирази. Її фактична точність не завжди надійна, потенційно генеруючи застарілі або неправильні відомості, і вона може бракувати загального сенсу у певних контекстах. Хоча були зроблені зусилля для боротьби з галюцинаціями, особливо у чутливих галузях, таких як медицина чи CBRN-сценарії, все ще існує ризик генерації неточної інформації у менш розвинених галузях, таких як фінанси. Крім того, Gemma 2 виключно текстова і не підтримує багатомодальну обробку даних.

Висновок

Gemma 2 представляє видатні вдосконалення у відкритих мовних моделях, підвищуючи продуктивність та швидкість інференції порівняно з її попередником. Вона підходить для використання на різних апаратних конфігураціях, роблячи її доступною без значних інвестицій у апаратне забезпечення. Однак існують виклики у обробці нюансів мови та забезпеченні точності у складних сценаріях. Хоча вона корисна для застосунків, таких як юридичні консультації та освітні інструменти, розробники повинні бути обережними щодо її обмежень у багатомовних можливостях та потенційних проблем з фактичною точністю у чутливих контекстах. Незважаючи на ці обставини, Gemma 2 залишається цінним варіантом для розробників, які шукають надійні рішення для обробки мови.