Всё, что вам нужно знать о Llama 3 | Самая мощная открытая модель на данный момент | Концепции и использование

Meta недавно выпустила Llama 3, следующее поколение своей передовой открытой модели крупномасштабного языкового моделирования (LLM). Основываясь на фундаменте, заложенном ее предшественником, Llama 3 стремится повысить возможности, которые позиционировали Llama 2 как значительного открытого конкурента ChatGPT, как описано в подробном обзоре в статье Llama 2: глубокое погружение в открытого конкурента ChatGPT.

В этой статье мы обсудим основные концепции, лежащие в основе Llama 3, исследуем ее инновационную архитектуру и процесс обучения, и предоставим практические рекомендации по тому, как получить доступ, использовать и развертывать эту революционную модель ответственно. Будь вы исследователем, разработчиком или энтузиастом ИИ, этот пост предоставит вам знания и ресурсы, необходимые для использования потенциала Llama 3 в ваших проектах и приложениях.

Эволюция Llama: от Llama 2 до Llama 3

CEO Meta, Марк Цукерберг, объявил о дебюте Llama 3, последней модели ИИ, разработанной Meta AI. Эта передовая модель, теперь открытая, предназначена для улучшения различных продуктов Meta, включая Messenger и Instagram. Цукерберг подчеркнул, что Llama 3 позиционирует Meta AI как наиболее продвинутого свободно доступного помощника ИИ.

Прежде чем мы поговорим о конкретных деталях Llama 3, давайте кратко вернемся к ее предшественнику, Llama 2. Представленная в 2022 году, Llama 2 была значительным этапом в ландшафте открытого LLM, предлагая мощную и эффективную модель, которую можно было запускать на потребительском оборудовании.

Однако, хотя Llama 2 была заметным достижением, она имела свои ограничения. Пользователи сообщали о проблемах с ложными отказами (модель отказывалась отвечать на безобидные подсказки), ограниченной полезностью и необходимостью улучшения в таких областях, как рассуждение и генерация кода.

Вот где появляется Llama 3: ответ Meta на эти проблемы и обратную связь сообщества. С Llama 3 Meta стремится построить лучшие открытые модели, сопоставимые с лучшими проприетарными моделями, доступными сегодня, а также уделять приоритетное внимание ответственной разработке и практикам развертывания.

Llama 3: Архитектура и обучение

Одним из ключевых инноваций в Llama 3 является ее токенизатор, который имеет значительно расширенный словарь из 128 256 токенов (по сравнению с 32 000 в Llama 2). Этот более крупный словарь позволяет более эффективно кодировать текст, как для входных, так и для выходных данных, что потенциально может привести к более сильному многоязычию и общему улучшению производительности.

Llama 3 также включает в себя Группированное внимание запросов (GQA), эффективную технику представления, которая повышает масштабируемость и помогает модели обрабатывать более длинные контексты более эффективно. Версия 8B Llama 3 использует GQA, а модели 8B и 70B могут обрабатывать последовательности до 8 192 токенов.

Данные для обучения и масштабирование

Данные, использованные для обучения Llama 3, являются важным фактором в ее улучшенной производительности. Meta курировала огромную базу данных из более чем 15 триллионов токенов из публично доступных онлайн-источников, что в семь раз больше, чем база данных, использованная для Llama 2. Эта база данных также включает значительную часть (более 5%) высококачественных неанглийских данных, охватывающих более 30 языков, в подготовке к будущим многоязычным приложениям.

Чтобы обеспечить качество данных, Meta использовала передовые методы фильтрации, включая эвристические фильтры, фильтры NSFW, семантическую дедупликацию и текстовые классификаторы, обученные на Llama 2 для прогнозирования качества данных. Команда также провела обширные эксперименты, чтобы определить оптимальную смесь источников данных для предварительного обучения, обеспечивая, что Llama 3 работает хорошо в широком диапазоне случаев использования, включая тривию, STEM, кодирование и исторические знания.

Масштабирование предварительного обучения было еще одним важным аспектом разработки Llama 3. Meta разработала законы масштабирования, которые позволили ей предсказать производительность своих крупнейших моделей на ключевых задачах, таких как генерация кода, до их фактического обучения. Это информировало решения о смеси данных и распределении вычислительных ресурсов, в конечном итоге приведя к более эффективному и результативному обучению.

Крупнейшие модели Llama 3 были обучены на двух настраиваемых кластерах из 24 000 GPU, используя комбинацию данных параллелизации, модели параллелизации и техник параллелизации конвейера. Передовой стек обучения Meta автоматизировал обнаружение ошибок, обработку и обслуживание, максимизируя время безотказной работы GPU и увеличивая эффективность обучения примерно в три раза по сравнению с Llama 2.

Настройка инструкций и производительность

Чтобы раскрыть полный потенциал Llama 3 для чата и диалоговых приложений, Meta инновировала свой подход к настройке инструкций. Ее метод сочетает научную настройку (SFT), выборочную выборку, проксимальную оптимизацию политики (PPO) и прямую оптимизацию предпочтений (DPO).

Качество подсказок, использованных в SFT, и рейтингов предпочтений, использованных в PPO и DPO, сыграли решающую роль в производительности согласованных моделей. Команда Meta тщательно курировала эти данные и выполнила несколько раундов обеспечения качества аннотаций, предоставленных человеческими аннотаторами.

Обучение на рейтингах предпочтений через PPO и DPO также значительно улучшило производительность Llama 3 на задачах рассуждения и кодирования. Meta обнаружила, что даже когда модель испытывает трудности с ответом на вопрос рассуждения напрямую, она может все равно произвести правильный след рассуждения. Обучение на рейтингах предпочтений позволило модели научиться, как выбрать правильный ответ из этих следов.

Результаты говорят сами за себя: Llama 3 превосходит многие доступные открытые чат-модели на общих отраслевых бенчмарках, устанавливая новые эталоны производительности для LLM на масштабах параметров 8B и 70B.

Ответственная разработка и соображения безопасности

Хотя Meta преследует передовую производительность, компания также уделяет приоритетное внимание ответственной разработке и практикам развертывания для Llama 3. Компания приняла системный подход, представляя модели Llama 3 как часть более широкой экосистемы, которая ставит разработчиков в водительское кресло, позволяя им проектировать и настраивать модели для своих конкретных случаев использования и требований безопасности.

Meta провела обширные упражнения по красной команде, выполнила оценки противников и реализовала меры по смягчению рисков в своих моделях, настроенных на инструкции. Однако компания признает, что остаточные риски, вероятно, останутся, и рекомендует разработчикам оценить эти риски в контексте своих конкретных случаев использования.

Чтобы поддержать ответственное развертывание, Meta обновила свое Руководство по ответственной разработке, предоставив всесторонний ресурс для разработчиков, чтобы реализовать лучшие практики безопасности на уровне модели и системы для своих приложений. Руководство охватывает темы, такие как модерация контента, оценка рисков и использование инструментов безопасности, таких как Llama Guard 2 и Code Shield.

Llama Guard 2, построенный на основе таксономии MLCommons, предназначен для классификации входных данных LLM (подсказок) и ответов, обнаружения контента, который может быть сочтен ненадежным или вредным. CyberSecEval 2 расширяет возможности своего предшественника, добавляя меры по предотвращению злоупотребления интерпретатором модели, офенсивных возможностей кибербезопасности и уязвимости к атакам на внедрение подсказок.

Code Shield, новое введение с Llama 3, добавляет фильтрацию на уровне вывода не安全ого кода, произведенного LLM, смягчая риски, связанные с предложениями не безопасного кода, злоупотреблением интерпретатором и безопасной командой выполнения.

Доступ и использование Llama 3

После запуска Llama 3 Meta AI несколько открытых инструментов стали доступны для локального развертывания на различных операционных системах, включая Mac, Windows и Linux. Этот раздел подробно описывает три заметных инструмента: Ollama, Open WebUI и LM Studio, каждый из которых предлагает уникальные функции для использования возможностей Llama 3 на личных устройствах.

Ollama: Доступна для Mac, Linux и Windows, Ollama упрощает работу с Llama 3 и другими крупными языковыми моделями на личных компьютерах, даже на тех, у которых менее мощное оборудование. Она включает в себя менеджер пакетов для легкого управления моделями и поддерживает команды на всех платформах для загрузки и запуска моделей.

Open WebUI с Docker: Этот инструмент предоставляет удобный, Docker-основанный интерфейс, совместимый с Mac, Linux и Windows. Он интегрируется без проблем с моделями из реестра Ollama, позволяя пользователям развертывать и взаимодействовать с моделями, такими как Llama 3, в локальном веб-интерфейсе.

LM Studio: Ориентированный на пользователей на Mac, Linux и Windows, LM Studio поддерживает ряд моделей и построен на основе проекта llama.cpp. Он предоставляет интерфейс чата и облегчает прямое взаимодействие с различными моделями, включая модель Llama 3 8B Instruct.

Эти инструменты гарантируют, что пользователи могут эффективно использовать Llama 3 на своих личных устройствах, удовлетворяя широкий спектр технических навыков и требований. Каждая платформа предлагает пошаговые процессы настройки и взаимодействия с моделью, делая передовой ИИ более доступным для разработчиков и энтузиастов.