Карманная электростанция: представляем Microsoft Phi-3, языковую модель, которая поместится в ваш телефон

В быстро развивающейся области искусственного интеллекта, хотя эта тенденция часто склоняется к более крупным и сложным моделям, Microsoft применяет другой подход со своим Phi-3 Mini. Этот малая языковая модель (SLM), уже в третьем поколении, объединяет надежные возможности более крупных моделей в структуру, которая соответствует жестким ограничениям ресурсов смартфонов. Обладая 3.8 миллиардами параметров, Phi-3 Mini соответствует производительности большие языковые модели (LLM) для решения различных задач, включая языковую обработку, рассуждение, кодирование и математику, и предназначен для эффективной работы на мобильных устройствах посредством квантования.

Проблемы больших языковых моделей

Разработка Phi SLM от Microsoft является ответом на серьезные проблемы, связанные с LLM, которые требуют большей вычислительной мощности, чем обычно доступно на потребительских устройствах. Этот высокий спрос усложняет их использование на стандартных компьютерах и мобильных устройствах, вызывает экологические проблемы из-за потребления энергии во время обучения и работы, а также рискует сохранить предвзятость в отношении больших и сложных наборов обучающих данных. Эти факторы также могут ухудшить скорость реагирования моделей в приложениях реального времени и усложнить обновление.

Phi-3 Mini: оптимизация искусственного интеллекта на персональных устройствах для повышения конфиденциальности и эффективности

Ассоциация Фи-3 Мини стратегически разработан, чтобы предложить экономичную и эффективную альтернативу интеграции передового искусственного интеллекта непосредственно на персональные устройства, такие как телефоны и ноутбуки. Такая конструкция обеспечивает более быстрое и немедленное реагирование, улучшая взаимодействие пользователя с технологиями в повседневных сценариях.

Phi-3 Mini позволяет напрямую обрабатывать сложные функции искусственного интеллекта на мобильных устройствах, что снижает зависимость от облачных сервисов и улучшает обработку данных в реальном времени. Эта возможность имеет решающее значение для приложений, требующих немедленной обработки данных, таких как мобильное здравоохранение, языковой перевод в реальном времени и персонализированное образование, что способствует прогрессу в этих областях. Экономическая эффективность модели не только снижает эксплуатационные расходы, но и расширяет потенциал интеграции искусственного интеллекта в различные отрасли, включая развивающиеся рынки, такие как носимые технологии и домашняя автоматизация. Phi-3 Mini позволяет обрабатывать данные непосредственно на локальных устройствах, что повышает конфиденциальность пользователей. Это может иметь жизненно важное значение для управления конфиденциальной информацией в таких областях, как личное здоровье и финансовые услуги. Более того, низкие энергетические требования модели способствуют экологически устойчивой работе ИИ, что соответствует глобальным усилиям по устойчивому развитию.

Философия дизайна и эволюция Phi

Философия дизайна Фи основан на концепции учебная программа обучения, который черпает вдохновение из образовательного подхода, при котором дети учатся на все более сложных примерах. Основная идея — начать обучение ИИ с более простых примеров и постепенно увеличивать сложность обучающих данных по ходу процесса обучения. Microsoft реализовала эту образовательную стратегию, создав набор данных из учебников, как подробно описано в их исследовании».Учебники – это все, что вам нужно». Серия Phi была запущена в июне 2023 года, начиная с Phi-1, компактной модели с 1.3 миллиарда параметров. Эта модель быстро продемонстрировала свою эффективность, особенно в задачах кодирования Python, где она превзошла более крупные и сложные модели. Опираясь на этот успех, Microsoft недавно разработала Фи-1.5, который сохранил то же количество параметров, но расширил свои возможности в таких областях, как здравое рассуждение и понимание языка. Серия затмила выходом Фи-2 в декабре 2023 года. Обладая 2.7 миллиарда параметров, Phi-2 продемонстрировал впечатляющие навыки рассуждения и понимания языка, что сделало его сильным конкурентом значительно более крупных моделей.

Phi-3 против других моделей малого языка

Развивая своих предшественников, Phi-3 Mini расширяет возможности Phi-2, превосходя другие SLM, такие как Джемма из Google, Мистраль Мистраль, Лама3-Инструкт Метыи тег Google 3.5, в различных промышленных применениях. Эти приложения включают в себя понимание языка и умозаключение, общие знания, рассуждения на основе здравого смысла, математические задачи в начальной школе и ответы на медицинские вопросы, демонстрируя превосходную производительность по сравнению с этими моделями. Phi-3 Mini также прошел автономное тестирование на iPhone 14 для выполнения различных задач, включая создание контента и предоставление рекомендаций по активности с учетом конкретных мест. Для этой цели Phi-3 Mini был сжат до 1.8 ГБ с помощью процесса, называемого квантование, который оптимизирует модель для устройств с ограниченными ресурсами путем преобразования числовых данных модели из 32-битных чисел с плавающей запятой в более компактные форматы, такие как 4-битные целые числа. Это не только уменьшает объем памяти, занимаемый моделью, но также повышает скорость обработки и энергоэффективность, что жизненно важно для мобильных устройств. Разработчики обычно используют такие платформы, как TensorFlow Lite or ПиТорч Мобильный, включающий встроенные инструменты квантования для автоматизации и усовершенствования этого процесса.

Сравнение функций: Phi-3 Mini и Phi-2 Mini

Ниже мы сравниваем некоторые особенности Phi-3 с его предшественником Phi-2.

• Модельная архитектура: Phi-2 работает на основе трансформаторной архитектуры, предназначенной для предсказания следующего слова. Phi-3 Mini также использует архитектуру декодера-трансформера, но более близко соответствует структуре модели Llama-2, используя тот же токенизатор с размером словаря 320,641 2. Эта совместимость гарантирует, что инструменты, разработанные для Llama-3, можно легко адаптировать для использования с Phi-XNUMX Mini.
• Длина контекста: Phi-3 Mini поддерживает длину контекста 8,000 токенов, что значительно больше, чем 2 токенов Phi-2,048. Это увеличение позволяет Phi-3 Mini управлять более детальными взаимодействиями и обрабатывать более длинные фрагменты текста.
• Локальный запуск на мобильных устройствах: Phi-3 Mini можно сжимать до 4 бит, занимая около 1.8 ГБ памяти, аналогично Phi-2. Он был протестирован в автономном режиме на iPhone 14 с чипом A16 Bionic, где он достиг скорости обработки более 12 токенов в секунду, что соответствует производительности Phi-2 в аналогичных условиях.
• Модель Размер: Phi-3.8 Mini имеет 3 миллиарда параметров и имеет больший масштаб, чем Phi-2, который имеет 2.7 миллиарда параметров. Это отражает его возросшие возможности.
• Данные обучения: В отличие от Phi-2, который был обучен на 1.4 триллионах токенов, Phi-3 Mini был обучен на гораздо большем наборе из 3.3 триллиона токенов, что позволяет ему лучше понимать сложные языковые модели.

Устранение ограничений Phi-3 Mini

Хотя Phi-3 Mini демонстрирует значительные достижения в области малых языковых моделей, он не лишен своих ограничений. Основным недостатком Phi-3 Mini, учитывая его меньший размер по сравнению с массивными языковыми моделями, является его ограниченная способность хранить обширные фактические знания. Это может повлиять на его способность самостоятельно обрабатывать запросы, требующие глубоких конкретных фактических данных или подробных экспертных знаний. Однако это можно смягчить, интегрировав Phi-3 Mini с поисковой системой. Таким образом, модель может получить доступ к более широкому спектру информации в режиме реального времени, эффективно компенсируя присущие ей ограничения знаний. Эта интеграция позволяет Phi-3 Mini действовать как высококвалифицированный собеседник, которому, несмотря на всестороннее понимание языка и контекста, иногда может потребоваться «поиск» информации для предоставления точных и актуальных ответов.

Доступность

Phi-3 теперь доступен на нескольких платформах, включая Microsoft Azure ИИ-студия, Обнимая лицои Оллама. В Azure AI модель включает в себя рабочий процесс развертывания-оценки-тонкой настройки, а в Ollama ее можно запускать локально на ноутбуках. Модель была разработана для Среда выполнения ONNX и поддерживает Windows ДиректМЛ, гарантируя, что он хорошо работает на различных типах оборудования, таких как графические процессоры, процессоры и мобильные устройства. Кроме того, Phi-3 предлагается в виде микросервиса через NVIDIA НИМ, оснащенный стандартным API для простого развертывания в различных средах и оптимизированный специально для графических процессоров NVIDIA. Microsoft планирует в ближайшем будущем расширить серию Phi-3, добавив модели Phi-3-маленький (7B) и Phi-3-средний (14B), предоставляя пользователям дополнительный выбор для баланса качества и стоимости.

Выводы

Microsoft Phi-3 Mini добился значительных успехов в области искусственного интеллекта, адаптируя возможности больших языковых моделей для мобильного использования. Эта модель улучшает взаимодействие пользователя с устройствами за счет более быстрой обработки данных в реальном времени и улучшенных функций конфиденциальности. Это сводит к минимуму потребность в облачных сервисах, снижает эксплуатационные расходы и расширяет возможности приложений искусственного интеллекта в таких областях, как здравоохранение и домашняя автоматизация. Сосредоточив внимание на уменьшении предвзятости посредством обучения по учебной программе и поддержании конкурентоспособности, Phi-3 Mini превращается в ключевой инструмент для эффективного и устойчивого мобильного искусственного интеллекта, незаметно меняя то, как мы ежедневно взаимодействуем с технологиями.