Карманный Пowerhouse: Представляем Microsoft’s Phi-3, Языковую Модель, Которая Умеет в Вашем Телефоне

В быстро развивающейся области искусственного интеллекта, хотя тренд часто склонялся к более крупным и сложным моделям, Microsoft (MSFT ) принимает другой подход с помощью своей Phi-3 Mini. Эта маленькая языковая модель (SLM), теперь в третьем поколении, упаковывает мощные возможности более крупных моделей в рамки, которые соответствуют строгим ограничениям ресурсов смартфонов. С 3,8 миллиардами параметров Phi-3 Mini соответствует производительности больших языковых моделей (LLM) по различным задачам, включая обработку языка, рассуждение, кодирование и математику, и предназначена для эффективной работы на мобильных устройствах через квантование.

Проблемы Больших Языковых Моделей

Разработка Microsoft’s Phi SLMs является ответом на значительные проблемы, поставленные LLM, которые требуют больше вычислительной мощности, чем обычно доступно на потребительских устройствах. Этот высокий спрос осложняет их использование на стандартных компьютерах и мобильных устройствах, вызывает экологические проблемы из-за их энергопотребления во время обучения и эксплуатации, и рискует увековечить предвзятости с их большими и сложными наборами данных для обучения. Эти факторы также могут ухудшить реакцию моделей в реальных приложениях и сделать обновления более сложными.

Phi-3 Mini: Упрощение ИИ на Личных Устройствах для Повышения Конфиденциальности и Эффективности

Phi-3 Mini стратегически разработана для предложения экономически эффективной и эффективной альтернативы для интеграции передовых ИИ непосредственно на личных устройствах, таких как телефоны и ноутбуки. Этот дизайн обеспечивает более быстрые и непосредственные ответы, улучшая взаимодействие пользователя с технологией в повседневных сценариях.

Phi-3 Mini позволяет осуществлять сложные функции ИИ непосредственно на мобильных устройствах, что уменьшает зависимость от облачных услуг и повышает обработку данных в реальном времени. Эта возможность является важной для приложений, требующих немедленной обработки данных, таких как мобильная медицина, перевод языка в реальном времени и персонализированное образование, что способствует достижениям в этих областях. Экономическая эффективность модели не только снижает эксплуатационные затраты, но и расширяет потенциал для интеграции ИИ в различных отраслях, включая развивающиеся рынки, такие как носимые технологии и домашняя автоматизация. Phi-3 Mini позволяет обрабатывать данные непосредственно на локальных устройствах, что повышает конфиденциальность пользователя. Это может быть важно для управления конфиденциальной информацией в таких областях, как личное здоровье и финансовые услуги. Кроме того, низкие энергетические требования модели способствуют экологически устойчивым операциям ИИ, соответствуя глобальным усилиям по устойчивому развитию.

Философия Дизайна и Эволюция Phi

Философия дизайна Phi основана на концепции curriculum learning, которая черпает вдохновение из образовательного подхода, где дети учатся через все более сложные примеры. Основная идея заключается в том, чтобы начать обучение ИИ с более простых примеров и постепенно увеличивать сложность обучающих данных по мере прогресса процесса обучения. Microsoft реализовала эту образовательную стратегию, построив набор данных из учебников, как подробно описано в их исследовании “Textbooks Are All You Need.” Серия Phi была запущена в июне 2023 года, начиная с Phi-1, компактной модели, имеющей 1,3 миллиарда параметров. Эта модель быстро продемонстрировала свою эффективность, особенно в задачах кодирования на Python, где она превзошла более крупные и сложные модели. Основываясь на этом успехе, Microsoft позже разработала Phi-1.5, которая сохранила тот же количество параметров, но расширила свои возможности в таких областях, как рассуждение и понимание языка. Серия засияла с выпуском Phi-2 в декабре 2023 года. С 2,7 миллиардами параметров Phi-2 продемонстрировала впечатляющие навыки в рассуждении и понимании языка, позиционируя ее как сильного конкурента более крупным моделям.

Phi-3 vs. Другие Маленькие Языковые Модели

Расширяя возможности своих предшественников, Phi-3 Mini расширяет достижения Phi-2, превосходя другие SLM, такие как Google’s Gemma, Mistral’s Mistral, Meta’s Llama3-Instruct, и GPT 3.5, в различных промышленных приложениях. Эти приложения включают понимание языка и вывод, общее знание, рассуждение, решение математических задач и медицинских вопросов, демонстрируя превосходящую производительность по сравнению с этими моделями. Phi-3 Mini также прошла офлайн-тестирование на iPhone 14 для различных задач, включая создание контента и предоставление предложений по деятельности, адаптированных к конкретным местам. Для этого Phi-3 Mini была сжата до 1,8 ГБ с помощью процесса, называемого квантованием, который оптимизирует модель для устройств с ограниченными ресурсами, преобразуя числовые данные модели из 32-битных чисел с плавающей запятой в более компактные форматы, такие как 4-битные целые числа. Это не только уменьшает размер модели, но и улучшает скорость обработки и энергетическую эффективность, что важно для мобильных устройств. Разработчики обычно используют фреймворки, такие как TensorFlow Lite или PyTorch Mobile, включающие встроенные инструменты квантования для автоматизации и совершенствования этого процесса.

Сравнение Функций: Phi-3 Mini vs. Phi-2 Mini

Ниже мы сравниваем некоторые функции Phi-3 с ее предшественником Phi-2.

• Архитектура Модели: Phi-2 работает на основе архитектуры, предназначенной для предсказания следующего слова. Phi-3 Mini также использует архитектуру декодера, но более тесно соответствует структуре модели Llama-2, используя тот же токенизатор с размером словаря 320 641. Это обеспечивает совместимость, гарантируя, что инструменты, разработанные для Llama-2, могут быть легко адаптированы для использования с Phi-3 Mini.
• Длина Контекста: Phi-3 Mini поддерживает длину контекста 8 000 токенов, что значительно больше, чем 2 048 токенов Phi-2. Это увеличение позволяет Phi-3 Mini обрабатывать более детальные взаимодействия и обрабатывать более длинные отрывки текста.
• Запуск на Мобильных Устройствах: Phi-3 Mini может быть сжата до 4-бит, занимая примерно 1,8 ГБ памяти, аналогично Phi-2. Она была протестирована на iPhone 14 с чипом A16 Bionic, где она достигла скорости обработки более 12 токенов в секунду, соответствуя производительности Phi-2 при аналогичных условиях.
• Размер Модели: С 3,8 миллиардами параметров Phi-3 Mini имеет больший масштаб, чем Phi-2, которая имеет 2,7 миллиарда параметров. Это отражает ее повышенные возможности.
• Обучающие Данные: В отличие от Phi-2, которая была обучена на 1,4 триллиона токенов, Phi-3 Mini была обучена на гораздо большем наборе из 3,3 триллиона токенов, что позволяет ей лучше понять сложные закономерности языка.

Решение Ограничений Phi-3 Mini

Хотя Phi-3 Mini демонстрирует значительные достижения в области маленьких языковых моделей, она не лишена ограничений. Основным ограничением Phi-3 Mini, учитывая ее меньший размер по сравнению с большими языковыми моделями, является ее ограниченная способность хранить обширные фактические знания. Это может повлиять на ее способность самостоятельно обрабатывать запросы, требующие глубины конкретных фактических данных или подробных знаний экспертов. Однако это можно смягчить, интегрируя Phi-3 Mini с поисковой системой. Таким образом, модель может получить доступ к более широкому спектру информации в реальном времени, эффективно компенсируя свои внутренние ограничения знаний. Эта интеграция позволяет Phi-3 Mini функционировать как высококвалифицированный разговорный партнер, который, несмотря на всестороннее понимание языка и контекста, может иногда нуждаться в “поиске” информации, чтобы предоставить точные и актуальные ответы.

Доступность

Phi-3 теперь доступна на нескольких платформах, включая Microsoft Azure AI Studio, Hugging Face и Ollama. На Azure AI модель включает в себя рабочий процесс развертывания, оценки и дообучения, а на Ollama она может запускаться локально на ноутбуках. Модель была адаптирована для ONNX Runtime и поддерживает Windows DirectML, гарантируя, что она работает хорошо на различных типах оборудования, таких как GPU, CPU и мобильные устройства. Кроме того, Phi-3 предлагается как микросервис через NVIDIA NIM (NVDA ), оснащенный стандартным API для простого развертывания в различных средах и оптимизированный специально для GPU NVIDIA. Microsoft планирует дальнейшее расширение серии Phi-3 в ближайшем будущем, добавив модели Phi-3-small (7B) и Phi-3-medium (14B), предоставляя пользователям дополнительные варианты для балансировки качества и стоимости.

Итог

Microsoft’s Phi-3 Mini делает значительные шаги в области искусственного интеллекта, адаптируя мощь больших языковых моделей для мобильного использования. Эта модель улучшает взаимодействие пользователя с устройствами за счет более быстрой и реальной обработки, а также повышает конфиденциальность. Она минимизирует необходимость в облачных услугах, снижая эксплуатационные затраты и расширяя возможности применения ИИ в таких областях, как здравоохранение и домашняя автоматизация. С фокусом на снижении предвзятости через curriculum learning и поддержании конкурентной производительности, Phi-3 Mini эволюционирует в ключевой инструмент для эффективного и устойчивого мобильного ИИ, тонко меняя, как мы взаимодействуем с технологией ежедневно.