Карманный Пowerhouse: Представляем Phi-3 от Microsoft, Языковую Модель, Которая Поместится в Ваш Телефон

В быстро развивающейся области искусственного интеллекта, где тенденция часто смещалась в сторону более крупных и сложных моделей, Microsoft принимает другой подход с помощью своей Phi-3 Mini. Эта компактная языковая модель (SLM), теперь в третьем поколении, сочетает в себе мощные возможности более крупных моделей в рамках, которые соответствуют жестким ограничениям на ресурсы смартфонов. С 3,8 миллиардами параметров Phi-3 Mini соответствует производительности больших языковых моделей (LLM) по различным задачам, включая обработку языка, рассуждение, кодирование и математику, и предназначена для эффективной работы на мобильных устройствах за счет квантования.

Проблемы Больших Языковых Моделей

Разработка компактных языковых моделей Microsoft Phi является ответом на значительные проблемы, которые представляют собой большие языковые модели, требующие больше вычислительной мощности, чем обычно доступно на потребительских устройствах. Этот высокий спрос осложняет их использование на стандартных компьютерах и мобильных устройствах, вызывает экологические проблемы из-за потребления энергии во время обучения и эксплуатации, и рискует увековечить предубеждения из-за их крупных и сложных наборов данных для обучения. Эти факторы также могут нарушить реакцию моделей в реальных приложениях и сделать обновления более сложными.

Phi-3 Mini: Упрощение ИИ на Личных Устройствах для Повышения Конфиденциальности и Эффективности

Phi-3 Mini стратегически разработана для предложения экономически эффективной и эффективной альтернативы для интеграции передовых ИИ直接 на личные устройства, такие как телефоны и ноутбуки. Этот дизайн обеспечивает более быстрые и непосредственные ответы, улучшая взаимодействие пользователя с технологией в повседневных сценариях.

Phi-3 Mini позволяет выполнять сложные функции ИИ直接 на мобильных устройствах, что уменьшает зависимость от облачных сервисов и улучшает обработку данных в реальном времени. Эта возможность является важной для приложений, которые требуют немедленной обработки данных, таких как мобильная медицина, перевод языка в реальном времени и персонализированное образование, что способствует достижениям в этих областях. Экономическая эффективность модели не только снижает эксплуатационные затраты, но и расширяет потенциал для интеграции ИИ в различных отраслях, включая развивающиеся рынки, такие как носимая технология и домашняя автоматизация. Phi-3 Mini позволяет обрабатывать данные напрямую на локальных устройствах, что повышает конфиденциальность пользователя. Это может быть важно для управления конфиденциальной информацией в таких областях, как личное здоровье и финансовые услуги. Кроме того, низкие энергетические требования модели способствуют экологически чистым операциям ИИ, соответствуя глобальным усилиям по устойчивому развитию.

Философия Дизайна и Эволюция Phi

Философия дизайна Phi основана на концепции curriculum learning, которая черпает вдохновение из образовательного подхода, где дети учатся через прогрессивно более сложные примеры. Основная идея заключается в том, чтобы начать обучение ИИ с более простых примеров и постепенно увеличивать сложность обучающих данных по мере прогресса процесса обучения. Microsoft реализовала эту образовательную стратегию, построив набор данных из учебников, как описано в их исследовании “Textbooks Are All You Need.” Серия Phi была запущена в июне 2023 года, начиная с Phi-1, компактной модели, имеющей 1,3 миллиарда параметров. Эта модель быстро продемонстрировала свою эффективность, особенно в задачах кодирования на Python, где она превзошла более крупные и сложные модели. Основываясь на этом успехе, Microsoft позже разработала Phi-1.5, которая сохранила то же количество параметров, но расширила свои возможности в таких областях, как здравый смысл и понимание языка. Серия засияла с выпуском Phi-2 в декабре 2023 года. С 2,7 миллиардами параметров Phi-2 продемонстрировала впечатляющие навыки в рассуждении и понимании языка, позиционируя себя как сильного конкурента более крупным моделям.

Phi-3 vs. Другие Компактные Языковые Модели

Расширяя возможности своих предшественников, Phi-3 Mini расширяет достижения Phi-2, превосходя другие компактные языковые модели, такие как Gemma от Google, Mistral от Mistral, Llama3-Instruct от Meta и GPT 3.5, в различных промышленных приложениях. Эти приложения включают понимание языка и вывод, общее знание, здравый смысл, решение математических задач для начальной школы и ответы на медицинские вопросы, демонстрируя превосходную производительность по сравнению с этими моделями. Phi-3 Mini также прошла офлайн-тестирование на iPhone 14 для различных задач, включая создание контента и предоставление предложений по активностям, адаптированным к конкретным местам. Для этого Phi-3 Mini была сжата до 1,8 ГБ с помощью процесса, называемого квантованием, который оптимизирует модель для устройств с ограниченными ресурсами, преобразуя числовые данные модели из 32-битных чисел с плавающей запятой в более компактные форматы, такие как 4-битные целые числа. Это не только уменьшает размер модели, но и улучшает скорость обработки и энергоэффективность, что важно для мобильных устройств. Разработчики обычно используют фреймворки, такие как TensorFlow Lite или PyTorch Mobile, включающие встроенные инструменты квантования для автоматизации и совершенствования этого процесса.

Сравнение Функций: Phi-3 Mini vs. Phi-2 Mini

Ниже мы сравниваем некоторые функции Phi-3 с ее предшественником Phi-2.

• Архитектура Модели: Phi-2 работает на основе архитектуры трансформера, предназначенной для предсказания следующего слова. Phi-3 Mini также использует архитектуру декодера трансформера, но более тесно соответствует структуре модели Llama-2, используя тот же токенизатор с размером словаря 320 641. Эта совместимость гарантирует, что инструменты, разработанные для Llama-2, могут быть легко адаптированы для использования с Phi-3 Mini.
• Длина Контекста: Phi-3 Mini поддерживает длину контекста 8 000 токенов, что значительно больше, чем 2 048 токенов Phi-2. Это увеличение позволяет Phi-3 Mini управлять более подробными взаимодействиями и обрабатывать более длинные отрывки текста.
• Местное Выполнение на Мобильных Устройствах: Phi-3 Mini может быть сжата до 4-бит, занимая примерно 1,8 ГБ памяти, подобно Phi-2. Она была протестирована на выполнение офлайн на iPhone 14 с чипом A16 Bionic, где она достигла скорости обработки более 12 токенов в секунду, соответствуя производительности Phi-2 в аналогичных условиях.
• Размер Модели: С 3,8 миллиардами параметров Phi-3 Mini имеет более крупный масштаб, чем Phi-2, которая имеет 2,7 миллиарда параметров. Это отражает ее повышенные возможности.
• Данные для Обучения: В отличие от Phi-2, которая была обучена на 1,4 триллиона токенов, Phi-3 Mini была обучена на гораздо более крупном наборе из 3,3 триллиона токенов, что позволяет ей лучше понять сложные закономерности языка.

Решение Ограничений Phi-3 Mini

Хотя Phi-3 Mini демонстрирует значительные достижения в области компактных языковых моделей, она не лишена ограничений. Основным ограничением Phi-3 Mini, учитывая ее меньший размер по сравнению с крупными языковыми моделями, является ее ограниченная способность хранить обширные фактические знания. Это может повлиять на ее способность самостоятельно обрабатывать запросы, которые требуют глубины конкретных фактических данных или детальных знаний экспертов. Это однако можно смягчить, интегрировав Phi-3 Mini с поисковой системой. Таким образом, модель может получить доступ к более широкому спектру информации в реальном времени, эффективно компенсируя ее внутренние ограничения знаний. Это интеграция позволяет Phi-3 Mini функционировать как высококвалифицированному разговорнику, который, несмотря на всестороннее понимание языка и контекста, может время от времени нуждаться в “поиске” информации, чтобы предоставить точные и актуальные ответы.

Доступность

Phi-3 теперь доступна на нескольких платформах, включая Microsoft Azure AI Studio, Hugging Face и Ollama. На Azure AI модель включает в себя рабочий процесс развертывания-оценки-дообучения, а на Ollama она может быть запущена локально на ноутбуках. Модель была адаптирована для ONNX Runtime и поддерживает Windows DirectML, гарантируя, что она работает хорошо на различных типах оборудования, таких как GPU, CPU и мобильные устройства. Кроме того, Phi-3 предлагается как микросервис через NVIDIA NIM, оснащенный стандартным API для простой развертки в различных средах и оптимизированный специально для GPU NVIDIA. Microsoft планирует дальнейшее расширение серии Phi-3 в ближайшем будущем, добавив Phi-3-small (7B) и Phi-3-medium (14B) модели, предоставляя пользователям дополнительные варианты для балансировки качества и стоимости.

Итог

Phi-3 Mini от Microsoft делает значительные шаги в области искусственного интеллекта, адаптируя мощность крупных языковых моделей для мобильного использования. Эта модель улучшает взаимодействие пользователя с устройствами за счет более быстрой и реальной обработки, а также улучшает функции конфиденциальности. Она минимизирует необходимость в облачных сервисах, снижая операционные затраты и расширяя потенциал для приложений ИИ в таких областях, как здравоохранение и домашняя автоматизация. С фокусом на снижении предубеждений посредством curriculum learning и поддержании конкурентной производительности Phi-3 Mini эволюционирует в ключевой инструмент для эффективного и устойчивого мобильного ИИ, тонко преобразуя, как мы взаимодействуем с технологией ежедневно.