Карманий потужний інструмент: Представляємо Microsoft Phi-3, мовну модель, яка поміщається у ваш телефон

У швидкозмінному полі штучного інтелекту, хоча тенденція часто нахилена до більших і більш складних моделей, Microsoft (MSFT ) приймає інший підхід зі своєю Phi-3 Mini. Ця мала мовна модель (SLM), зараз у третьому поколінні, містить потужні можливості більших моделей у рамках, які поміщаються у суворі обмеження ресурсів смартфонів. З 3,8 мільярдами параметрів, Phi-3 Mini відповідає продуктивності більших мовних моделей (LLM) по різних завданнях, включаючи мовну обробку, розуміння, кодування та математику, і призначена для ефективної роботи на мобільних пристроях завдяки кванталізації.

Виклики великих мовних моделей

Розробка малих мовних моделей Microsoft здійснюється у відповідь на значні виклики, пов’язані з великими мовними моделями, які вимагають більше обчислювальної потужності, ніж зазвичай доступно на споживчих пристроях. Ця висока вимога ускладнює їх використання на стандартних комп’ютерах і мобільних пристроях, підвищує екологічні проблеми через їх споживання енергії під час навчання та експлуатації, і ризикує підтримувати упередженість через великі та складні навчальні набори даних. Ці фактори також можуть погіршити реакцію моделей у реальному часі та зробити оновлення більш складними.

Phi-3 Mini: Оптимізація штучного інтелекту на персональних пристроях для підвищення конфіденційності та ефективності

Phi-3 Mini стратегічно розроблена для пропозиції економічно ефективної та ефективної альтернативи для інтеграції передових штучних інтелектів безпосередньо на персональні пристрої, такі як телефони та ноутбуки. Ця конструкція забезпечує швидшу, більш негайну реакцію, покращуючи взаємодію користувача з технологією у повсякденних сценаріях.

Phi-3 Mini дозволяє здійснювати складні функції штучного інтелекту безпосередньо на мобільних пристроях, що зменшує залежність від хмарних сервісів і підвищує обробку даних у реальному часі. Ця можливість є важливою для застосунків, які вимагають негайної обробки даних, таких як мобільна охорона здоров’я, переклад у реальному часі та персоналізоване навчання, сприяючи вдосконаленню цих галузей. Економічна ефективність моделі не тільки зменшує операційні витрати, але також розширює потенціал для інтеграції штучного інтелекту у різні галузі, включаючи нові ринки, такі як носимі технології та домашня автоматизація. Phi-3 Mini дозволяє обробляти дані безпосередньо на локальних пристроях, що підвищує конфіденційність користувача. Це може бути важливим для управління конфіденційною інформацією у галузях, таких як особисте здоров’я та фінансові послуги. Крім того, низькі енергетичні вимоги моделі сприяють екологічно стійким операціям штучного інтелекту, що відповідає глобальним зусиллям зі стійкості.

Філософія конструкції та еволюція Phi

Філософія конструкції Phi заснована на концепції курсів навчання, яка черпає натхнення з освітнього підходу, коли діти вчаться через прогресивно складніші приклади. Основна ідея полягає у тому, щоб розпочати навчання штучного інтелекту з легших прикладів і поступово збільшувати складність навчальних даних під час процесу навчання. Microsoft реалізувала цю освітню стратегію, створивши набір даних з підручників, як описано у їхньому дослідженні “Підручники – все, що вам потрібно“. Серія Phi була запущена у червні 2023 року, починаючи з Phi-1, компактної моделі з 1,3 мільярдами параметрів. Ця модель швидко продемонструвала свою ефективність, особливо у завданнях з кодуванням на мові Python, де вона перевершила більші та більш складні моделі. Розробивши цей успіх, Microsoft пізніше створила Phi-1.5, яка зберегла той же кількість параметрів, але розширила свої можливості у галузях, таких як розуміння загального сенсу та мовне розуміння. Серія вирізнилася з випуском Phi-2 у грудні 2023 року. З 2,7 мільярдами параметрів, Phi-2 продемонструвала вражаючі навички у розумінні мови та позиціонувалася як сильний конкурент проти значно більших моделей.

Phi-3 проти інших малих мовних моделей

Розширюючи можливості своїх попередників, Phi-3 Mini розширює вдосконалення Phi-2, перевершуючи інші малих мовних моделей, таких як Gemma від Google (GOOGL ), Mistral від Mistral, Llama3-Instruct від Meta та GPT 3.5, у різних промислових застосунках. Ці застосунки включають розуміння мови та висновок, загальні знання, розуміння загального сенсу, математичні завдання для учнів початкової школи та медичне питання-відповідь, демонструючи вищу продуктивність порівняно з цими моделями. Phi-3 Mini також пройшла офлайн-тестування на iPhone 14 для різних завдань, включаючи створення контенту та надання пропозицій діяльності, адаптованих до конкретних місць. Для цього Phi-3 Mini була скорочена до 1,8 ГБ за допомогою процесу, званого квантизацією, який оптимізує модель для пристроїв з обмеженими ресурсами, конвертуючи числові дані моделі з 32-бітових чисел з рухомою комою у більш компактні формати, такі як 4-бітові цілі числа. Це не тільки зменшує пам’ять моделі, але також підвищує швидкість обробки та енергетичну ефективність, що є важливим для мобільних пристроїв. Розробники зазвичай використовують фреймворки, такі як TensorFlow Lite або PyTorch Mobile, що включають інструменти квантизації для автоматизації та вдосконалення цього процесу.

Порівняльний аналіз: Phi-3 Mini проти Phi-2 Mini

Нижче порівнюються деякі особливості Phi-3 з її попередником Phi-2.

• Архітектура моделі: Phi-2 працює на основі архітектури трансформера, призначеної для передбачення наступного слова. Phi-3 Mini також використовує архітектуру декодера трансформера, але ближче до структури моделі Llama-2, використовуючи той же токенізаційний інструмент з розміром словника 320 641. Ця сумісність забезпечує можливість легко адаптувати інструменти, розроблені для Llama-2, для використання з Phi-3 Mini.
• Довжина контексту: Phi-3 Mini підтримує довжину контексту 8 000 токенів, що значно більше, ніж 2 048 токенів у Phi-2. Це збільшення дозволяє Phi-3 Mini обробляти більш детальні взаємодії та обробляти довші ділянки тексту.
• Виконання на мобільних пристроях: Phi-3 Mini може бути стиснута до 4-біт, займаючи близько 1,8 ГБ пам’яті, подібно до Phi-2. Вона була протестована на виконання офлайн на iPhone 14 з чипом A16 Bionic, де вона досягла швидкості обробки понад 12 токенів за секунду, що відповідає продуктивності Phi-2 у подібних умовах.
• Розмір моделі: З 3,8 мільярдами параметрів, Phi-3 Mini має більший масштаб, ніж Phi-2, який має 2,7 мільярдів параметрів. Це відображає її підвищені можливості.
• Навчальні дані: На відміну від Phi-2, яка була навчена на 1,4 трильйона токенів, Phi-3 Mini була навчена на наборі даних у 3,3 трильйона токенів, що дозволяє їй досягти кращого розуміння складних мовних закономірностей.

Вирішення обмежень Phi-3 Mini

Хоча Phi-3 Mini демонструє значні вдосконалення у сфері малих мовних моделей, вона не позбавлена обмежень. Основним обмеженням Phi-3 Mini, у порівнянні з великими мовними моделями, є її обмежена здатність зберігати обширні фактичні знання. Це може вплинути на її здатність самостійно обробляти запити, які вимагають глибини конкретних фактичних даних або детального експертного знання. Це обмеження можна пом’якшити, інтегруючи Phi-3 Mini з пошуковою системою. Це дозволить моделі доступ до ширшого спектра інформації у реальному часі, ефективно компенсуючи її внутрішні обмеження знань. Ця інтеграція дозволить Phi-3 Mini функціонувати як високо здатний розмовний партнер, який, попри глибоке розуміння мови та контексту, може інколи потребувати “подивитися” інформацію, щоб надати точні та актуальні відповіді.

Доступність

Phi-3 зараз доступна на кількох платформах, включаючи Microsoft Azure AI Studio, Hugging Face та Ollama. На Azure AI, модель включає робочий процес розгортання-оцінки-доопрацювання, а на Ollama вона може бути запущена локально на ноутбуках. Модель була адаптована для ONNX Runtime та підтримує Windows DirectML, забезпечуючи її роботу на різних типах апаратного забезпечення, таких як GPU, CPU та мобільні пристрої. Крім того, Phi-3 пропонується як мікросервіс через NVIDIA NIM (NVDA ), оснащений стандартним API для легкого розгортання у різних середовищах та оптимізований конкретно для GPU NVIDIA. Microsoft планує进一步 розширювати серію Phi-3 у найближчому майбутньому, додаючи моделі Phi-3-small (7B) та Phi-3-medium (14B), надаючи користувачам додаткові варіанти для балансування якості та вартості.

Висновок

Мала мовна модель Microsoft Phi-3 Mini робить значні кроки у сфері штучного інтелекту, адаптуючи потужність великих мовних моделей для мобільного використання. Ця модель покращує взаємодію користувача з пристроями через швидшу, реальну обробку та підвищення функцій конфіденційності. Вона зменшує потребу у хмарних сервісах, знижуючи операційні витрати та розширюючи можливості для застосунку штучного інтелекту у галузях, таких як охорона здоров’я та домашня автоматизація. З фокусом на зменшенні упередженості через курси навчання та підтриманні конкурентної продуктивності, Phi-3 Mini розвивається у ключовий інструмент для ефективного та стійкого мобільного штучного інтелекту, тонко трансформуючи, як ми взаємодіємо з технологією щодня.