Карманий потужний інструмент: представляємо Microsoft’s Phi-3, мовну модель, яка поміщається в ваш телефон

У швидкозмінному полі штучного інтелекту, де тренд часто нахилений до більших і більш складних моделей, Microsoft приймає інший підхід з своєю Phi-3 Mini. Ця мала мовна модель (SLM), тепер у третьому поколінні, вміщує потужні можливості більших моделей у рамках, які поміщаються в суворі обмеження ресурсів смартфонів. З 3,8 мільярдами параметрів, Phi-3 Mini дорівнює показникам великих мовних моделей (LLM) по різних завданням, включаючи мовну обробку, висновок, кодування та математику, і призначена для ефективної роботи на мобільних пристроях завдяки кванталізації.

Виклики великих мовних моделей

Розробка мовних моделей Microsoft’s Phi SLM є відповіддю на значні виклики, пов’язані з великими мовними моделями, які вимагають більше обчислювальної потужності, ніж зазвичай доступно на споживчих пристроях. Ця висока вимога ускладнює їх використання на стандартних комп’ютерах і мобільних пристроях, підвищує екологічні проблеми через їх споживання енергії під час навчання і роботи, і ризикує посилити упередження через їх великі і складні навчальні набори даних. Ці фактори також можуть погіршити реакцію моделей у реальних застосунках і зробити оновлення більш складними.

Phi-3 Mini: оптимізація штучного інтелекту на персональних пристроях для підвищення конфіденційності та ефективності

Phi-3 Mini стратегічно розроблена для надання економічно ефективної і ефективної альтернативи для інтеграції передових штучних інтелектів безпосередньо на персональні пристрої, такі як телефони і ноутбуки. Ця конструкція забезпечує швидшу, більш негайну реакцію, підвищуючи взаємодію користувача з технологією у повсякденних сценаріях.

Phi-3 Mini дозволяє виконувати складні функції штучного інтелекту безпосередньо на мобільних пристроях, що зменшує залежність від хмарних послуг і підвищує обробку даних у реальному часі. Ця можливість є важливою для застосунків, які вимагають негайної обробки даних, таких як мобільна охорона здоров’я, переклад у реальному часі та персоналізоване навчання, сприяючи вдосконаленню цих галузей. Економічна ефективність моделі не тільки зменшує операційні витрати, але також розширює потенціал для інтеграції штучного інтелекту у різних галузях, включаючи нові ринки, такі як носимі технології та домашня автоматизація. Phi-3 Mini дозволяє обробляти дані безпосередньо на локальних пристроях, що підвищує конфіденційність користувача. Це може бути важливим для управління конфіденційною інформацією у галузях, таких як особисте здоров’я і фінансові послуги. Крім того, низькі енергетичні вимоги моделі сприяють екологічно сталим операціям штучного інтелекту, узгоджуючись з глобальними зусиллями щодо сталості.

Філософія конструкції та еволюція Phi

Філософія конструкції Phi базується на концепції curriculum learning, яка черпає натхнення з освітнього підходу, де діти вчаться через поступово складніші приклади. Основна ідея полягає в тому, щоб почати навчання штучного інтелекту з легших прикладів і поступово збільшувати складність навчальних даних під час навчання. Microsoft реалізувала цю освітню стратегію, побудувавши набір даних з підручників, як описано в їхньому дослідженні “Textbooks Are All You Need.” Серія Phi була запущена у червні 2023 року, починаючи з Phi-1, компактної моделі з 1,3 мільярдами параметрів. Ця модель швидко продемонструвала свою ефективність, особливо у завданнях з кодуванням на мові Python, де вона перевершила більші, більш складні моделі. Будучи успішною, Microsoft пізніше розробила Phi-1.5, яка зберегла той же кількість параметрів, але розширила свої можливості в галузях, таких як загальний сенс і мовне розуміння. Серія сяяла з випуском Phi-2 у грудні 2023 року. З 2,7 мільярдами параметрів, Phi-2 продемонструвала вражаючі навички у висновку і мовному розумінні, позиціонуючи її як сильного конкурента проти значно більших моделей.

Phi-3 проти інших малих мовних моделей

Розширюючи свої попередники, Phi-3 Mini розширює вдосконалення Phi-2, перевершуючи інші малих мовних моделей, таких як Google’s Gemma, Mistral’s Mistral, Meta’s Llama3-Instruct, і GPT 3.5, у різних промислових застосунках. Ці застосунки включають мовне розуміння і висновок, загальні знання, загальний сенс, завдання з математики для початкової школи і медичні питання, демонструючи вищу продуктивність порівняно з цими моделями. Phi-3 Mini також пройшла офлайн-тестування на iPhone 14 для різних завдань, включаючи створення контенту і надання пропозицій діяльності, адаптованих до конкретних місць. Для цього Phi-3 Mini була стиснута до 1,8 ГБ за допомогою процесу, званого квантизацією, який оптимізує модель для пристроїв з обмеженими ресурсами, конвертуючи числові дані моделі з 32-бітових чисел з рухомою комою у більш компактні формати, такі як 4-бітові цілі числа. Це не тільки зменшує пам’ять моделі, але також підвищує швидкість обробки і енергоефективність, що є важливим для мобільних пристроїв. Розробники зазвичай використовують фреймворки, такі як TensorFlow Lite або PyTorch Mobile, які включають вбудовані інструменти квантизації для автоматизації і уточнення цього процесу.

Порівняння функцій: Phi-3 Mini проти Phi-2 Mini

Нижче ми порівнюємо деякі функції Phi-3 з її попередником Phi-2.

• Архітектура моделі: Phi-2 працює на основі архітектури трансформера, призначеної для передбачення наступного слова. Phi-3 Mini також використовує архітектуру декодера трансформера, але більш тісно узгоджується з структурою моделі Llama-2, використовуючи той же токенізацію з розміром словника 320 641. Ця сумісність забезпечує можливість легко адаптувати інструменти, розроблені для Llama-2, для використання з Phi-3 Mini.
• Довжина контексту: Phi-3 Mini підтримує довжину контексту 8 000 токенів, яка значно більша, ніж 2 048 токенів у Phi-2. Це збільшення дозволяє Phi-3 Mini обробляти більш детальні взаємодії і обробляти довші ділянки тексту.
• Виконання на мобільних пристроях: Phi-3 Mini може бути стиснута до 4-біт, займаючи близько 1,8 ГБ пам’яті, подібно до Phi-2. Вона була протестована на виконання офлайн на iPhone 14 з чіпом A16 Bionic, де вона досягла швидкості обробки понад 12 токенів за секунду, що відповідає продуктивності Phi-2 у подібних умовах.
• Розмір моделі: З 3,8 мільярдами параметрів, Phi-3 Mini має більший масштаб, ніж Phi-2, який має 2,7 мільярдів параметрів. Це відображає її підвищені можливості.
• Навчальні дані: На відміну від Phi-2, яка була навчена на 1,4 трильйона токенів, Phi-3 Mini була навчена на набагато більший набір з 3,3 трильйона токенів, що дозволяє їй досягти кращого розуміння складних мовних закономірностей.

Вирішення обмежень Phi-3 Mini

Хоча Phi-3 Mini демонструє значні вдосконалення у сфері малих мовних моделей, вона не позбавлена обмежень. Основним обмеженням Phi-3 Mini, враховуючи її менший розмір порівняно з великими мовними моделями, є її обмежена здатність зберігати обширні фактичні знання. Це може вплинути на її здатність самостійно обробляти запити, які вимагають глибини конкретних фактичних даних або детальних знань експерта. Це можна пом’якшити, інтегруючи Phi-3 Mini з пошуковою системою. Таким чином модель може отримувати доступ до широкого спектра інформації в реальному часі, ефективно компенсуючи її вбудовані обмеження знань. Це дозволяє Phi-3 Mini функціонувати як дуже здатний розмовник, який, незважаючи на глибоке розуміння мови і контексту, може періодично потребувати “перевірити інформацію”, щоб надати точні і актуальні відповіді.

Доступність

Phi-3 тепер доступна на кількох платформах, включаючи Microsoft Azure AI Studio, Hugging Face і Ollama. На Azure AI модель включає в себе робочий процес розгортання-оцінки-доопрацювання, а на Ollama вона може бути запущена локально на ноутбуках. Модель була адаптована для ONNX Runtime і підтримує Windows DirectML, забезпечуючи її роботу на різних типах апаратного забезпечення, таких як GPU, CPU і мобільні пристрої. Крім того, Phi-3 пропонується як мікросервіс через NVIDIA NIM, оснащений стандартним API для легкого розгортання в різних середовищах і оптимізований конкретно для GPU NVIDIA. Microsoft планує подальше розширення серії Phi-3 у найближчому майбутньому, додаючи моделі Phi-3-small (7B) і Phi-3-medium (14B), надаючи користувачам додаткові варіанти для балансування якості і вартості.

Висновок

Microsoft’s Phi-3 Mini робить значні кроки у сфері штучного інтелекту, адаптуючи потужність великих мовних моделей для мобільного використання. Ця модель покращує взаємодію користувача з пристроями через швидшу, реальну обробку і підвищені функції конфіденційності. Вона мінімізує потребу у хмарних послугах, зменшуючи операційні витрати і розширюючи потенціал для застосунків штучного інтелекту у галузях, таких як охорона здоров’я і домашня автоматизація. З фокусом на зменшенні упереджень через curriculum learning і підтриманні конкурентної продуктивності, Phi-3 Mini розвивається у ключовий інструмент для ефективного і сталого мобільного штучного інтелекту, тонко трансформуючи, як ми взаємодіємо з технологією щодня.