Кишенькова електростанція: презентація Phi-3 від Microsoft, мовної моделі, яка підходить для вашого телефону

У галузі штучного інтелекту, що швидко розвивається, хоча тенденція часто схилялася до більших і складніших моделей, Microsoft використовує інший підхід із Phi-3 Mini. Це мала мовна модель (SLM), тепер у своєму третьому поколінні, об’єднує надійні можливості більших моделей у структуру, яка відповідає суворим обмеженням ресурсів смартфонів. Завдяки 3.8 мільярдам параметрів Phi-3 Mini відповідає продуктивності великі мовні моделі (LLM) для різних завдань, включаючи обробку мови, міркування, кодування та математику, і розроблено для ефективної роботи на мобільних пристроях через квантування.

Проблеми великих мовних моделей

Розробка Phi SLM від Microsoft є відповіддю на значні проблеми, пов’язані з LLM, які вимагають більшої обчислювальної потужності, ніж зазвичай на споживчих пристроях. Цей високий попит ускладнює їх використання на стандартних комп’ютерах і мобільних пристроях, викликає занепокоєння щодо навколишнього середовища через споживання енергії під час навчання та роботи, а також ризик збереження упереджень через великі та складні навчальні набори даних. Ці фактори також можуть погіршити реакцію моделей у додатках у реальному часі та зробити оновлення складнішими.

Phi-3 Mini: оптимізація ШІ на персональних пристроях для підвищення конфіденційності та ефективності

Команда Фі-3 Міні стратегічно розроблений, щоб запропонувати рентабельну та ефективну альтернативу для інтеграції розширеного штучного інтелекту безпосередньо на персональних пристроях, таких як телефони та ноутбуки. Така конструкція забезпечує швидшу та миттєву реакцію, покращуючи взаємодію користувача з технологіями в повсякденних ситуаціях.

Phi-3 Mini дозволяє обробляти складні функції ШІ безпосередньо на мобільних пристроях, що зменшує залежність від хмарних служб і покращує обробку даних у реальному часі. Ця можливість є ключовою для додатків, які вимагають негайної обробки даних, таких як мобільна охорона здоров’я, мовний переклад у реальному часі та персоналізоване навчання, що сприяє прогресу в цих сферах. Економічна ефективність моделі не тільки знижує експлуатаційні витрати, але й розширює потенціал для інтеграції штучного інтелекту в різних галузях промисловості, включаючи ринки, що розвиваються, такі як носимі технології та домашня автоматизація. Phi-3 Mini дозволяє обробляти дані безпосередньо на локальних пристроях, що підвищує конфіденційність користувачів. Це може бути життєво важливим для керування конфіденційною інформацією в таких сферах, як особисте здоров’я та фінансові послуги. Крім того, низькі потреби моделі в енергії сприяють екологічно стійким роботам штучного інтелекту, що узгоджується з глобальними зусиллями щодо сталого розвитку.

Філософія дизайну та еволюція Phi

Філософія дизайну Phi базується на концепції навчання за програмою, яка черпає натхнення з освітнього підходу, коли діти вчаться на все більш складних прикладах. Основна ідея полягає в тому, щоб почати навчання ШІ з більш легких прикладів і поступово збільшувати складність навчальних даних у міру просування процесу навчання. Корпорація Майкрософт реалізувала цю освітню стратегію, створивши набір даних із підручників, як описано в їх дослідженні «Підручники – це все, що вам потрібно.” Серія Phi була запущена в червні 2023 року, починаючи з Phi-1, компактної моделі з 1.3 мільярда параметрів. Ця модель швидко продемонструвала свою ефективність, особливо в завданнях кодування Python, де вона перевершила більші, складніші моделі. Спираючись на цей успіх, Microsoft нещодавно розробила Фі-1.5, який зберіг ту саму кількість параметрів, але розширив свої можливості в таких сферах, як здоровий глузд і розуміння мови. Серіал затьмарився з виходом Фі-2 у грудні 2023 року. Маючи 2.7 мільярда параметрів, Phi-2 продемонстрував вражаючі навички міркування та розуміння мови, позиціонуючи його як сильного конкурента значно більшим моделям.

Phi-3 проти інших малих мовних моделей

Розширюючи свої попередники, Phi-3 Mini розширює досягнення Phi-2, перевершуючи інші SLM, такі як Джемма від Google, Містраль Містраль, Мета Llama3-Instruct та GPT3.5, у різноманітних промислових застосуваннях. Ці програми включають розуміння мови та висновки, загальні знання, міркування здорового глузду, текстові задачі з математики в початковій школі та відповіді на медичні запитання, демонструючи кращу продуктивність порівняно з цими моделями. Phi-3 Mini також пройшов офлайн-тестування на iPhone 14 для різних завдань, включаючи створення контенту та надання пропозицій щодо активності, адаптованих до конкретних місць. З цією метою Phi-3 Mini було стиснуто до 1.8 ГБ за допомогою процесу під назвою квантування, який оптимізує модель для пристроїв з обмеженими ресурсами, перетворюючи числові дані моделі з 32-розрядних чисел з плаваючою комою в більш компактні формати, такі як 4-розрядні цілі числа. Це не тільки зменшує обсяг пам’яті моделі, але й покращує швидкість обробки та енергоефективність, що є життєво важливим для мобільних пристроїв. Розробники зазвичай використовують фреймворки, такі як TensorFlow Lite or PyTorch Mobile, що містить вбудовані інструменти квантування для автоматизації та вдосконалення цього процесу.

Порівняння функцій: Phi-3 Mini проти Phi-2 Mini

Нижче ми порівнюємо деякі характеристики Phi-3 з його попередником Phi-2.

• Архітектура моделі: Phi-2 працює на основі трансформаторної архітектури, призначеної для передбачення наступного слова. Phi-3 Mini також використовує трансформаторну архітектуру декодера, але більше узгоджується зі структурою моделі Llama-2, використовуючи той самий токенізер із розміром словника 320,641 2. Ця сумісність гарантує, що інструменти, розроблені для Llama-3, можна легко адаптувати для використання з Phi-XNUMX Mini.
• Довжина контексту: Phi-3 Mini підтримує довжину контексту 8,000 токенів, що значно більше, ніж 2 токенів Phi-2,048. Це збільшення дозволяє Phi-3 Mini керувати більш детальною взаємодією та обробляти більші фрагменти тексту.
• Запуск локально на мобільних пристроях: Phi-3 Mini можна стиснути до 4 бітів, займаючи приблизно 1.8 ГБ пам’яті, подібно до Phi-2. Він був протестований в автономному режимі на iPhone 14 з чіпом A16 Bionic, де він досяг швидкості обробки понад 12 жетонів на секунду, що відповідає продуктивності Phi-2 за аналогічних умов.
• Розмір моделі: Маючи 3.8 мільярда параметрів, Phi-3 Mini має більший масштаб, ніж Phi-2, який має 2.7 мільярда параметрів. Це відображає його збільшені можливості.
• Дані навчання: На відміну від Phi-2, який був навчений на 1.4 трильйона токенів, Phi-3 Mini був навчений на набагато більшому наборі з 3.3 трильйона токенів, що дозволяє йому краще розуміти складні мовні шаблони.

Усунення обмежень Phi-3 Mini

Незважаючи на те, що Phi-3 Mini демонструє значний прогрес у сфері малих мовних моделей, він не позбавлений обмежень. Основним обмеженням Phi-3 Mini, враховуючи його менший розмір порівняно з масивними мовними моделями, є його обмежена здатність зберігати обширні фактичні знання. Це може вплинути на його здатність самостійно обробляти запити, які потребують глибоких конкретних фактичних даних або докладних експертних знань. Однак це можна пом’якшити, інтегрувавши Phi-3 Mini з пошуковою системою. Таким чином модель може отримати доступ до ширшого діапазону інформації в режимі реального часу, ефективно компенсуючи притаманні їй обмеження знань. Ця інтеграція дозволяє Phi-3 Mini функціонувати як дуже здібний співрозмовник, якому, незважаючи на повне розуміння мови та контексту, іноді може знадобитися «шукати» інформацію, щоб надати точні та актуальні відповіді.

доступність

Зараз Phi-3 доступний на кількох платформах, у тому числі Microsoft Azure AI Studio, Обіймати обличчя та Оллама. На Azure AI модель включає робочий процес розгортання-оцінки-точного налаштування, а на Ollama її можна запускати локально на ноутбуках. Модель пошита під Час виконання ONNX і підтримує Windows DirectML, забезпечуючи належну роботу на різних типах апаратного забезпечення, як-от графічні процесори, центральні процесори та мобільні пристрої. Крім того, Phi-3 пропонується як мікросервіс через NVIDIA NIM, оснащений стандартним API для легкого розгортання в різних середовищах і оптимізований спеціально для графічних процесорів NVIDIA. Майкрософт планує найближчим часом розширити серію Phi-3, додавши моделі Phi-3-small (7B) і Phi-3-medium (14B), надаючи користувачам додатковий вибір для балансу якості та вартості.

Bottom Line

Phi-3 Mini від Microsoft досягає значних успіхів у сфері штучного інтелекту, адаптуючи потужність великих мовних моделей для мобільного використання. Ця модель покращує взаємодію користувача з пристроями завдяки швидшій обробці в реальному часі та розширеним функціям конфіденційності. Це мінімізує потребу в хмарних службах, знижуючи операційні витрати та розширюючи сферу застосування ШІ в таких сферах, як охорона здоров’я та домашня автоматизація. Завдяки зосередженню уваги на зменшенні упередженості шляхом вивчення навчальної програми та підтримці конкурентоспроможності Phi-3 Mini перетворюється на ключовий інструмент для ефективного та стійкого мобільного штучного інтелекту, делікатно змінюючи те, як ми щоденно взаємодіємо з технологіями.