Витрати на навчання ІІ продовжують знижуватися

Високі витрати на навчання ІІ були значним бар’єром для впровадження ІІ, що заважало багатьом компаніям впроваджувати технологію ІІ. За даними доповіді Forrester Consulting 2017 року, 48% компаній виділили високі технологічні витрати як одну з основних причин невпровадження рішень на основі ІІ.

Однак останні події показали, що витрати на навчання ІІ швидко знижуються, і ця тенденція, як очікується, продовжиться в майбутньому. За даними звіту ARK Invest Big Ideas 2023, витрати на навчання великої мовної моделі, подібної до рівня GPT-3, зменшилися з 4,6 мільйона доларів у 2020 році до 450 000 доларів у 2022 році, що становить зниження на 70% на рік.

Давайте розглянемо цю тенденцію зниження витрат на навчання ІІ далі та обговоримо чинники, які сприяють цьому зниженню.

Як змінилися витрати на навчання ІІ з часом?

За даними дослідження ARK Invest 2020 року, вартість навчання моделей глибокого навчання покращується в 50 разів швидше, ніж закон Мура. Насправді витрати, пов’язані з використанням системи висновків ІІ, суттєво зменшилися до майже незначних рівнів для багатьох випадків використання.

Крім того, витрати на навчання зменшилися в 10 разів на рік за останні кілька років. Наприклад, у 2017 році навчання класифікатора зображень типу ResNet-50 на публічному хмарному сервісі коштувало близько 1000 доларів, але до 2019 року ціна суттєво зменшилася до приблизно 10 доларів.

Ці висновки узгоджуються з доповіддю OpenAI 2020 року, яка показала, що кількість обчислювальної потужності, необхідної для навчання моделі ІІ для виконання однієї й тієї ж задачі, зменшується вдвічі кожні 16 місяців з 2012 року.

Крім того, звіт ARK підкреслює зниження витрат на навчання ІІ. У звіті прогнозується, що до 2030 року витрати на навчання моделі рівня GPT-3 зменшаться до 30 доларів порівняно з 450 000 доларів у 2022 році.

Витрати на навчання моделі рівня GPT-3 – ARK Invest Big Ideas 2023

Чинники, які сприяють зниженню витрат на навчання ІІ

Навчання моделей ІІ стає дешевшим і легшим, оскільки технології ІІ продовжують покращуватися, роблячи їх більш доступними для ширшого кола підприємств. Деякі чинники, включаючи витрати на апаратне та програмне забезпечення, а також хмарну ІІ, сприяли зниженню витрат на навчання ІІ.

Давайте розглянемо ці чинники нижче.

1. Апаратне забезпечення

ІІ вимагає спеціалізованого дорогого апаратного забезпечення для обробки великих обсягів даних і обчислень. Організації, такі як NVIDIA, IBM і Google, забезпечують GPU і TPU для виконання високопродуктивних обчислювальних завдань. Високі витрати на апаратне забезпечення роблять його важким для демократизації ІІ у великому масштабі.

Однак з прогресом технологій витрати на апаратне забезпечення зменшуються. За даними звіту ARK Invest 2023 року, закон Райта передбачає, що витрати на виробництво одиниць обчислювальної потужності, пов’язані з навчанням ІІ (тобто апаратне забезпечення для навчання ІІ), повинні зменшитися на 57% на рік, що призведе до зниження витрат на навчання ІІ на 70% до 2030 року, як показано на графіку нижче.

Витрати на апаратне забезпечення для навчання ІІ – ARK Invest Big Ideas 2023

2. Програмне забезпечення

Витрати на навчання програмного забезпечення ІІ можна зменшити на 47% на рік за рахунок підвищення ефективності та масштабованості. Програмні фреймворки, такі як TensorFlow і PyTorch, дозволяють розробникам навчати складні глибокі моделі навчання на розподілених системах з високою продуктивністю, що економить час і ресурси.

Крім того, великі попередньо натреновані моделі, такі як Inceptionv3 або ResNet, і техніки переносу навчання також допомагають зменшити витрати, дозволяючи розробникам донастроювати існуючі моделі замість навчання їх з нуля.

Витрати на навчання програмного забезпечення ІІ – ARK Invest Big Ideas 2023

3. Хмарна штучна інтелект

Хмарне навчання ІІ зменшує витрати, забезпечуючи масштабовані обчислювальні ресурси на вимогу. За допомогою моделі “платіть за те, що використовуєте”, підприємства платять лише за свої обчислювальні ресурси. Крім того, хмарні провайдери пропонують попередньо побудовані служби ІІ, які прискорюють навчання ІІ.

Наприклад, Azure Machine Learning – це хмарна служба для передбачувальної аналітики, яка дозволяє швидку розробку та впровадження моделей. Вона пропонує гнучкі обчислювальні ресурси та пам’ять. Користувачі можуть швидко масштабувати до тисяч GPU, щоб збільшити свою обчислювальну продуктивність. Вона дозволяє користувачам працювати через свій веб-браузер у попередньо налаштованих середовищах ІІ, усуваючи накладні витрати на налаштування та встановлення.

Вплив зниження витрат на навчання ІІ

Зниження витрат на навчання ІІ має значні наслідки для різних галузей та сфер, що призводить до покращення інновацій та конкуренції.

Давайте розглянемо деякі з них нижче.

1. Масове впровадження складних чат-ботів ІІ

Чат-боти ІІ знаходяться на підйомі через зниження витрат на ІІ. Особливо після розробки OpenAI ChatGPT і GPT-4 (генеративна попередньо натренована трансформер), відбулося помітне збільшення кількості компаній, які бажають розробити чат-боти ІІ з подібними або кращими можливостями.

Наприклад, за п’ять днів після випуску в листопаді 2022 року ChatGPT зібрав 1 мільйон користувачів. Хоча сьогодні витрати на виконання моделі в масштабі становлять приблизно 0,01 долара за запит, закон Райта передбачає, що до 2030 року чат-боти, подібні до ChatGPT, можна буде розгорнути у великому масштабі значно дешевше (оцінюється у 650 доларів на виконання одного мільярда запитів), з потенціалом обробляти 8,5 мільярдів пошукових запитів на день, що еквівалентно пошуковій системі Google.

Витрати на виконання висновків ІІ на мільярд запитів – ARK Invest Big Ideas 2023

2. Збільшення використання генеративної ІІ

Зниження витрат на навчання ІІ призвело до зростання розробки та впровадження технологій генеративної ІІ. У 2022 році відбулося значне збільшення використання генеративної ІІ, яке було спровоковано появою інноваційних інструментів генеративної ІІ, таких як DALL-E 2, Meta Make-A-Video і Stable Diffusion. У 2023 році ми вже стали свідками революційної моделі у вигляді GPT-4.

Крім генерації зображень і тексту, генеративна ІІ допомагає розробникам писати код. Програми, такі як GitHub Copilot, можуть допомогти завершити завдання з кодування за половину часу.

Час на виконання завдань з кодування – ARK Invest Big Ideas 2023

3. Краще використання даних для навчання

Зниження витрат на навчання ІІ має дозволити краще використання даних для навчання моделей машинного навчання. Наприклад, звіт ARK Invest 2023 року передбачає, що до 2030 року витрати на навчання моделі з 57 разами більшими параметрами та 720 разами більшими токенами, ніж GPT-3 (175 млрд параметрів), мають зменшитися з 17 мільярдів доларів до 600 000 доларів.

Доступність і якість даних будуть основним обмежувальним чинником для розробки просунутих моделей машинного навчання у світі з низькими витратами на обчислення. Однак навчання моделей дозволить їм обробляти оцінені 162 трильйони слів або 216 трильйонів токенів.

Майбутнє ІІ виглядає дуже перспективним. Щоб дізнатися більше про останні тенденції та дослідження в галузі штучної інтелект, відвідайте Unite.ai.