Витрати на навчання штучного інтелекту продовжують стрімко знижуватися

Високі витрати на навчання штучного інтелекту були значним бар’єром для впровадження штучного інтелекту, що заважало багатьом компаніям впроваджувати технології штучного інтелекту. За даними доповіді Forrester Consulting 2017 року, 48% компаній виділили високі технологічні витрати як одну з основних причин, через які вони не впроваджували рішення, засновані на штучному інтелекті.

Однак останні розробки показали, що витрати на навчання штучного інтелекту швидко знижуються, і ця тенденція, як очікується, продовжиться в майбутньому. За даними доповіді ARK Invest Big Ideas 2023, витрати на навчання великої мови моделі, подібної до GPT-3, зменшилися з $4,6 млн у 2020 році до $450 тис. у 2022 році, що становить зниження на 70% на рік.

Давайте розглянемо цю тенденцію зниження витрат на навчання штучного інтелекту детальніше та обговоримо чинники, які сприяють цьому зниженню.

Як змінилися витрати на навчання штучного інтелекту з часом?

За даними недавнього дослідження ARK Invest 2020 року, вартість навчання моделей глибокого навчання покращується в 50 разів швидше, ніж закон Мура. Насправді витрати, пов’язані з роботою системи висновків штучного інтелекту, суттєво зменшилися до майже нульових рівнів для багатьох випадків використання.

Крім того, витрати на навчання зменшилися в 10 разів на рік за останні кілька років. Наприклад, у 2017 році навчання класифікатора зображень, такого як ResNet-50, на публічному хмарі коштувало близько $1 тис., але до 2019 року вартість суттєво зменшилася до приблизно $10.

Ці висновки узгоджуються з доповіддю OpenAI 2020 року, яка показала, що кількість обчислювальної потужності, необхідної для навчання моделі штучного інтелекту для виконання однієї й тієї ж задачі, зменшилася вдвічі кожні 16 місяців з 2012 року.

Крім того, доповідь ARK підкреслює зниження витрат на навчання штучного інтелекту. У доповіді прогнозується, що до 2030 року витрати на навчання моделі рівня GPT-3 зменшаться до $30 порівняно з $450 тис. у 2022 році.

Вартість навчання моделі рівня GPT-3 – ARK Invest Big Ideas 2023

Чинники, які сприяють зниженню витрат на навчання штучного інтелекту

Навчання моделей штучного інтелекту стає дешевшим і легшим, оскільки технології штучного інтелекту продовжують покращуватися, роблячи їх більш доступними для ширшого кола підприємств. Невелика кількість чинників, включаючи витрати на апаратне та програмне забезпечення, а також штучний інтелект на основі хмари, сприяли зниженню витрат на навчання штучного інтелекту.

Давайте розглянемо ці чинники нижче.

1. Апаратне забезпечення

Штучний інтелект вимагає спеціального дорогого апаратного забезпечення для обробки великих обсягів даних та обчислень. Організації, такі як NVIDIA (NVDA ), IBM та Google (GOOGL ), забезпечують GPU та TPU для виконання високопродуктивних обчислювальних завдань. Високі витрати на апаратне забезпечення роблять його складним для демократизації штучного інтелекту на великомасштабному рівні.

Однак, оскільки технології продовжують розвиватися, витрати на апаратне забезпечення знижуються. За даними доповіді ARK Invest 2023 року, закон Райта передбачає, що витрати на виробництво одиниць обчислювальної потужності штучного інтелекту (RCU), тобто апаратного забезпечення для навчання штучного інтелекту, повинні зменшитися на 57% на рік, що призведе до зниження витрат на навчання штучного інтелекту на 70% до 2030 року, як показано на графіку нижче.

Витрати на апаратне забезпечення для навчання штучного інтелекту – ARK Invest Big Ideas 2023

2. Програмне забезпечення

Витрати на навчання програмного забезпечення штучного інтелекту можна знизити на 47% на рік за рахунок підвищення ефективності та масштабованості. Фреймворки програмного забезпечення, такі як TensorFlow та PyTorch, дозволяють розробникам навчати складні моделі глибокого навчання на розподілених системах з високою продуктивністю, що економить час і ресурси.

Крім того, великі попередньо натреновані моделі, такі як Inceptionv3 або ResNet, а також техніки переносного навчання допомагають знизити витрати, дозволяючи розробникам донастроювати існуючі моделі замість навчання їх з нуля.

Витрати на навчання програмного забезпечення штучного інтелекту – ARK Invest Big Ideas 2023

3. Штучний інтелект на основі хмари

Навчання штучного інтелекту на основі хмари знижує витрати, забезпечуючи масштабовані обчислювальні ресурси на вимогу. За допомогою моделі “платіть за те, що використовуєте”, підприємства платять лише за обчислювальні ресурси, які вони використовують. Крім того, постачальники хмарних послуг пропонують попередньо побудовані служби штучного інтелекту, які прискорюють навчання штучного інтелекту.

Наприклад, Azure Machine Learning – це хмарна служба для прогнозної аналітики, яка дозволяє швидке розроблення та впровадження моделей. Вона пропонує гнучкі обчислювальні ресурси та пам’ять. Користувачі можуть швидко масштабувати до тисяч GPU, щоб підвищити обчислювальну продуктивність. Вона дозволяє користувачам працювати через веб-браузери в попередньо налаштованих середовищах штучного інтелекту, що усуває витрати на налаштування та установку.

Вплив зниження витрат на навчання штучного інтелекту

Зниження витрат на навчання штучного інтелекту має значні наслідки для різних галузей та сфер, що призводить до покращення інновацій та конкурентоспроможності.

Давайте обговоримо деякі з них нижче.

1. Масове впровадження складних чат-ботів штучного інтелекту

Чат-боти штучного інтелекту знаходяться на підйомі через зниження витрат на навчання штучного інтелекту. Особливо після розробки OpenAI ChatGPT та GPT-4 (Генеративно-передбачувальна трансформувальна модель), відбулося помітне зростання кількості компаній, які бажають розробити чат-боти штучного інтелекту з подібними або кращими можливостями.

Наприклад, за п’ять днів після випуску в листопаді 2022 року ChatGPT зібрав 1 млн користувачів. Хоча сьогодні вартість виконання моделі в масштабі становить приблизно $0,01 за запит, закон Райта передбачає, що до 2030 року застосування чат-ботів, подібних до ChatGPT, буде можливо розгорнути в масштабі значно дешевше (оцінна вартість $650 для виконання одного мільярда запитів), з потенціалом обробки 8,5 млрд пошукових запитів на день, що еквівалентно пошуковій системі Google.

Вартість виконання висновків штучного інтелекту на мільярд запитів – ARK Invest Big Ideas 2023

2. Збільшення використання генеративного штучного інтелекту

Зниження витрат на навчання штучного інтелекту призвело до зростання розробки та впровадження технологій генеративного штучного інтелекту. У 2022 році відбулося значне зростання використання генеративного штучного інтелекту, яке було спровоковане введенням інноваційних інструментів генеративного штучного інтелекту, таких як DALL-E 2, Meta Make-A-Video та Stable Diffusion. У 2023 році ми вже стали свідками революційної моделі у вигляді GPT-4.

Крім генерації зображень та тексту, генеративний штучний інтелект допомагає розробникам писати код. Програми, такі як GitHub Copilot, можуть допомогти завершити завдання кодування за половину часу.

Час виконання завдань кодування – ARK Invest Big Ideas 2023

3. Краще використання даних для навчання

Зниження витрат на навчання штучного інтелекту повинно дозволити краще використання даних для навчання моделей машинного навчання. Наприклад, доповідь ARK Invest 2023 року передбачає, що до 2030 року вартість навчання моделі з 57 разів більше параметрів і 720 разів більше токенів, ніж у моделі GPT-3 (175 млрд параметрів), зменшиться з $17 млрд до $600 тис.

Доступність та якість даних будуть основним обмежувальним чинником для розробки складних моделей машинного навчання у світі з низькими обчислювальними витратами. Однак навчання моделей буде розвивати здатність обробляти оцінені 162 трильйони слів або 216 трильйонів токенів.

Майбутнє штучного інтелекту виглядає дуже перспективним. Щоб дізнатися більше про останні тенденції та дослідження в галузі штучного інтелекту, відвідайте Unite.ai.