Стоимость обучения ИИ продолжает снижаться

Высокие затраты на обучение ИИ были значительным препятствием для внедрения ИИ, препятствуя многим компаниям в реализации технологии ИИ. Согласно отчету Forrester Consulting 2017 года, 48% компаний выделили высокие технологические затраты как одну из основных причин не внедрения решений на основе ИИ.

Однако recentные разработки показали, что затраты на обучение ИИ быстро снижаются, и эта тенденция, вероятно, продолжится в будущем. Согласно отчету ARK Invest Big Ideas 2023, затраты на обучение большой языковой модели, аналогичной GPT-3, снизились с 4,6 миллиона долларов в 2020 году до 450 000 долларов в 2022 году, что представляет собой снижение на 70% в год.

Давайте более подробно рассмотрим эту тенденцию снижения затрат на обучение ИИ и обсудим факторы, которые способствуют этому снижению.

Как изменились затраты на обучение ИИ во времени?

Согласно недавнему исследованию ARK Invest 2020 года, стоимость обучения моделей глубокого обучения улучшается в 50 раз быстрее, чем закон Мура. Фактически, расходы, связанные с запуском системы вывода ИИ, значительно снизились до практически незначительных уровней для многих случаев использования.

Более того, затраты на обучение снизились в 10 раз в год за последние несколько лет. Например, в 2017 году обучение классификатора изображений, такого как ResNet-50, на публичном облаке стоило около 1000 долларов, но к 2019 году стоимость снизилась до примерно 10 долларов.

Эти результаты соответствуют отчету OpenAI 2020 года, который показал, что количество вычислительной мощности, необходимой для обучения модели ИИ для выполнения одной и той же задачи, уменьшалось в два раза каждые 16 месяцев с 2012 года.

Кроме того, отчет ARK подчеркивает снижение затрат на обучение ИИ. Отчет прогнозирует, что к 2030 году стоимость обучения модели уровня GPT-3 снизится до 30 долларов по сравнению с 450 000 долларов в 2022 году.

Стоимость обучения модели GPT-3 – ARK Invest Big Ideas 2023

Факторы, которые способствуют снижению затрат на обучение ИИ

Обучение моделей ИИ становится дешевле и проще, поскольку технологии ИИ продолжают улучшаться, что делает их более доступными для более широкого круга бизнеса. Несколько факторов, включая затраты на аппаратное и программное обеспечение, а также облачные вычисления ИИ, способствовали снижению затрат на обучение ИИ.

Давайте рассмотрим эти факторы более подробно.

1. Аппаратное обеспечение

ИИ требует специализированного дорогого аппаратного обеспечения для обработки больших объемов данных и вычислений. Организации, такие как NVIDIA (NVDA ), IBM и Google (GOOGL ), предоставляют GPU и TPU для выполнения задач высокопроизводительных вычислений (HPC). Высокие затраты на аппаратное обеспечение делают его трудным для демократизации ИИ на большом масштабе.

Однако по мере развития технологий затраты на аппаратное обеспечение снижаются. Согласно отчету ARK Invest 2023 года, закон Райта предсказывает, что стоимость производства единиц вычислительной мощности ИИ (RCU) должна снизиться на 57% в год, что приведет к снижению затрат на обучение ИИ на 70% к 2030 году, как показано на графике ниже.

Стоимость аппаратного обеспечения для обучения ИИ – ARK Invest Big Ideas 2023

2. Программное обеспечение

Затраты на обучение программного обеспечения ИИ можно снизить на 47% в год за счет повышения эффективности и масштабируемости. Фреймворки программного обеспечения, такие как TensorFlow и PyTorch, позволяют разработчикам обучать сложные модели глубокого обучения на распределенных системах с высокими показателями производительности, что экономит время и ресурсы.

Кроме того, большие предварительно обученные модели, такие как Inceptionv3 или ResNet, и методы передачи обучения также помогают снизить затраты, позволяя разработчикам дообучать существующие модели, а не обучать их с нуля.

Стоимость программного обеспечения для обучения ИИ – ARK Invest Big Ideas 2023

3. Облачные вычисления ИИ

Облачные вычисления ИИ снижают затраты, предоставляя масштабируемые вычислительные ресурсы по требованию. С моделью “платите за то, что используете” бизнес может платить только за используемые вычислительные ресурсы. Кроме того, облачные провайдеры предлагают предварительно построенные сервисы ИИ, которые ускоряют обучение ИИ.

Например, Azure Machine Learning – это облачный сервис для прогностической аналитики, который позволяет быстро разрабатывать и внедрять модели. Он предлагает гибкие вычислительные ресурсы и память. Пользователи могут быстро масштабировать до тысяч GPU, чтобы повысить производительность вычислений. Он позволяет пользователям работать через веб-браузер в предварительно настроенных средах ИИ, исключая накладные расходы на настройку и установку.

Влияние снижения затрат на обучение ИИ

Снижение затрат на обучение ИИ имеет значительные последствия для различных отраслей и областей, что приводит к улучшению инноваций и конкурентоспособности.

Давайте обсудим некоторые из них ниже.

1. Массовое внедрение сложных чат-ботов ИИ

Чат-боты ИИ набирают популярность из-за снижения затрат на ИИ. Особенно после разработки OpenAI ChatGPT и GPT-4 (Генеративный предварительно обученный трансформер) наблюдается заметный рост числа компаний, стремящихся разработать чат-боты ИИ с аналогичными или лучшими возможностями.

Например, через пять дней после выпуска в ноябре 2022 года ChatGPT собрал 1 миллион пользователей. Хотя сегодня стоимость запуска модели в масштабе составляет примерно 0,01 доллара за запрос, закон Райта предсказывает, что к 2030 году чат-боты, подобные ChatGPT, будут развертываться на огромном масштабе намного дешевле (оценочно 650 долларов за миллиард запросов), с потенциалом обработки 8,5 миллиардов поисковых запросов в день, что эквивалентно поиску Google.

Стоимость выполнения выводов ИИ на миллиард запросов – ARK Invest Big Ideas 2023

2. Повышение использования генеративного ИИ

Снижение затрат на обучение ИИ привело к росту разработки и внедрения технологий генеративного ИИ. В 2022 году наблюдался значительный рост использования генеративного ИИ, обусловленный введением инновационных инструментов генеративного ИИ, таких как DALL-E 2, Meta Make-A-Video и Stable Diffusion. В 2023 году мы уже стали свидетелями прорывной модели в виде GPT-4.

Помимо генерации изображений и текста, генеративный ИИ помогает разработчикам писать код. Программы, такие как GitHub Copilot, могут помочь завершить задачу программирования за половину времени.

Время выполнения задач программирования – ARK Invest Big Ideas 2023

3. Лучшее использование данных для обучения

Снижение затрат на обучение ИИ, вероятно, позволит лучше использовать данные для обучения моделей машинного обучения. Например, отчет ARK Invest 2023 года прогнозирует, что к 2030 году стоимость обучения модели с 57 раз большим количеством параметров и 720 раз большим количеством токенов, чем у GPT-3 (175 миллиардов параметров), снизится с 17 миллиардов долларов до 600 000 долларов.

Доступность и качество данных будут основным ограничивающим фактором для разработки передовых моделей машинного обучения в этом мире с низкими затратами на вычисления. Однако обучение моделей будет способно обработать оценочно 162 триллиона слов или 216 триллионов токенов.

Будущее ИИ выглядит очень перспективным. Чтобы узнать больше о последних тенденциях и исследованиях в области ИИ, посетите Unite.ai.