DeepMind представляет алгоритм JEST: Ускорение обучения моделей ИИ, снижение затрат и повышение экологичности

Генеративный ИИ делает невероятные шаги, преобразуя области, такие как медицина, образование, финансы, искусство, спорт и т. д. Этот прогресс в основном обусловлен улучшением способности ИИ обучаться на более крупных наборах данных и создавать более сложные модели с миллиардами параметров. Хотя эти достижения привели к значительным научным открытиям, создали новые бизнес-возможности и стимулировали промышленный рост, они имеют высокую цену, особенно если учитывать финансовые и экологические последствия обучения этих крупномасштабных моделей. Алгоритмы обучения требуют значительной вычислительной мощности для обучения моделей генеративного ИИ с большими наборами данных, что приводит к высокому энергопотреблению и заметному углеродному следу.

В то время как предыдущие усилия по maken генеративного ИИ устойчивым были сосредоточены на улучшении эффективности оборудования для обучения ИИ и разработке более мелких моделей с меньшим количеством параметров, Google DeepMind предприняла инновационный подход, направленный на улучшение эффективности алгоритма обучения генеративного ИИ. Они разработали новый алгоритм, JEST (Joint Example Selection), который работает в 13 раз быстрее и в 10 раз более энергоэффективен, чем текущие методы.

В этой статье мы исследуем проблемы обучения ИИ и то, как JEST решает эти проблемы. Кроме того, мы рассматриваем более широкие последствия и будущие направления исследований алгоритма JEST, представляя его потенциальное влияние за пределами повышения скорости, снижения затрат и повышения экологичности в обучении ИИ.

Проблемы обучения ИИ: Высокие затраты и экологическое воздействие

Обучение моделей генеративного ИИ представляет значительные проблемы из-за высоких затрат и существенного экологического воздействия.

• Финансовые затраты: Обучение моделей генеративного ИИ – это дорогостоящее мероприятие. Недавние оценки показывают, что обучение одной крупной модели, такой как OpenAI’s GPT-3 с 175 миллиардами параметров, может стоить около 4,6 миллиона долларов. Обучение ChatGPT-4, как оценено, стоило OpenAI примерно 100 миллионов долларов. Эти расходы в основном обусловлены огромными вычислительными ресурсами, обширной обработкой данных и длительными временами обучения.
• Потребление энергии: Процессы обучения генеративного ИИ чрезвычайно энергоемки. Обучение этих моделей включает тысячи GPU и потребляет несколько гигаватт-часов энергии, что делает процесс чрезвычайно энергоемким. Данные центры, которые содержат вычислительную инфраструктуру для обучения ИИ, потребляют около 200 тераватт-часов (ТВт·ч) электроэнергии в год, что составляет примерно 1% мирового спроса на электроэнергию. Отчет McKinsey прогнозирует, что потребление электроэнергии в данных центрах в США может вырасти с 17 гигаватт (ГВт) в 2017 году до 35 ГВт к 2030 году, что потребует дополнительной мощности, эквивалентной девяти плотинам Гувера, чтобы удовлетворить этот дополнительный спрос.
• Углеродный след: Высокое потребление энергии при обучении моделей генеративного ИИ существенно способствует выбросам парниковых газов, усугубляя изменение климата. Исследование Университета Массачусетса в Амхерсте показало, что обучение одной крупной модели ИИ может выбросить столько же углекислого газа, сколько пять автомобилей за весь срок их службы. Конкретно, обучение одной модели ИИ может выбросить более 626 000 фунтов CO2, что эквивалентно углеродному следу 315 трансамериканских рейсов.

Эти проблемы в основном обусловлены двумя основными источниками: зависимостью от высокоэнергопотребляющего вычислительного оборудования и неэффективностью текущих алгоритмов обучения. Хотя сообщество ИИ добилось успехов в разработке энергоэффективного оборудования, необходимо уделять больше внимания созданию более умных алгоритмов, которые могут оптимизировать использование данных и сократить время обучения. Недавно представленный алгоритм JEST от Google является пионерской работой в направлении создания более эффективных алгоритмов обучения. Выбирая умно данные, которые имеют значение, JEST существенно повышает эффективность обучения ИИ, открывая путь для более устойчивого и экономически эффективного обучения моделей генеративного ИИ.

Понимание алгоритма JEST

JEST – это алгоритм обучения, предназначенный для более эффективного обучения моделей генеративного ИИ. Чтобы понять, как работает JEST, представьте обучение ИИ как решение сложной головоломки, где каждая деталь (данные) помогает построить полную картину (модель ИИ). JEST действует как опытный решатель головоломок, делая процесс более эффективным. Как решатель головоломок выбирает наиболее важные и характерные детали, JEST идентифицирует и выбирает наиболее ценные партии данных из набора данных, гарантируя, что каждая партия играет решающую роль в разработке ИИ.

JEST использует более мелкую модель ИИ для оценки качества партий данных. Эти партии затем ранжируются по их эффективности в обучении модели. С помощью этих тщательно выбранных партий JEST стратегически собирает их для обучения модели. Как решатель головоломок располагает детали головоломки, чтобы максимизировать эффективность и связность, JEST существенно ускоряет процесс обучения, отдавая приоритет и выбирая наиболее информативные партии.

Ключевой частью подхода JEST является многомодальное контрастное обучение. Этот метод фокусируется на обучении соответствия между различными типами данных, такими как текст и изображения. JEST использует многомодальное контрастное обучение для оценки эффективности многомодальных образцов данных в обучении модели. Кроме эффективности отдельных образцов данных, JEST также оценивает коллективную обучаемость образцов данных, чтобы выбрать небольшую партию данных из более крупной “суперпартии”. Этот процесс помогает JEST выбрать и отдать приоритет партиям, которые предлагают вызовы и богатые возможности для обучения.

Взгляд в будущее: JEST за пределами более быстрого, дешевого и экологичного обучения ИИ

Когда мы исследуем будущие последствия JEST (Joint Example Selection), становится очевидным, что его вклад выходит за рамки простого ускорения обучения ИИ, снижения затрат и продвижения экологической устойчивости. Здесь мы углубляемся в то, как JEST может продолжать улучшаться и преобразовывать область генеративного ИИ:

• Улучшение производительности и точности модели: Инновационный подход JEST к выбору и приоритизации данных приводит к более быстрому обучению и улучшению производительности модели. Сосредоточившись на наиболее информативных партиях данных, JEST гарантирует, что модели ИИ обучаются на высококачественных входных данных, повышая их точность и надежность. Это преимущество имеет решающее значение в приложениях, где точность и надежность имеют первостепенное значение, таких как медицинская диагностика, финансовое прогнозирование и автономные системы.
• Идентификация и смягчение предвзятости в данных: ИИ склонен к предвзятым наборам данных, где определенные группы или точки зрения недопредставлены или неправильно представлены. Подход JEST к выбору данных включает оценку качества и информативности партий данных. Отдавая приоритет разнообразным и представительным образцам данных, JEST может помочь системам ИИ учиться на более сбалансированном наборе данных, тем самым снижая предвзятость в обучающих данных. Например, в приложениях ИИ в здравоохранении JEST может выбрать партии данных, охватывающие различные демографические факторы, гарантируя, что медицинские диагностические модели обучаются на разнообразных популяциях пациентов. Этот выбор снижает риск предвзятости, которая могла бы непропорционально повлиять на определенные группы на основе расы, пола или социально-экономического статуса.
• Содействие инновациям и исследованиям: Существенно снижая вычислительные ресурсы и время, необходимые для обучения моделей ИИ, JEST снижает барьеры для входа исследователей и инноваторов. Это доступность способствует более яркой экосистеме разработки ИИ, где небольшие команды и организации могут экспериментировать и развертывать передовые решения ИИ. Кроме того, выигрыши в эффективности, предлагаемые JEST, освобождают ресурсы, которые можно перенаправить на исследование новых рубежей в ИИ, таких как новые архитектуры, продвинутые алгоритмы и этические рамки ИИ.
• Продвижение инклюзивного развития ИИ: Разработка ИИ должна включать разнообразные точки зрения и входные данные, чтобы эффективно смягчить предвзятость и этические проблемы. Способность JEST выбирать данные на основе их информативной ценности и представительности поощряет инклюзивные практики в сборе наборов данных. Разработчики ИИ могут гарантировать, что JEST эффективно решает предвзятость и этические соображения, вовлекая междисциплинарные команды в определение критериев выбора данных, включая экспертов в области этики, социальных наук и предметных областей. Этот совместный подход способствует более инклюзивному и ответальному развитию технологий ИИ.

Основная мысль

Введение алгоритма JEST компанией DeepMind представляет собой значительный шаг вперед в обучении генеративного ИИ. Ускоряя процесс обучения и снижая потребление энергии, JEST предлагает существенную экономию средств и решает экологические проблемы, связанные с разработкой ИИ. За пределами этих преимуществ JEST имеет потенциал улучшить точность модели, смягчить предвзятость в данных, содействовать инновациям и продвигать инклюзивное развитие ИИ. Продолжающееся совершенствование и применение JEST готовы переопределить будущее ИИ, продвигая более эффективные, устойчивые и этически ответственные решения ИИ.