DeepMind представляє алгоритм JEST: швидша, дешева та більш екологічна підготовка моделей штучного інтелекту

Генеративний штучний інтелект робить неймовірні кроки вперед, перетворюючи галузі, такі як медицина, освіта, фінанси, мистецтво, спорт тощо. Цей прогрес у першу чергу пов’язаний з покращенням можливостей штучного інтелекту вивчати великі набори даних і створювати більш складні моделі з мільярдами параметрів. Хоча ці досягнення сприяли значним науковим відкриттям, створили нові бізнес-можливості та сприяли промисловому зростанню, вони мають високу ціну, особливо якщо враховувати фінансові та екологічні наслідки підготовки цих великомасштабних моделей. Алгоритми навчання потребують значної обчислювальної потужності для підготовки моделей генеративного штучного інтелекту з великими наборами даних, що призводить до високого енергоспоживання та помітного вуглецевого сліду.

Хоча попередні зусилля щодо забезпечення сталості генеративного штучного інтелекту були зосереджені на поліпшенні ефективності апаратного забезпечення для навчання штучного інтелекту та розробці менших моделей з меншою кількістю параметрів, Google DeepMind пішла інноваційним шляхом, спрямованим на поліпшення ефективності алгоритму підготовки генеративного штучного інтелекту. Вони створили новий алгоритм, JEST (Joint Example Selection), який працює в 13 разів швидше і в 10 разів більш енергоефективно, ніж сучасні методи.

У цій статті ми досліджуємо проблеми підготовки штучного інтелекту та те, як JEST вирішує ці питання. Крім того, ми розглядаємо ширші наслідки та майбутні напрямки досліджень алгоритму JEST, передбачаючи його потенційний вплив за межами підвищення швидкості, економії коштів та екологічної чистоти підготовки штучного інтелекту.

Проблеми підготовки штучного інтелекту: високі витрати та екологічний вплив

Підготовка моделей генеративного штучного інтелекту представляє значні проблеми через високі витрати та суттєвий екологічний вплив.

• Фінансові витрати: Підготовка моделей генеративного штучного інтелекту – це дорогий процес. Останні оцінки свідчать про те, що підготовка однієї великої моделі, chẳng hạn як GPT-3 від OpenAI з 175 мільярдами параметрів, може коштувати близько 4,6 мільйона доларів. Підготовка ChatGPT-4, як оцінюється, коштувала OpenAI близько 100 мільйонів доларів. Ці витрати в основному пов’язані з величезними обчислювальними ресурсами, широким обробленням даних та тривалим часом підготовки.
• Витрати енергії: Процеси підготовки генеративного штучного інтелекту дуже енергозатратні. Підготовка цих моделей涉ляє тисячі графічних процесорів і споживає кілька гігават-годин енергії, що робить процес дуже енергозатратним. Дані центри, які містять обчислювальну інфраструктуру для підготовки штучного інтелекту, споживають близько 200 терават-годин (ТВт·год) електроенергії на рік, що становить близько 1% від загального світового споживання електроенергії. Згідно з прогнозом McKinsey, споживання електроенергії даними центрами в США може зростати з 17 гігават (ГВт) у 2017 році до 35 ГВт до 2030 року, що потребує додаткової потужності, еквівалентної дев’яти гідроелектростанціям Гувера, щоб задовольнити цю додаткову потребу.
• Вуглецевий слід: Високі витрати енергії на підготовку моделей генеративного штучного інтелекту суттєво внесли свій внесок у викиди парникових газів, посилюючи зміну клімату. Дослідження Університету Массачусетсу в Амгерсті показало, що підготовка великої моделі штучного інтелекту може викинути таку ж кількість вуглекислого газу, як і п’ять автомобілів за весь їхній термін служби. Зокрема, підготовка однієї моделі штучного інтелекту може викинути понад 626 000 фунтів вуглекислого газу, що еквівалентно вуглецевому сліду 315 трансамериканських рейсів.

Ці проблеми в основному походять від двох основних джерел: залежності від високоефективного апаратного забезпечення, яке споживає багато енергії, та неефективності поточних алгоритмів навчання. Хоча спільнота штучного інтелекту зробила кроки у напрямку розробки енергоефективного апаратного забезпечення, потрібно більше уваги до створення розумніших алгоритмів, які можуть оптимізувати використання даних та скоротити час підготовки. Нещодавно представлений алгоритм JEST від Google – це піонерські дослідження щодо створення розумніших алгоритмів навчання. Використовуючи інтелектуальний вибір даних, які мають значення, JEST суттєво підвищує ефективність підготовки штучного інтелекту, відкриваючи шлях до більш сталої та економічної підготовки моделей генеративного штучного інтелекту.

Розуміння алгоритму JEST

JEST – це алгоритм навчання, призначений для підготовки моделей генеративного штучного інтелекту більш ефективно. Щоб зрозуміти, як працює JEST, уявіть підготовку штучного інтелекту як розв’язання складної головоломки, де кожна частина (дані) допомагає побудувати повну картину (модель штучного інтелекту). JEST діє як досвідчений розв’язувач головоломок, роблячи процес більш ефективним. Як і розв’язувач головоломок вибирає найважливіші та найхарактерніші частини, JEST ідентифікує та вибирає найцінніші партії даних з набору даних, забезпечуючи, щоб кожна партія грала важливу роль у розвитку штучного інтелекту.

JEST використовує меншу модель штучного інтелекту для оцінки якості партій даних. Ці партії потім ранжуються за їхньої ефективності у підготовці моделі. Використовуючи ці ретельно вибрані партії, JEST стратегічно збирає їх для підготовки моделі. Як і розв’язувач головоломок розміщує частини головоломки для максимізації ефективності та узгодженості, JEST суттєво прискорює процес підготовки, пріоритезуючи та вибираючи найінформативніші партії.

Ключовим елементом підходу JEST є контрастне навчання з декількома модальностями. Цей метод зосереджується на вивченні відповідності між різними типами даних, такими як текст та зображення. JEST використовує метод контрастного навчання з декількома модальностями для оцінки ефективності зразка даних з декількома модальностями при підготовці моделі. Окрім ефективності окремих зразків даних, JEST також оцінює колективну навчальність зразків даних для вибору малої партії даних з більшої “суперпартії”. Цей процес допомагає JEST вибирати та пріоритезувати партії, які пропонують виклики та багаті можливості навчання.

Погляд у майбутнє: JEST за межами швидшої, дешевшої та більш екологічної підготовки штучного інтелекту

Розглядаючи майбутні наслідки JEST (Joint Example Selection), очевидно, що його внесок виходить за рамки простого прискорення підготовки штучного інтелекту, скорочення витрат та сприяння екологічній чистоті. Тут ми розглядаємо, як JEST може продовжувати покращуватися та трансформувати область генеративного штучного інтелекту:

• Покращення продуктивності моделі та точності: Інноваційний підхід JEST до вибору даних та пріоритезації веде до швидшої підготовки та покращення продуктивності моделі. Зосереджуючись на найбільш інформативних партіях даних, JEST забезпечує, щоб моделі штучного інтелекту навчалися на високоякісних вхідних даних, покращуючи їх точність та стійкість. Ця перевага є важливою в застосуваннях, де точність та надійність мають першорядне значення, таких як медична діагностика, фінансове прогнозування та автономні системи.
• Визначення та пом’якшення упередженості в даних: Штучний інтелект схильний до упереджених наборів даних, де певні групи чи точки зору недоствірені або неправильно представлені. Підхід JEST до вибору даних включає оцінку якості та інформативності партій даних. Пріоритезуючи різноманітні та репрезентативні зразки даних, JEST може допомогти системам штучного інтелекту навчатися на більш збалансованому наборі даних, тим самим пом’якшуючи упередженість у навчальних даних. Наприклад, у застосунках штучного інтелекту в галузі охорони здоров’я JEST може вибирати партії даних, які охоплюють різні демографічні фактори, забезпечуючи, щоб медичні діагностичні моделі навчалися на різноманітному пацієнтському популяції. Це вибір зменшує ризик упередженості, який міг би непропорційно впливати на певні групи на основі раси, статі чи соціально-економічного статусу.
• Сприяння інноваціям та дослідженням: Значно скорочуючи обчислювальні ресурси та час, необхідні для підготовки моделей штучного інтелекту, JEST знижує бар’єри для входу для дослідників та інноваторів. Це сприяння створює більш живий екосистему розробки штучного інтелекту, де менші команди та організації можуть експериментувати з та розгортати передові рішення штучного інтелекту. Крім того, вигоди з ефективності, які пропонує JEST, звільняють ресурси, які можуть бути перенаправлені на дослідження нових напрямків у штучному інтелекті, таких як нові архітектури, передові алгоритми та етичні рамки штучного інтелекту.
• Сприяння інклюзивному розвитку штучного інтелекту: Розробка штучного інтелекту повинна включати різноманітні точки зору та дані, щоб ефективно пом’якшувати упередженість та етичні проблеми. Спроможність JEST вибирати дані на основі їхньої інформативної цінності та репрезентативності заохочує інклюзивні практики у кураторстві наборів даних. Розробники штучного інтелекту можуть забезпечити, щоб JEST ефективно вирішував упередженість та етичні питання, залучаючи мультидисциплінарні команди до визначення критеріїв вибору даних, включаючи експертів з етики, соціальних наук та галузевих галузей. Цей колаборативний підхід сприяє більш інклюзивному та відповідальному розвитку технологій штучного інтелекту.

Основне

Введення алгоритму JEST компанією DeepMind представляє суттєвий крок вперед у підготовці генеративного штучного інтелекту. Значно прискорюючи процес підготовки та скорочуючи споживання енергії, JEST пропонує суттєві економії коштів та вирішує екологічні проблеми, пов’язані з розробкою штучного інтелекту. За межами цих переваг JEST має потенціал покращити точність моделі, пом’якшити упередженість у даних, сприяти інноваціям та інклюзивному розвитку штучного інтелекту. Тривале вдосконалення та застосування JEST готують майбутнє штучного інтелекту, рухаючись у напрямку більш ефективних, сталих та етично відповідальних рішень штучного інтелекту.