Погляд Anderson
Стримування зростання енергетичних потреб машинного навчання

Ключові моментиОбмеження потужності GPU на рівні 150 Вт скорочує споживання енергії на 13,7%, додаючи…
Показати більше
- Обмеження потужності GPU на рівні 150 Вт скорочує споживання енергії на 13,7%, додаючи лише 6,8% часу навчання.
- Інференс споживає значно більше енергії, ніж навчання, тому обмеження потужності дають найбільший ефект саме там.
- Планування ресурсомісткого навчання NLP на зимові ночі може зменшити вуглецевий слід дата-центру до 33%.
На тлі зростання занепокоєння щодо енергетичних потреб великих моделей машинного навчання нове дослідження MIT Lincoln Laboratory та Northeastern University вивчило економію, якої можна досягти, обмежуючи потужність GPU під час навчання та інференсу моделей. Воно також розглядає інші техніки й методи скорочення енергоспоживання ШІ.
Нова робота також закликає завершувати нові статті про ШІ «енергетичною заявою», подібно до недавньої тенденції додавати заяви про етичні наслідки до дослідницьких статей із машинного навчання.
Головний висновок полягає в тому, що обмеження потужності, доступної GPU, який навчає модель, дає суттєві переваги в економії енергії, особливо для моделювання мови з маскуванням (MLM) і таких моделей, як BERT та його похідні.

Три мережі мовного моделювання працюють на різних частках стандартної потужності 250 Вт, позначеної чорною лінією. Обмеження потужності не зменшує ефективність чи точність навчання у співвідношенні один до одного та дає помітну економію у великому масштабі. Джерело: https://arxiv.org/pdf/2205.09646.pdf
Для більших моделей, що привертають увагу останніми роками завдяки надвеликим наборам даних і мільярдам чи трильйонам параметрів, подібної економії можна досягти як компромісу між часом навчання й енергоспоживанням.

Масштабне навчання потужніших моделей NLP за обмежень потужності. Синім показано середній відносний час за межі 150 Вт, помаранчевим — середнє відносне енергоспоживання за тієї самої межі.
Для таких масштабніших конфігурацій дослідники виявили, що межа потужності 150 Вт зменшує енергоспоживання в середньому на 13,7% порівняно зі стандартним максимумом 250 Вт, а час навчання збільшується відносно небагато — на 6,8%.
Крім того, дослідники зазначають: попри заголовки, які останніми роками привертає вартість навчання моделей, енергетичні витрати на фактичне використання навчених моделей значно вищі*.
«Для моделювання мови за допомогою BERT економія енергії завдяки обмеженню потужності помітно більша під час інференсу, ніж під час навчання. Якщо це справедливо й для інших застосувань ШІ, наслідки для енергоспоживання масштабних або хмарних обчислювальних платформ, що забезпечують інференс для досліджень і промисловості, можуть бути суттєвими».
Далі, у, можливо, найсуперечливішій пропозиції, автори радять переносити масштабне навчання моделей машинного навчання на холодніші місяці року та нічний час, щоб заощадити на охолодженні.

Угорі — статистика PUE за кожен день 2020 року в дата-центрі авторів, із помітним і тривалим піком та високим плато влітку. Унизу — середня погодинна зміна PUE за тиждень у тому самому місці. Енергоспоживання зростає ближче до полудня, коли і внутрішнє охолодження GPU, і система охолодження дата-центру намагаються підтримувати робочу температуру.
Автори зазначають:
«Очевидно, важкі навантаження NLP зазвичай набагато менш енергоефективні влітку, ніж узимку. З огляду на значну сезонну мінливість, перенесення обчислювально дорогих експериментів на холодніші місяці може суттєво зменшити вуглецевий слід».
Робота також визнає нові можливості економії енергії завдяки відсіканню зайвих параметрів та оптимізації архітектури моделей і робочих процесів, хоча подальший розвиток цього напряму автори залишають іншим ініціативам.
Нарешті, автори пропонують заохочувати або, можливо, зобов’язувати нові наукові статті з машинного навчання завершуватися заявою про енергоспоживання виконаного дослідження та можливі енергетичні наслідки впровадження запропонованих у роботі ініціатив.

Стаття подає приклад, пояснюючи енергетичні наслідки власного дослідження.
Стаття має назву Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models. Її підготували шість дослідників із MIT Lincoln та Northeastern.
Зростання енергетичних потреб машинного навчання
Обчислювальні вимоги моделей машинного навчання зростали разом із корисністю результатів. Сучасна культура ML ототожнює витрати енергії з покращенням продуктивності, хоча відомі прихильники змін, як-от Ендрю Нг, припускають, що ретельне впорядкування даних може бути важливішим чинником.
В одному з ключових спільних досліджень MIT 2020 року було оцінено, що десятикратне покращення продуктивності моделі потребує збільшення обчислювальних вимог у 10 000 разів і відповідної кількості енергії.
Тому останніми роками побільшало досліджень ефективного навчання ML із меншим споживанням потужності. За твердженням авторів, нова робота першою докладно вивчає вплив обмеження потужності на навчання й інференс машинного навчання, приділяючи особливу увагу моделям NLP, зокрема серії GPT.
Оскільки якість інференсу має першочергове значення, автори відразу зазначають про свої результати:
«Цей метод не впливає на прогнози навчених моделей і, відповідно, на точність виконання ними завдань. Тобто якщо дві мережі з однаковою структурою, початковими значеннями та даними, розбитими на однакові пакети, навчати на однаковій кількості пакетів за різних обмежень потужності, їхні кінцеві параметри будуть ідентичними. Відрізнятися може лише енергія, потрібна для їх отримання».
Зменшення потужності для NLP
Для оцінки впливу обмеження потужності на навчання та інференс автори використали утиліту командного рядка nvidia-smi (System Management Interface) разом із бібліотекою MLM від HuggingFace.
Автори навчали моделі обробки природної мови BERT, DistilBERT і Big Bird на завданні MLM та відстежували їхнє енергоспоживання під час навчання й використання.
Моделі навчали на наборі даних WikiText-103 від DeepAI протягом 4 епох пакетами по вісім зразків на 16 GPU V100. Застосовували чотири обмеження потужності: 100 Вт, 150 Вт, 200 Вт і 250 Вт — стандартне, або базове, значення для NVIDIA V100. Параметри моделей навчали з нуля, використовуючи випадкові початкові значення для забезпечення порівнянності оцінок навчання.
Як видно на першій ілюстрації вище, результати демонструють значну економію енергії за нелінійного та прийнятного збільшення часу навчання. Автори зазначають:
«Наші експерименти показують, що застосування обмежень потужності може суттєво зменшити енергоспоживання ціною збільшення часу навчання».
Зменшення ресурсомісткості великих NLP-моделей
Далі автори застосували той самий метод до складнішого сценарію: навчання BERT із MLM у розподілених конфігураціях на кількох GPU — типовіший випадок для добре фінансованих і широко висвітлюваних моделей NLP компаній FAANG.
Головна відмінність експерименту полягала в тому, що на один запуск навчання модель могла використовувати від 2 до 400 GPU. Застосовували ті самі обмеження потужності й те саме завдання — WikiText-103. Графіки результатів наведено на другій ілюстрації вище.
У статті зазначено:
«У середньому за всіма варіантами конфігурації обмеження потужності до 150 Вт знизило енергоспоживання на 13,7% і збільшило час навчання на 6,8% порівняно зі стандартним максимумом. Налаштування 100 Вт дає значно довший час навчання — у середньому на 31,4%. Межа 200 Вт відповідає майже такому самому часу навчання, як 250 Вт, але економія енергії скромніша, ніж за межі 150 Вт».
Автори вважають, що ці результати підтримують обмеження потужності до 150 Вт для архітектур GPU та застосунків, які на них працюють. Вони також зазначають, що економія спостерігається на різних апаратних платформах, і повторили випробування для порівняння результатів на GPU NVIDIA (NVDA ) K80, T4 та A100.

Економія, отримана на трьох різних GPU NVIDIA.
Найбільше енергії споживає інференс, а не навчання
Стаття посилається на попередні дослідження, які показують: попри заголовки, найбільше енергії споживає інференс — використання готової моделі, наприклад NLP, — а не її навчання. Це означає, що з перетворенням популярних моделей на масові продукти та їх широким поширенням енергоспоживання може стати ще більшою проблемою, ніж на нинішньому ранньому етапі розвитку NLP.
Тому дослідники виміряли вплив інференсу на споживання потужності та виявили, що запровадження її обмежень помітно впливає на затримку інференсу:
«Порівняно з 250 Вт, налаштування 100 Вт вимагало вдвічі більше часу інференсу — збільшення на 114% — і споживало на 11,0% менше енергії. 150 Вт вимагало на 22,7% більше часу й заощаджувало 24,2% енергії, а 200 Вт — на 8,2% більше часу за зменшення енергоспоживання на 12,0%».
Навчання взимку
Стаття пропонує планувати навчання — але зі зрозумілих причин не інференс — на час найкращої енергоефективності дата-центру за показником Power Usage Effectiveness (PUE). Практично це зима та нічний час.
«Значної економії енергії можна досягти, якщо планувати навантаження на час очікуваного нижчого PUE. Наприклад, перенесення короткого завдання з дня на ніч може зменшити споживання приблизно на 10%, а перенесення тривалого й дорогого завдання, як-от навчання мовної моделі протягом кількох тижнів, із літа на зиму може дати зниження на 33%».
«Хоча важко передбачити економію, якої може досягти окремий дослідник, наведені дані підкреслюють важливість чинників довкілля, що впливають на загальну енергію, спожиту робочими навантаженнями».
Використовуйте хмару
Нарешті, стаття зауважує, що власні обчислювальні ресурси навряд чи мають ті самі заходи підвищення ефективності, що й великі дата-центри та провідні постачальники хмарних обчислень. Екологічні переваги можна отримати, перенісши навантаження туди, де багато інвестували в досягнення доброго PUE.
«Хоча мати доступні власні обчислювальні ресурси зручно, ця зручність має свою ціну. Загалом економії енергії та впливу легше досягти у великому масштабі. Дата-центри й постачальники хмарних обчислень значно інвестують в ефективність своїх об’єктів».
* Відповідні посилання, наведені в статті.












