Дистильовані Гіганти: Чому Нас Треба Переглянути Розробку Маленького Штучного Інтелекту

За останні роки гонка за розробку все більших моделей штучного інтелекту захопила галузь технологій. Ці моделі, з їхніми мільярдами параметрів, обіцяють революційні досягнення в різних галузях, від обробки природної мови до розпізнавання зображень. Однак ця безперервна погоня за розміром супроводжується значними недоліками у вигляді високих витрат і суттєвого екологічного впливу. Хоча малий штучний інтелект пропонує перспективну альтернативу, забезпечуючи ефективність і нижчу енергоспоживу, поточний підхід до його створення все ще вимагає суттєвих ресурсів. Коли ми переслідуємо малий і більш сталий штучний інтелект, дослідження нових стратегій, які ефективно усувають ці обмеження, є вкрай важливим.

Малий Штучний Інтелект: Сталий Рішення Високих Витрат і Енергетичних Потреб

Розробка і підтримка великих моделей штучного інтелекту – це дорога справа. Оцінки свідчать про те, що навчання GPT-3 коштує понад 4 мільйони доларів, а більш просунуті моделі потенційно можуть досягати високих однозначних мільйонів. Ці витрати, включаючи необхідне обладнання, зберігання, обчислювальні ресурси та людські ресурси, є обмежувальними для багатьох організацій, особливо малих підприємств і дослідницьких інститутів. Ця фінансова бар’єр створює нерівний ігровий майданчик, обмежуючи доступ до передових технологій штучного інтелекту і гальмуючи інновації.

Крім того, енергетичні потреби, пов’язані з навчанням великих моделей штучного інтелекту, є приголомшливими. Наприклад, навчання великої мови моделі, подібної до GPT-3, оцінюється як споживання майже 1 300 мегават-годин електроенергії – що еквівалентно річному споживанню електроенергії 130 американських домогосподарств. Незважаючи на цю суттєву витрату на навчання, кожен запит ChatGPT супроводжується вартістю висновку у 2,9 ват-години. Міжнародне енергетичне агентство оцінює, що колективна енергетична потреба штучного інтелекту, центрів даних і криптовалюти склала майже 2 відсотки світової енергетичної потреби. Ця потреба очікується подвоїться до 2026 року, наблизившись до загального споживання електроенергії в Японії. Висока енергоспоживу не тільки збільшує операційні витрати, але також сприяє вуглецевому сліду, погіршуючи екологічну кризу. Щоб поставити це в перспективу, дослідники оцінюють, що навчання однієї великої моделі штучного інтелекту може викинути понад 626 000 фунтів вуглекислого газу, що еквівалентно викидам п’яти автомобілів за весь їхній термін служби.

Серед цих викликів малий штучний інтелект пропонує практичне рішення. Він розроблений для того, щоб бути більш ефективним і масштабованим, потребуючи значно менше даних і обчислювальних ресурсів. Це знижує загальні витрати і робить передові технології штучного інтелекту більш доступними для малих організацій і дослідницьких команд. Крім того, моделі малиого штучного інтелекту мають нижчі енергетичні потреби, що допомагає скоротити операційні витрати і знижує їх екологічний вплив. Використовуючи оптимізовані алгоритми і методи, такі як переносне навчання, малий штучний інтелект може досягати високих результатів з меншими ресурсами. Цей підхід не тільки робить штучний інтелект більш доступним, але також підтримує сталий розвиток, мінімізуючи як енергоспоживу, так і викиди вуглекислого газу.

Як Будуються Моделі Малого Штучного Інтелекту Сьогодні

Визнаючи переваги малиого штучного інтелекту, великі технологічні компанії, такі як Google (GOOGL ), OpenAI і Meta, все частіше зосереджуються на розробці компактних моделей. Це призвело до появи моделей, таких як Gemini Flash, GPT-4o Mini і Llama 7B. Ці менші моделі в основному розробляються за допомогою техніки, відомої як дистиляція знань.

У своїй основі дистиляція полягає у передачі знань великої, складної моделі в меншу, більш ефективну версію. У цьому процесі “вчительська” модель – велика модель штучного інтелекту – навчається на великих наборах даних, щоб вивчити складні закономірності і нюанси. Ця модель потім генерує передбачення або “м’які мітки”, які вміщують її глибоке розуміння.

“Учень” модель, яка є моделлю малиого штучного інтелекту, навчається відтворювати ці м’які мітки. Імітуючи поведінку вчителя, учень модель захоплює значну частину його знань і результатів, працюючи з суттєво меншими параметрами.

Чому Нас Треба Піти За межі Дистиляції Великого Штучного Інтелекту

Хоча дистиляція великого штучного інтелекту у менші, більш керувані версії стала популярним підходом до будівництва малиого штучного інтелекту, існують кілька переконливих причин, чому цей підхід може не бути рішенням усіх проблем великого штучного інтелекту.

• Постійна залежність від великих моделей: Хоча дистиляція створює менші, більш ефективні моделі штучного інтелекту і покращує обчислювальну і енергетичну ефективність під час висновку, вона все ще сильно залежить від навчання великих моделей штучного інтелекту спочатку. Це означає, що будівництво малих моделей штучного інтелекту все ще вимагає суттєвих обчислювальних ресурсів і енергії, що призводить до високих витрат і екологічного впливу навіть до дистиляції. Потреба повторно навчати великі моделі для дистиляції переносить тягар ресурсів, а не усуває його. Хоча дистиляція спрямована на зменшення розміру і витрат моделей штучного інтелекту, вона не усуває суттєві початкові витрати, пов’язані з навчанням великих “вчительських” моделей. Ці попередні витрати можуть бути особливо складними для малих організацій і дослідницьких груп. Крім того, екологічний вплив навчання цих великих моделей може знівелювати деякі переваги використання менших, більш ефективних моделей, оскільки вуглецевий слід від початкової фази навчання залишається суттєвим.
• Обмежений інноваційний потенціал: Залежність від дистиляції може обмежити інновації, зосереджуючись на реплікації існуючих великих моделей, а не на дослідження нових підходів. Це може сповільнити розвиток нових архітектур штучного інтелекту або методів, які могли б забезпечити кращі рішення конкретних проблем. Залежність від великого штучного інтелекту обмежує розвиток малиого штучного інтелекту в руках кількох ресурсо-багатих компаній. В результаті переваги малиого штучного інтелекту не розподіляються рівномірно, що може гальмувати широкий технологічний прогрес і обмежувати можливості для інновацій.
• Виклики узагальнення і адаптації: Моделі малиого штучного інтелекту, створені за допомогою дистиляції, часто мають труднощі з новими, невидимими даними. Це відбувається через те, що процес дистиляції може не повністю захопити здатність великої моделі до узагальнення. В результаті ці менші моделі можуть добре виконувати завдання на знайомих завданнях, але часто зустрічають труднощі, коли стикаються з новими ситуаціями. Крім того, адаптація дистильованих моделей до нових модальностей або наборів даних часто вимагає повторного навчання або тонкого налаштування великої моделі спочатку. Цей ітеративний процес може бути складним і ресурсо-інтенсивним, що робить його складним швидко адаптувати моделі малиого штучного інтелекту до швидко змінюваних технологічних потреб або нових застосувань.

Основний Висновок

Хоча дистиляція великих моделей штучного інтелекту у менші може здатися практичним рішенням, вона продовжує залежати від високих витрат навчання великих моделей. Щоб真正но просунутися у малим штучному інтелекті, нам потрібно дослідити більш інноваційні і сталийні практики. Це означає створення моделей, розроблених для конкретних застосувань, покращення методів навчання для того, щоб вони були більш витрато- і енергоефективними, і зосередження уваги на екологічній сталості. Переслідуючи ці стратегії, ми можемо просунутися у розвитку штучного інтелекту таким чином, який є як відповідальним, так і вигідним для галузі і планети.