Розшир та обрізка стратегії штучного інтелекту似乎 зменшує енергоспоживання штучного інтелекту

Людський мозок працює за стратегією “розшир та обрізка”, спочатку починаючи з величезної кількості нейронних зв’язків, а потім обрізуючи незастосовувані зв’язки з часом. Нещодавно команда дослідників штучного інтелекту застосувала цей підхід до систем штучного інтелекту та виявила, що це може суттєво зменшити кількість енергії, необхідної для навчання штучного інтелекту.

Команда дослідників з Принстонського університету недавно створила новий метод навчання систем штучного інтелекту. Цей новий метод навчання здається здатним задовольняти або перевищувати галузеві стандарти точності, але він здатний зробити це, споживаючи значно менше обчислювальної потужності, а отже, менше енергії, ніж традиційні моделі машинного навчання. У ході двох різних робіт дослідники з Принстона продемонстрували, як розширити мережу, додавши до неї нейрони та зв’язки. Незастосовувані зв’язки потім обрізувалися з часом, залишаючи лише найбільш ефективні та ефективні частини моделі.

Нірадж Джха, професор електротехніки в Принстоні, пояснив Принстонській газеті, що модель, розроблена дослідниками, працює за “парадигмою розшир та обрізка”. Джха пояснив, що людський мозок є найбільш складним у віці трьох років, а після цього мозок починає обрізувати незастосовувані синаптичні зв’язки. Результатом є те, що повністю розвинений мозок здатний виконувати всі надзвичайно складні завдання, які ми робимо щодня, але він використовує лише половину всіх синапсів, яких мав у свій пік. Джха та інші дослідники змоделювали цю стратегію для покращення навчання штучного інтелекту.

Джха пояснив:

“Наш підхід називається парадигмою розшир та обрізка. Це подібно до того, що робить мозок від народження до дитинства. У третій рік людський мозок починає обрізувати зв’язки між мозковими клітинами. Цей процес триває до дорослого віку, так що повністю розвинений мозок працює приблизно на половині свого синаптичного піку. Дорослий мозок спеціалізується на тому тренуванні, яке ми йому надали. Він не так добре підходить для загального навчання, як дитячий мозок.”

Завдяки техніці розшир та обрізки можна зробити рівні передбачення про закономірності в даних, використовуючи лише частину обчислювальної потужності, яка раніше була необхідна. Дослідники намагаються знайти методи зменшення енергоспоживання та обчислювальної вартості, оскільки це є ключем до застосування машинного навчання на малих пристроях, таких як телефони та смарт-годинники. Зменшення кількості енергії, споживаної алгоритмами машинного навчання, також може допомогти галузі зменшити свій вуглецевий слід. Сяоліан Дай, перший автор робіт, пояснив, що моделі потрібно тренувати локально через те, що передача до хмари вимагає багато енергії.

У ході першої роботи дослідники намагалися створити інструмент створення нейронної мережі, який вони могли б використовувати для інженерії нейронних мереж та відтворення деяких з найкращих мереж з нуля. Інструмент назувався NeST (Інструмент синтезу нейронної мережі), і коли йому надаються лише кілька нейронів та зв’язків, він швидко збільшується в складності, додаючи більше нейронів до мережі. Як тільки мережа досягає вибраного стандарту, вона починає обрізувати себе з часом. Хоча попередні моделі мереж використовували техніки обрізки, метод, розроблений дослідниками Принстона, був першим, який взяв мережу та змоделював стадії розвитку, переходячи від “дитинства” до “дорослого мозку”.

У ході другої роботи дослідники співпрацювали з командою з Університету Каліфорнії-Берклі та Facebook (META ), щоб покращити свою техніку за допомогою інструменту під назвою Chameleon. Chameleon здатний починати з бажаного кінцевого результату, бажаних результатів, та працювати назад, щоб сконструювати правильний тип нейронної мережі. Це усуває багато здогадок, пов’язаних із налаштуванням мережі вручну, надаючи інженерам початкові точки, які, ймовірно, будуть негайно корисними. Chameleon передбачає продуктивність різних архітектур під різними умовами. Об’єднання Chameleon та інструменту NeST може допомогти дослідницьким організаціям, які не мають важких обчислювальних ресурсів, скористатися силою нейронних мереж.