Дослідники використовують мемрістори для створення більш енергоефективних нейронних мереж

Одним з менш гламурних аспектів штучного інтелекту є те, що він часто вимагає великої кількості обчислювальної потужності та, як наслідок, має великий енергетичний слід. Недавня робота дослідників з Університетського коледжу Лондона визначила метод покращення енергоефективності штучного інтелекту.

Нейронні мережі та машинне навчання – потужні інструменти, але найвражаючі досягнення штучного інтелекту зазвичай мають велику енергетичну ціну. Наприклад, коли OpenAI навчила роботизовану руку маніпулювати кубіком Рубіка, було оцінено, що це досягнення потребувало близько 2,8 гігават-години електроенергії.

За даними TechExplore, дослідники з Університетського коледжу Лондона розробили новий метод генерації штучних нейронних мереж. Цей новий метод використовує мемрістори для генерації мережі, які у 1000 разів більш енергоефективні, ніж мережі, створені традиційними методами. Мемрістори – це пристрої, які можуть nhớти кількість електричного заряду, який останнім часом протікав через них, зберігаючи цей стан пам’яті після вимикання. Це означає, що вони можуть nhớти свій стан, навіть якщо пристрій втрачає живлення. Хоча мемрістори були вперше теоретично передбачені близько 50 років тому, лише у 2008 році був створений реальний мемрістор.

Мемрістори іноді називають “нейроморфними” пристроями або “пристроями, натхненними мозком”. Мемрістори схожі на будівельні блоки, які мозок використовує для обробки інформації та створення пам’яті. Вони дуже ефективні порівняно з більшість сучасних комп’ютерних систем. Ці пристрої мають властивості конденсаторів і резисторів, і за останні десять років вони були виготовлені та використані в різних пристроях пам’яті. Команда дослідників Університетського коледжу Лондона сподівається, що їхня робота допоможе цим пристроям бути використаними для створення систем штучного інтелекту протягом декількох років.

Хоча мемрістори традиційно менш ефективні, ніж звичайні нейронні мережі, дослідники з Університетського коледжу Лондона знайшли спосіб підвищити точність мемрісторів. Дослідники виявили, що при використанні багатьох мемрісторів їх можна розділити на кілька підгруп та потім обчислити середнє значення їхніх обчислень. Середнє значення обчислень допомагає виправити помилки в підгрупах та знайти більш актуальні закономірності.

Доктор Аднан Мехонік та аспірант Довидас Йокас (обидва – Університетський коледж Лондона, електрон та електрична інженерія) та їхні співавтори протестували цей підхід з середнім значенням на різних типах мемрісторів та виявили, що ця техніка здається покращує точність у всіх типах мемрісторів, які були протестовані, а не лише в одному чи двох з них. Покращення точності застосовувалися до всіх груп, які були протестовані, незалежно від типу матеріалу, з якого був виготовлений мемрістор.

За словами доктора Мехоніка, як цитується в TechExplore:

“Ми сподівалися, що можуть бути більш загальні підходи, які покращують не поведінку на рівні пристрою, а поведінку на рівні системи, і ми вважаємо, що знайшли один. Наш підхід показує, що, коли йдеться про мемрістори, кілька голів краще, ніж одна. Організація нейронної мережі в кілька менших мереж замість однієї великої мережі призвела до більшої точності в цілому”.

Команда дослідників була рада застосувати техніку комп’ютерних наук до мемрісторів, а також використовувати загальний метод уникнення помилок (середнє значення обчислень), щоб підвищити точність мемрісторних нейронних мереж. Співавтор дослідження професор Тоні Кеньон з Університетського коледжу Лондона, електрон та електрична інженерія, вважає, що мемрістори можуть “відігравати провідну роль” у створенні більш енергоефективних пристроїв для краєвої обчислювальної техніки та пристроїв Інтернету речей.

Мемрістори не тільки більш енергоефективні, ніж традиційні моделі нейронних мереж, але їх також легко можна включити в ручний, мобільний пристрій. Це передбачається як все більш важливе в ближньому майбутньому, оскільки все більше даних створюється та передається постійно, хоча збільшення пропускної здатності за певний пункт є складним. Мемрістори можуть допомогти забезпечити передачу великих обсягів даних за частку енергетичної вартості.