Нова система має на меті вирішити проблему споживання енергії штучним інтелектом

Комп’ютери, що використовують штучний інтелект (AI), потребують великої кількості енергії, а ця потреба у обчислювальної потужності майже подвоюється кожні три-чотири місяці. Коли мова йде про центри обробки даних у хмарі, які використовуються програмами AI та машинного навчання, вони споживають більше електричної потужності на рік, ніж деякі маленькі країни. Багато дослідників попереджають, що ця система є нестійкою.

Команда цих дослідників під керівництвом Університету Вашингтону розробила рішення, щоб допомогти вирішити цю проблему – нове оптичне обчислювальне обладнання для AI та машинного навчання. Це обладнання швидше і значно більш енергоефективне, ніж традиційна електроніка. Воно також допомагає вирішити проблему “шуму”, який викликається оптичними обчисленнями і може перешкоджати точності обчислень.

Дослідження було опубліковано 21 січня в Science Advances.

Використання шуму як вхідних даних

У дослідницькій роботі команда продемонструвала, як оптична система обчислень для AI та машинного навчання може використовувати деякий шум як вхідні дані для покращення творчого виходу штучної нейронної мережі (ANN) у системі.

Чанмін Ву – аспірант Університету Вашингтону на факультеті електротехніки та комп’ютерних наук і головний автор статті.

“Ми створили оптичний комп’ютер, який швидший за традиційний цифровий комп’ютер”, – сказав Ву. “І цей оптичний комп’ютер може створювати нові речі на основі випадкових вхідних даних, згенерованих із оптичного шуму, який більшість дослідників намагалася уникнути”.

Шум у оптичних обчисленнях викликається випадковими частинками світла, або фотонами. Вони створюються лазерами всередині пристрою та фоновим тепловим випромінюванням. Для боротьби із шумом команда підключила своє оптичне ядро обчислень до генеративної суперницької мережі (GAN). Потім вони протестували різні методи мінімізації шуму, такі як використання частини згенерованого шуму як випадкових вхідних даних для GAN.

Команда наказала GAN вивчити, як рукописний номер “7” виглядає у людини, що означало, що вона мала вивчити завдання, спостерігаючи візуальні зразки рукописного тексту перед тим, як практикувати знову і знову. Через свою форму оптичний комп’ютер мав генерувати цифрові зображення, які мали подібний стиль до зразків.

Мо Лі – професор Університету Вашингтону на факультеті електротехніки та комп’ютерних наук і старший автор статті.

“Замість навчання мережі читати рукописні числа, ми навчили мережу вивчити, як писати числа, імітуючи візуальні зразки рукописного тексту, на яких вона була навчена”, – сказав Лі. “Ми, за допомогою наших колег-комп’ютерних вчених з Університету Дюка, також показали, що GAN може мінімізувати негативний вплив шумів оптичних обчислень, використовуючи алгоритм навчання, який стійкий до помилок і шумів. Крім того, мережа фактично використовує шуми як випадкові вхідні дані, необхідні для генерації екземплярів виходу”.

Когда GAN продовжував практикувати написання числа, він розвинув свій власний характерний стиль написання. Врешті-решт він зміг написати числа від одного до десяти у комп’ютерних симуляціях.

Створення більшої системи

Команда тепер буде працювати над створенням пристрою у більшому масштабі за допомогою сучасних технологій виробництва напівпровідників, що покращить продуктивність і дозволить команді виконувати більш складні завдання.

“Ця оптична система представляє архітектуру комп’ютерної апаратури, яка може підвищити креативність штучних нейронних мереж, використовуваних у AI та машинному навчанні, але що ще важливіше, вона демонструє життєздатність цієї системи у великому масштабі, де шуми та помилки можна мінімізувати та навіть використати”, – сказав Лі. “Застосунки AI розвиваються дуже швидко, тому в майбутньому їх споживання енергії буде нестійким. Ця технологія має потенціал допомогти зменшити споживання енергії, роблячи AI та машинне навчання екологічно стійкими – і дуже швидкими, досягając вищої продуктивності загалом.