Експерти подолали значну перешкоду в технології штучного інтелекту за допомогою механізму мозку

Група експертів зі штучного інтелекту (ШІ) з різних установ подолала “значну, довготривалу перешкоду для підвищення можливостей ШІ.” Команда звернулася до людського мозку, що є звичайним випадком для багатьох розробок ШІ. Зокрема, команда зосередилася на механізмі людської пам’яті, відомому як “повторення”.

Гідо ван де Вен є першим автором і постдокторантом-дослідником. До нього приєднався головний дослідник Андреас Толіяс у Бейлорі, а також Гава Зігельман у UMass Amherst.

Дослідження було опубліковано в Nature Communications.

Новий метод

За словами дослідників, вони розробили новий метод, який ефективно захищає глибокі нейронні мережі від “катастрофічного забування”. Коли нейронна мережа вивчає щось нове, вона може забути те, що було вивчено раніше.

Ця перешкода зупиняє багато досягнень ШІ.

“Один із варіантів рішення полягає в тому, щоб зберігати раніше зустрічені приклади та повертатися до них, коли вивчається щось нове. Хоча таке “повторення” або “репетиція” розв’язує проблему катастрофічного забування, постійне повторне навчання на всіх попередніх завданнях є вкрай неефективним, а кількість даних, яку потрібно зберігати, швидко стає неуправляемою”, – написали дослідники.

Людський мозок

Дослідники черпали натхнення з людського мозку, оскільки він здатний накопичувати інформацію без забування, чого не можна сказати про нейронні мережі ШІ. Поточний розвиток був побудований на попередній роботі дослідників, включаючи висновки щодо механізму в мозку, який, як вважається, відповідає за запобігання забуванню спогадів. Цей механізм полягає в повторенні моделей нейронної активності.

За словами Зігельман, основний розвиток полягає в тому, що “повторення в мозку не зберігає дані”, а “мозок генерує представлення спогадів на високому, більш абстрактному рівні без потреби генерувати детальні спогади”.

Зігельман використала цю інформацію та приєдналася до своїх колег, щоб розробити мозкоподібне повторення з штучним інтелектом, де дані не зберігаються. Як і в людському мозку, штучна мережа використовує те, що вона бачила раніше, щоб генерувати високорівневі представлення.

Метод був дуже ефективним, навіть якщо тільки кілька згенерованих повторень представлень призводили до того, що старі спогади запам’ятовувалися, а нові вивчалися. Генеративне повторення ефективно запобігає катастрофічному забуванню, і одним із основних переваг є те, що воно дозволяє системі узагальнювати з однієї ситуації до іншої.

За словами ван де Вена, “Якщо наша мережа з генеративним повторенням спочатку вивчає розрізняти котів і собак, а потім розрізняти ведмедів і лисиць, вона також розрізняє котів і лисиць без спеціального навчання. І зверніть увагу, чим більше система вчиться, тим краще вона стає у вивченні нових завдань”.

“Ми пропонуємо новий, мозкоподібний варіант повторення, у якому внутрішні або приховані представлення повторюються, які генеруються власними з’єднаннями мережі, модифікованими контекстом”, – пише команда. “Наш метод досягнув найвищих результатів на складних тестах без зберігання даних і пропонує нову модель для абстрактного повторення в мозку”.

“Наш метод робить кілька цікавих передбачень про те, як повторення може сприяти консолідації пам’яті в мозку”, – продовжує ван де Вен. “Ми вже проводимо експеримент, щоб перевірити деякі з цих передбачень”.