Эксперты преодолевают основное препятствие в технологии ИИ с помощью механизма мозга

Группа экспертов по искусственному интеллекту (ИИ) из различных учреждений преодолела “основное, давнее препятствие для увеличения возможностей ИИ”. Команда обратилась к человеческому мозгу, что является обычным случаем для многих разработок ИИ. Конкретно, команда сосредоточилась на механизме памяти человеческого мозга, известном как “повторение”.

Гидо ван де Вен является первым автором и постдокторальным исследователем. Он был присоединен к основному исследователю Андреасу Толиясу в Бэйлоре, а также к Хаве Зигельманн в УМасс Амхерсте.

Исследование было опубликовано в Nature Communications.

Новый метод

По словам исследователей, они разработали новый метод, который эффективно защищает глубокие нейронные сети от “катастрофического забывания”. Когда нейронная сеть учится чему-то новому, она может забыть то, что было выучено ранее.

Это препятствие является тем, что останавливает многие достижения ИИ.

“Одним из решений было бы хранить ранее встреченные примеры и повторять их, когда вы учитесь чему-то новому. Хотя такое “повторение” или “репетиция” решает катастрофическое забывание, постоянное повторное обучение на всех ранее выученных задачах является высоко неэффективным, и количество данных, которое необходимо хранить, становится неуправляемым быстро”, – написали исследователи.

Человеческий мозг

Исследователи черпали вдохновение из человеческого мозга, поскольку он способен накапливать информацию без забывания, что не является случаем для ИИ-нейронных сетей. Текущее развитие было основано на предыдущей работе исследователей, включая выводы о механизме в мозге, который, как считается, отвечает за предотвращение забывания воспоминаний. Этот механизм является повторением моделей нейронной активности.

По словам Зигельманн, основное развитие происходит от “признания того, что повторение в мозге не хранит данные”, но “мозг генерирует представления памяти на высоком, более абстрактном уровне без необходимости генерировать подробные воспоминания”.

Зигельманн взяла эту информацию и присоединилась к своим коллегам, чтобы разработать мозго-подобное повторение с искусственным интеллектом, где не хранились данные. Как и в случае с человеческим мозгом, искусственная сеть берет то, что она видела ранее, чтобы сгенерировать высокоуровневые представления.

Метод был высокоэффективным, даже если только несколько сгенерированных повторений представлений привели к тому, что старые воспоминания были запомнены, а новые были выучены. Генеративное повторение эффективно предотвращает катастрофическое забывание, и одним из основных преимуществ является то, что оно позволяет системе обобщать из одной ситуации в другую.

По словам Ван де Вена, “Если наша сеть с генеративным повторением сначала учится различать кошек и собак, а затем различать медведей и лисиц, она также сможет различать кошек и лисиц без специального обучения. И заметно, что чем больше система учится, тем лучше она становится в обучении новым задачам”.

“Мы предлагаем новый, вдохновленный мозгом вариант повторения, при котором внутренние или скрытые представления повторяются, которые генерируются собственными, контекстно-модулированными обратными связями сети”, – пишет команда. “Наш метод достиг государственного уровня производительности на сложных непрерывных обучающих бенчмарках без хранения данных и предоставляет новую модель для абстрактного повторения в мозге”.

“Наш метод делает несколько интересных предсказаний о том, как повторение может способствовать консолидации памяти в мозге”, – продолжает Ван де Вен. “Мы уже проводим эксперимент, чтобы проверить некоторые из этих предсказаний”.