Исследователи обращаются к животным, чтобы дать системам обучения с подкреплением общие представления

Исследователи из институтов, таких как Имперский колледж Лондона, Кембриджский университет и Google DeepMind, обращаются к животным за вдохновением, чтобы улучшить производительность систем обучения с подкреплением. В совместной статье, опубликованной в CellPress Reviews, под названием «Искусственный интеллект и общие представления животных», исследователи утверждают, что когнитивные способности животных предоставляют полезные эталоны и методы оценки для агентов обучения с подкреплением, и могут также информировать проектирование задач и сред.

Исследователи и инженеры ИИ давно обращаются к биологическим нейронным сетям за вдохновением при проектировании алгоритмов, используя принципы поведенческой науки и нейробиологии для информирования структуры алгоритмов. Однако большинство подсказок, которые исследователи ИИ берут из области нейробиологии и поведенческой науки, основаны на человеческом поведении, с когнитивными способностями молодых детей и младенцев в качестве основной точки зрения. Исследователи ИИ еще не взяли много вдохновения из моделей животных, но когнитивные способности животных являются неиспользованным ресурсом, который имеет потенциал привести к важным прорывам в области обучения с подкреплением.

Глубокие системы обучения с подкреплением обучаются через процесс проб и ошибок, подкрепляемый наградами всякий раз, когда агент обучения с подкреплением приближается к выполнению желаемой цели. Это очень похоже на обучение животного выполнению желаемого задания с помощью еды в качестве награды. Биологи и специалисты по когнитивным способностям животных провели много экспериментов оценки когнитивных способностей различных животных, включая собак, медведей, белок, свиней, ворон, дельфинов, кошек, мышей, слонов и осьминогов. Многие животные демонстрируют впечатляющие проявления интеллекта, и некоторые животные, такие как слоны и дельфины, могут даже иметь теорию разума.

Изучение результатов исследований по когнитивным способностям животных может вдохновить исследователей ИИ рассматривать проблемы с разных сторон. Поскольку глубокое обучение с подкреплением стало более мощным и сложным, исследователи ИИ, специализирующиеся в этой области, ищут новые способы тестирования когнитивных способностей агентов обучения с подкреплением. В исследовательской статье команда исследователей ссылается на типы экспериментов, проведенных с приматами и птицами, упоминая, что они стремятся разработать системы, способные выполнять аналогичные задания, давая ИИ某种 «общее представление». Согласно авторам статьи, они «предлагают подход, при котором агенты ИИ, возможно, с еще не разработанными архитектурами, приобретают то, что необходимо через расширенное взаимодействие с богатыми виртуальными средами».

Как сообщает VentureBeat, исследователи ИИ утверждают, что общие представления не являются уникальной чертой человека и что они зависят от понимания основных свойств физического мира, таких как то, как объект занимает точку и пространство, какие ограничения есть на его движения, и оценка причинно-следственных связей. Животные демонстрируют эти черты в лабораторных исследованиях. Например, вороны понимают, что объекты являются постоянными вещами, поскольку они могут извлечь семена даже тогда, когда семя скрыто от них, покрытое другим объектом.

Чтобы наделить систему обучения с подкреплением этими свойствами, исследователи утверждают, что им необходимо создать задания, которые, в сочетании с правильной архитектурой, создадут агентов, способных передавать изученные принципы на другие задания. Исследователи утверждают, что обучение для такой модели должно включать методы, требующие от агента получить понимание концепции после воздействия только нескольких примеров, называемое обучением с少численными примерами. Это в отличие от традиционных сотен или тысяч испытаний, которые обычно входят в обучение с проб и ошибок агента ИИ.

Исследовательская команда продолжает объяснять, что хотя некоторые современные агенты ИИ могут научиться решать несколько задач, некоторые из которых требуют передачи изученных принципов, неясно, могут ли агенты ИИ научиться такому абстрактному понятию, как «общее представление». Если был бы агент, потенциально способный изучить такое понятие, им потребовались бы тесты, способные определить, понимает ли агент ИИ понятие контейнера.

DeepMind в частности с нетерпением ждет возможности взаимодействия с новыми и разными способами разработки и тестирования агентов обучения с подкреплением. Недавно на конференции Stanford HAI, которая состоялась в начале октября, руководитель отдела нейробиологии DeepMind, Мэтью Ботвиник, призвал исследователей и инженеров ИИ к более тесному сотрудничеству в других областях науки. Ботвиник подчеркнул важность междисциплинарной работы с психологами и нейробиологами для области ИИ в докладе под названием «Триангуляция интеллекта: слияние нейробиологии, психологии и ИИ».