Исследователи обращаются к животным, чтобы дать системам обучения с подкреплением здравый смысл

Исследователи искусственного интеллекта из институтов, таких как Имперский колледж Лондона, Кембриджский университет и Google DeepMind, обращаются к животным за вдохновением, чтобы улучшить производительность систем обучения с подкреплением. В совместной статье, опубликованной в CellPress Reviews, под названием «Искусственный интеллект и здравый смысл животных», исследователи утверждают, что когнитивные способности животных предоставляют полезные эталоны и методы оценки для агентов обучения с подкреплением, и они также могут информировать проектирование задач и сред.

Исследователи и инженеры искусственного интеллекта давно обращаются к биологическим нейронным сетям за вдохновением при проектировании алгоритмов, используя принципы поведенческой науки и нейробиологии для информирования структуры алгоритмов. Однако большинство подсказок, которые исследователи искусственного интеллекта берут из области нейробиологии/поведенческой науки, основаны на людях, с когнитивными способностями молодых детей и младенцев в качестве основной точки. Исследователи искусственного интеллекта еще не взяли много вдохновения из моделей животных, но когнитивные способности животных являются неиспользованным ресурсом, который имеет потенциал привести к важным прорывам в области обучения с подкреплением.

Глубокие системы обучения с подкреплением обучаются через процесс проб и ошибок, подкрепляемый наградами всякий раз, когда агент обучения с подкреплением приближается к выполнению желаемой цели. Это очень похоже на обучение животного выполнению желаемого задания с помощью еды в качестве награды. Биологи и специалисты по когнитивным способностям животных провели много экспериментов оценки когнитивных способностей различных животных, включая собак, медведей, белок, свиней, ворон, дельфинов, кошек, мышей, слонов и осьминогов. Многие животные демонстрируют впечатляющие проявления интеллекта, и некоторые животные, такие как слоны и дельфины может даже иметь теорию разума.

Изучение массива исследований, проведенных по когнитивным способностям животных, может вдохновить исследователей искусственного интеллекта рассматривать проблемы с разных сторон. Поскольку глубокое обучение с подкреплением стало более мощным и сложным, исследователи искусственного интеллекта, специализирующиеся в этой области, ищут новые способы тестирования когнитивных способностей агентов обучения с подкреплением. В исследовательской статье команда исследователей ссылается на типы экспериментов, проведенных с приматами и птицами, упоминая, что они стремятся разработать системы, способные выполнять аналогичные типы заданий, давая искусственному интеллекту своего рода «здравый смысл». Согласно авторам статьи, они «пропагандируют подход, при котором агенты RL, возможно, с еще не разработанными архитектурами, приобретают то, что необходимо через расширенное взаимодействие с богатыми виртуальными средами».

Как сообщает VentureBeat, исследователи искусственного интеллекта утверждают, что здравый смысл не является чертой, уникальной для людей, и что он зависит от понимания основных свойств физического мира, таких как то, как объект занимает точку и пространство, какие ограничения есть на движение этого объекта, и оценка причинно-следственных связей. Животные демонстрируют эти черты в лабораторных исследованиях. Например, вороны понимают, что объекты являются постоянными вещами, поскольку они способны извлекать семена даже тогда, когда семя скрыто от них, покрыто другим объектом.

Чтобы наделить систему обучения с подкреплением этими свойствами, исследователи утверждают, что им необходимо создать задания, которые, в сочетании с правильной архитектурой, создадут агентов, способных передавать изученные принципы на другие задания. Исследователи утверждают, что обучение такой модели должно включать техники, требующие от агента получить понимание концепции после воздействия только нескольких примеров, называемого обучением с небольшим количеством данных. Это в отличие от традиционных сотен или тысяч испытаний, которые обычно входят в процесс проб и ошибок обучения агента RL.

Команда исследователей продолжает объяснять, что хотя некоторые современные агенты RL могут учиться решать несколько заданий, некоторые из которых требуют базового переноса изученных принципов, неясно, могут ли агенты RL изучить концепцию, столь абстрактную, как «здравый смысл». Если бы был агент, потенциально способный изучить такую концепцию, им потребовались бы тесты, способные определить, понимает ли агент RL концепцию контейнера.

DeepMind в частности с энтузиазмом относится к новым и различным способам разработки и тестирования агентов обучения с подкреплением. Недавно, на конференции Stanford HAI, которая состоялась ранее в октябре, руководитель исследований нейробиологии DeepMind, Matthew Botvinick, призвал исследователей и инженеров машинного обучения сотрудничать более тесно в других областях науки. Botvinick подчеркнул важность междисциплинарной работы с психологами и нейробиологами для области искусственного интеллекта в докладе под названием «Триангуляция интеллекта: слияние нейробиологии, психологии и ИИ».