Дослідники звертаються до тварин, щоб наділити системи навчання з підкріпленням здоровим глуздом

Дослідники штучного інтелекту з інститутів, таких як Імперський коледж Лондона, Кембриджський університет та Google DeepMind, звертаються до тварин за натхненням щодо покращення продуктивності систем навчання з підкріпленням. У спільній статті, опублікованій у CellPress Reviews, під назвою «Штучний інтелект і здоровий глузд тварин», дослідники стверджують, що когнітивні процеси тварин забезпечують корисні критерії та методи оцінки для агентів навчання з підкріпленням, і можуть також інформувати про розробку завдань та середовищ.

Дослідники штучного інтелекту та інженери протягом тривалого часу звертаються до біологічних нейронних мереж за натхненням при розробці алгоритмів, використовуючи принципи з поведінкової науки та нейробіології для інформування структури алгоритмів. Однак більшість натхнень, які дослідники штучного інтелекту беруть з галузей нейробіології/поведінкової науки, базуються на людях, при цьому когнітивні процеси молодих дітей та немовлят служать основним напрямком. Дослідники штучного інтелекту ще не взяли багато натхнень з моделей тварин, але когнітивні процеси тварин є невикористаним ресурсом, який має потенціал привести до важливих проривів у сфері навчання з підкріпленням.

Глибокі системи навчання з підкріпленням тренуються через процес проб та помилок, посилюються нагородами, коли агент навчання з підкріпленням наближається до виконання бажаної мети. Це дуже схоже на навчання тварини виконувати бажане завдання, використовуючи їжу як нагороду. Біологи та спеціалісти з когнітивних процесів тварин провели багато експериментів оцінки когнітивних здібностей різних тварин, включаючи собак, ведмедів, білок, свиней, ворон, дельфінів, кішок, мишей, слонів та восьминогів. Багато тварин демонструють вражаючі прояви інтелекту, і деякі тварини, такі як слони та дельфіни, можуть навіть мати теорію розуму.

Розглянувши масу досліджень щодо когнітивних процесів тварин, дослідники штучного інтелекту можуть розглянути проблеми з різних сторін. Оскільки глибоке навчання з підкріпленням стало більш потужним та складним, дослідники штучного інтелекту, які спеціалізуються в цій галузі, шукають нові способи тестування когнітивних здібностей агентів навчання з підкріпленням. У дослідницькій статті команда дослідників посилається на типи експериментів, проведених з приматами та птахами, зазначаючи, що вони планують розробити системи, здатні виконувати подібні завдання, наділяючи штучний інтелект певним «здоровим глуздом». За словами авторів статті, вони «застосовують підхід, при якому агенти навчання з підкріпленням, можливо, з ще не розробленими архітектурами, набувають необхідного через тривале взаємодію з багатими віртуальними середовищами».

Як повідомляє VentureBeat, дослідники штучного інтелекту стверджують, що здоровий глузд не є особливістю, властивою лише людям, і що він залежить від розуміння основних властивостей фізичного світу, таких як те, як об’єкт займає певну точку та простір, які обмеження існують на рух цього об’єкта, та оцінка причинно-наслідкових зв’язків. Тварини демонструють ці риси в лабораторних дослідженнях. Наприклад, ворони розуміють, що об’єкти є постійними речами, оскільки вони здатні повернути насіння навіть тоді, коли насіння приховане від них іншим об’єктом.

Щоб наділити систему навчання з підкріпленням цими властивостями, дослідники стверджують, що їм потрібно створити завдання, які, у поєднанні з відповідною архітектурою, створять агентів, здатних переносити вивчені принципи на інші завдання. Дослідники стверджують, що навчання для такої моделі повинно включати техніки, які вимагають від агента набути розуміння концепції після експозиції лише кількох прикладів, так зване навчання з少ньою кількістю прикладів. Це на відміну від традиційних сотень або тисяч спроб, які зазвичай входять до складу тренування агента навчання з підкріпленням.

Дослідницька команда далі пояснює, що хоча деякі сучасні агенти навчання з підкріпленням можуть вивчити виконання кількох завдань, деякі з яких вимагають базового переносу вивчених принципів, неясно, чи можуть агенти навчання з підкріпленням вивчити таку абстрактну концепцію, як «здоровий глузд». Якщо існував би агент, потенційно здатний вивчити таку концепцію, їм були б потрібні тести, здатні визначити, чи розуміє агент навчання з підкріпленням концепцію контейнера.

DeepMind, зокрема, зацікавлений у взаємодії з новими та різними способами розробки та тестування агентів навчання з підкріпленням. Нещодавно, на конференції Stanford HAI, яка відбулася на початку жовтня, керівник досліджень нейробіології DeepMind Метью Ботвінік закликав дослідників машинного навчання та інженерів до більшої співпраці в інших галузях науки. Ботвінік підкреслив важливість міжгалузевої роботи з психологами та нейробіологами для галузі штучного інтелекту в доповіді під назвою «Тріангуляція інтелекту: об’єднання нейробіології, психології та штучного інтелекту».