Система ШІ з керівництвом людини обіцяє прискорити навчання роботів у нових середовищах

У майбутньому епохи розумних будинків, придбання робота для оптимізації домашніх завдань не буде рідкістю. Однак розчарування може настати, коли ці автоматизовані помічники не можуть виконувати прості завдання. Енді Пенг, дослідниця кафедри електротехніки та комп’ютерних наук MIT, яка разом зі своєю командою створює шлях до поліпшення навчальної кривої роботів.

Пенг і її міжгалузева команда дослідників створили інтерактивну систему взаємодії людини й робота. Визначальною особливістю цієї системи є її здатність генерувати контрфактичні розповіді, які вказують на зміни, необхідні для того, щоб робот успішно виконав завдання.

Наприклад, коли робот бореться з розпізнаванням дивно пофарбованої чашки, система пропонує альтернативні ситуації, в яких робот би успішно виконав завдання, можливо, якщо б чашка мала більш поширений колір. Ці контрфактичні пояснення разом з зворотним зв’язком від людей спрощують процес генерації нових даних для донавчання робота.

Пенг пояснює: “Донавчання — це процес оптимізації існуючої моделі машинного навчання, яка вже володіє однією задачею, щоб виконувати другу, аналогічну задачу.”

Стрибок у ефективності та продуктивності

Коли система була протестована, вона показала вражаючі результати. Роботи, навчені за цим методом, демонстрували швидке навчання, одночасно зменшуючи часові витрати їхніх людських викладачів. Якщо цю інноваційну систему вдасться успішно реалізувати у великому масштабі, вона може допомогти роботам швидко адаптуватися до нових середовищ, зменшуючи потребу у користувачах володіти глибокими технічними знаннями. Ця технологія може стати ключем до створення роботів загального призначення, які можуть ефективно допомагати людям похилого віку чи інвалідам.

Пенг вважає, “Кінцевою метою є наділити робота можливістю навчатися та функціонувати на рівні, подібному до людського абстрактного рівня.”

Революціонізування навчання роботів

Основною перешкодою у навчанні роботів є “зміна розподілу”, термін, який використовується для пояснення ситуації, коли робот зустрічає об’єкти чи простори, з якими він не зустрічався під час свого навчального періоду. Дослідники, щоб вирішити цю проблему, реалізували метод, відомий як “імітаційне навчання”. Однак він мав свої обмеження.

“Представіть собі, що вам потрібно продемонструвати 30 000 чашок, щоб робот міг підняти будь-яку чашку. Натомість я хочу продемонструвати лише одну чашку і навчити робота розуміти, що він може підняти чашку будь-якого кольору”, – говорить Пенг.

У відповідь на це система команди ідентифікує, які атрибути об’єкта є важливими для завдання (наприклад, форма чашки) і які не важливі (наприклад, колір чашки). Знаючи цю інформацію, система генерує синтетичні дані, змінюючи “неістотні” візуальні елементи, тим самим оптимізуючи процес навчання робота.

З’єднання людського розуму з логікою роботів

Щоб оцінити ефективність цієї системи, дослідники провели тест з людськими учасниками. Учасникам було запропоновано відповісти, чи поліпшують контрфактичні пояснення системи їхнє розуміння виконання роботом завдань.

Пенг говорить: “Ми виявили, що люди мають природну здатність до такого контрфактичного мислення. Саме ця контрфактична складова дозволяє нам перекладати людське розуміння у логіку роботів безшовно.”

У ході численних симуляцій робот постійно навчався швидше за допомогою їхнього підходу, перевершуючи інші методи та потребуючи менше демонстрацій від користувачів.

Оглядаючи майбутнє, команда планує реалізувати цю систему на реальних роботах та працювати над скороченням часу генерації даних за допомогою моделей генеративного машинного навчання. Цей інноваційний підхід має потенціал трансформувати траєкторію навчання роботів, прокладаючи шлях до майбутнього, в якому роботизовані помічники будуть гармонійно співіснувати з нами у нашому повсякденному житті.