Дослідники виявили, що слух може покращити сприйняття роботами

Сучасні роботи в основному покладаються на зір і дотик, щоб діяти в своїй середовищі, але це може змінитися завдяки новим дослідженням з Університету Карнегі-Меллона (CMU). Група дослідників виявила, що сприйняття роботів може покращитися завдяки слуху.

Дослідження було першим великомасштабним дослідженням взаємодії між звуком і діями роботів, згідно з дослідниками Інституту робототехніки CMU. Група виявила, що звук може відігравати роль у допомозі роботам розрізняти об’єкти. За допомогою слуху роботи також могли визначити, який тип дії спричинив звук, і звуки могли допомогти передбачити фізичні властивості нових об’єктів.

Леррел Пінто – доктор філософії з робототехніки в CMU і буде частиною факультету Нью-Йоркського університету цієї осені.

“Багато попередньої роботи в інших галузях вказувало на те, що звук міг бути корисним, але не було ясно, наскільки він буде корисним у робототехніці”, – сказав Пінто.

Пінто і група дослідників виявили, що рівень продуктивності був досить високим, зокрема 76 відсотків точності для роботів, які використовували звук для успішної класифікації об’єктів.

Оскільки результати відповідали тому, що шукала група, вони тепер будуть досліджувати інші варіанти, такі як оснащення роботів інструментованими палицями. Це дозволить їм ідентифікувати об’єкти, постукаючи по них.

Результати дослідження були представлені у липні на віртуальній конференції з науки і систем робототехніки. До команди також входили Абхінав Гупта, асоційований професор робототехніки, і Дхірадж Ганді, науковий співробітник лабораторії штучного інтелекту Facebook (META ) у Піттсбурзі.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Дослідження та набір даних

Дослідження було проведено шляхом створення великого набору даних і одночасної реєстрації відео- і аудіозаписів 60 загальних об’єктів. Серед цих об’єктів були іграшки, ручні інструменти, яблука, взуття і тенісні м’ячі. Записи здійснювалися під час того, як об’єкти котилися і розбивалися в тарілці.

Набір даних був потім випущений після каталогізації близько 15 000 взаємодій.

Tilt-Bot

Взаємодії були захоплені тим, що команда називає Tilt-Bot, який являє собою квадратну тарілку, підключену до роботизованої руки Sawyer. Sawyer також використовувався дляштовхання об’єктів на поверхні, збираючи інші типи даних.

Дослідження того, як звук може вплинути на розумні роботи, триває вже деякий час, але що нового, так це величезний набір даних.

Одне з нових відкриттів полягало в тому, що робот міг використовувати свій досвід і те, що він навчився про звук певної групи об’єктів, щоб передбачити фізичні властивості іншої групи невидимих об’єктів.

“Я думаю, що було справді цікаво, коли воно не вдавалося, воно не вдавалося на тих речах, яких ви очікуєте”, – сказав Пінто. Наприклад, робот не міг використовувати звук, щоб розрізняти червону і зелену іграшку. “Але якщо це був інший об’єкт, такий як іграшка чи чашка, воно могло це визначити.”

Дослідження було підтримано Агентством оборонних досліджень передових проектів і Офісом морських досліджень.