Техніка комп’ютерного зору передбачає поведінку людини за відео

Нова техніка комп’ютерного зору, розроблена дослідниками Columbia Engineering, може передбачати поведінку людини за відео. Нова техніка надає машинам інтуїтивне відчуття, що дозволяє їм передбачити, що станеться далі, використовуючи асоціації вищого рівня між людьми, тваринами та об’єктами.

Карл Вондрік — доцент кафедри інформатики в Колумбійському університеті. Вондрік керував вчитися, який було представлено 24 червня на Міжнародній конференції з комп’ютерного зору та розпізнавання образів. 

«Наш алгоритм є кроком до того, щоб машини могли краще прогнозувати поведінку людей і, таким чином, краще координувати свої дії з нашими», — сказав Вондрік. «Наші результати відкривають низку можливостей для співпраці людини та робота, автономних транспортних засобів і допоміжних технологій».

Новий метод є найточнішим у своєму роді на сьогоднішній день для передбачення подій відеодій на кілька хвилин у майбутньому. Система спочатку проаналізувала тисячі годин фільмів, спортивних ігор і шоу, а потім передбачила сотні дій, таких як рукостискання та удари кулаками. 

Якщо система не може передбачити певну дію, вона знаходить концепт вищого рівня, який пов’язує їх, наприклад слово «привітання». 

Минулі спроби

Попередні спроби інтелектуального машинного навчання зазвичай зосереджувалися на передбаченні однієї дії за раз, при цьому алгоритми вирішували класифікувати дію, наприклад, як обійми, рукостискання, дайте п’ять або відсутність дій. Однак висока невизначеність означає, що більшість моделей машинного навчання не здатні знайти спільні риси між можливими варіантами. 

До команди увійшли аспіранти Columbia Engineering Дідак Суріс і Руоші Лю, і пара поглянула на проблему довгострокового прогнозування дещо інакше. 

Суріс є співавтором статті.

«Не все в майбутньому можна передбачити», — сказав Суріс. «Коли людина не може точно передбачити, що станеться, вона перестраховується і передбачає на вищому рівні абстракції. Наш алгоритм є першим, хто навчився цій здатності абстрактно міркувати про майбутні події».

Розробка нової системи

Суріс і Лю покладалися на незвичайні геометрії для розробки моделей штучного інтелекту, які організовують концепції високого рівня та передбачають поведінку людини в майбутньому. 

Оді Оліва, який не брав участі в дослідженні, є старшим науковим співробітником Массачусетського технологічного інституту та співдиректором MIT-IBM Watson AI Lab. 

«Передбачення — це основа людського інтелекту», — сказала Оліва. «Машини роблять помилки, яких люди ніколи не зробили б, тому що їм бракує нашої здатності абстрактно міркувати. Ця робота є ключовим кроком до подолання цього технологічного розриву».

Дослідники розробили математичну структуру, яка дозволяє машинам організовувати події залежно від того, наскільки вони передбачувані в майбутньому. Наприклад, нова система вчиться класифікувати такі дії, як плавання та біг, як власні, а не просто фізичні вправи. Система також здатна враховувати невизначеність, що призводить до більш конкретних дій.

За словами Лю, співавтора статті, нещодавно розроблена техніка може допомогти комп’ютерам приймати деталізовані рішення, а не заздалегідь запрограмовані дії, і це має вирішальне значення для побудови довіри між людьми та комп’ютерами. 

«Довіра виникає через відчуття, що робот справді розуміє людей», — пояснює він. «Якщо машини зможуть розуміти та передбачати нашу поведінку, комп’ютери зможуть безперешкодно допомагати людям у повсякденній діяльності».

Тепер команда намагатиметься перевірити, чи ця техніка працює в реальному світі, і її можна буде застосувати для безпеки, здоров’я та безпеки.  

«Людська поведінка часто викликає подив», — каже Вондрік. «Наші алгоритми дозволяють машинам краще передбачати, що вони збираються робити далі».