Техніка комп’ютерного зору передбачає поведінку людини за допомогою відео

Нова техніка комп’ютерного зору, розроблена дослідниками Колумбійського університету, може передбачити поведінку людини за допомогою відео. Ця нова техніка надає машинам інтуїтивне відчуття, яке дозволяє їм передбачити, що станеться далі, використовуючи вищерозрядні асоціації між людьми, тваринами та об’єктами.

Карл Вондрик є асистентом професора комп’ютерних наук у Колумбії. Вондрик керував дослідженням, яке було представлено 24 червня на Міжнародній конференції з комп’ютерного зору та розпізнавання образів. 

“Наш алгоритм є кроком до того, щоб машини могли робити кращі передбачення щодо поведінки людини, і тим самим краще координувати свої дії з нашими”, сказав Вондрик. “Наші результати відкривають ряд можливостей для співробітництва людини та робота, автономних транспортних засобів та допоміжної технології.”

Новий метод є найточнішим із свого роду на сьогодні для передбачення подій відеодії за кілька хвилин у майбутньому. Система спочатку проаналізувала тисячі годин фільмів, спортивних ігор та шоу, перш ніж перейти до передбачення сотень дій, таких як рукостискання та удар кулаком. 

Якщо система не може передбачити конкретну дію, вона знаходить вищерозрядну концепцію, яка їх пов’язує, наприклад, слово “вітання”. 

Минулі спроби

Минулі спроби передбачувального машинного навчання зазвичай зосереджувалися на передбаченні однієї дії за раз, при цьому алгоритми вирішували класифікувати дію, наприклад, як обійми, рукостискання, високий п’ять або бездіяльність. Однак висока невизначеність означає, що більшість моделей машинного навчання не можуть знайти спільних ознак між можливими варіантами. 

До команди увійшли аспіранти Колумбійського університету Дідак Суріс та Руоші Лю, і вони розглянули проблему довгострокового передбачення трохи інакше. 

Суріс є співавтором статті.

“Не все в майбутньому можна передбачити”, сказав Суріс. “Коли людина не може точно передбачити, що станеться, вона грає на безпечній стороні та передбачає на вищому рівні абстракції. Наш алгоритм є першим, який вивчив цю здатність абстрактно мислити про майбутні події.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Розробка нової системи

Суріс і Лю спиралися на незвичайні геометрії для розробки моделей штучного інтелекту, які організовують вищерозрядні концепції та передбачають поведінку людини в майбутньому. 

Одна Олівія, яка не брала участь у дослідженні, є старшим науковим співробітником Массачусетського технологічного інституту та співдиректором лабораторії MIT-IBM Watson AI. 

“Прогнозування є основою людського інтелекту”, сказав Олівія. “Машини роблять помилки, яких люди ніколи не робили б, оскільки їм бракує нашої здатності абстрактно мислити. Ця робота є важливим кроком до подолання цього технологічного розриву.”

Дослідники розробили математичну основу, яка дозволяє машинам організовувати події за їх передбачуваністю в майбутньому. Наприклад, нова система вчиться категоризувати дії, такі як плавання та біг, як окремі, а не просто фізичні вправи. Система також здатна враховувати невизначеність, що призводить до більш конкретних дій.

За словами Лю, співавтора статті, нова техніка могла б допомогти комп’ютерам приймати тонкі рішення, а не попередньо запрограмовані дії, і це є важливим для будівництва довіри між людьми та комп’ютерами. 

“Довіра виникає з відчуття, що робот справді розуміє людей”, пояснює він. “Якщо машини можуть зрозуміти та передбачити нашу поведінку, комп’ютери зможуть безперебійно допомагати людям у повсякденній діяльності.”

Команда тепер планує перевірити, чи працює техніка в реальному світі, і вона могла б бути розгорнута для безпеки, охорони здоров’я та безпеки.  

“Поведінка людини часто несподівана”, говорить Вондрик. “Наші алгоритми дозволяють машинам краще передбачати, що вони будуть робити далі.”