Техника компьютерного зрения предсказывает поведение человека по видео

Новая техника компьютерного зрения, разработанная исследователями Колумбийского университета, может предсказать поведение человека по видео. Новая техника дает машинам интуитивное понимание, позволяя им предсказать, что произойдет дальше, используя более высокие ассоциации между людьми, животными и объектами.

Карл Вондрик – ассистент профессора компьютерных наук в Колумбии. Вондрик руководил исследованием, которое было представлено 24 июня на Международной конференции по компьютерному зрению и распознаванию образов.

“Наш алгоритм – это шаг к тому, чтобы машины могли делать лучшие прогнозы о поведении человека, и, таким образом, лучше координировать свои действия с нашими”, – сказал Вондрик. “Наши результаты открывают целый ряд возможностей для сотрудничества человека и робота, автономных транспортных средств и вспомогательной технологии.”

Новый метод является наиболее точным из известных на сегодняшний день для прогнозирования событий видео-действий через несколько минут в будущем. Система сначала проанализировала тысячи часов фильмов, спортивных игр и шоу, прежде чем перейти к прогнозированию сотен действий, таких как рукопожатие и удар кулаком.

Если система не может предсказать конкретное действие, она находит более высокую концепцию, которая связывает их, например, слово “приветствие”.

Предыдущие попытки

Предыдущие попытки прогнозирования с помощью машинного обучения обычно фокусировались на прогнозировании одного действия за раз, когда алгоритмы решали классифицировать действие, например, как объятие, рукопожатие, высокий пяти или бездействие. Однако высокая неопределенность означает, что большинство моделей машинного обучения не могут найти общности между возможными вариантами.

В команду входили аспиранты Колумбийского университета Дидак Сурис и Руоши Лю, и они посмотрели на проблему долгосрочного прогнозирования немного иначе.

Сурис – соавтор статьи.

“Не все в будущем предсказуемо”, – сказал Сурис. “Когда человек не может точно предсказать, что произойдет, он играет безопасно и предсказывает на более высоком уровне абстракции. Наш алгоритм – первый, который научился этой способности рассуждать абстрактно о будущих событиях.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Разработка новой системы

Сурис и Лю полагались на необычные геометрии, чтобы разработать модели ИИ, которые организуют высокие концепции и предсказывают поведение человека в будущем.

Одна Олива, которая не участвовала в исследовании, – старший исследователь в Массачусетском технологическом институте и со-директор лаборатории ИИ Массачусетского технологического института – IBM.

“Прогнозирование – основа человеческого интеллекта”, – сказала Олива. “Машины делают ошибки, которых люди никогда не совершали, потому что им не хватает нашей способности рассуждать абстрактно. Эта работа – важный шаг к преодолению этого технологического разрыва.”

Исследователи разработали математическую основу, которая позволяет машинам организовывать события по их предсказуемости в будущем. Например, новая система учится категоризировать действия, такие как плавание и бег, как свои собственные, а не просто упражнения. Система также может учитывать неопределенность, что приводит к более конкретным действиям.

По словам Лю, соавтора статьи, новая техника могла бы помочь компьютерам принимать тонкие решения, а не запрограммированные действия, и это важно для построения доверия между людьми и компьютерами.

“Доверие возникает из чувства, что робот действительно понимает людей”, – объясняет он. “Если машины могут понять и предсказать наше поведение, компьютеры смогут бесшовно помогать людям в повседневной деятельности.”

Команда теперь намерена проверить, работает ли техника в реальном мире, и она может быть развернута для безопасности, здоровья и безопасности.

“Поведение человека часто удивительно”, – говорит Вондрик. “Наши алгоритмы позволяют машинам лучше предсказывать, что они будут делать дальше.”