Computer-Vision-Technik zur Vorhersage von menschlichem Verhalten aus Videos

Eine neue Computer-Vision-Technik, die von Forschern der Columbia Engineering entwickelt wurde, kann menschliches Verhalten aus Videos vorhersagen. Die neue Technik gibt Maschinen ein intuitives Gefühl, das es ihnen ermöglicht, vorherzusagen, was als Nächstes passieren wird, indem sie höhere Assoziationen zwischen Menschen, Tieren und Objekten nutzen.

Carl Vondrick ist Assistant Professor für Computerwissenschaften an der Columbia. Vondrick leitete die Studie, die am 24. Juni auf der International Conference on Computer Vision and Pattern Recognition präsentiert wurde.

“Unser Algorithmus ist ein Schritt in Richtung einer besseren Vorhersage von menschlichem Verhalten durch Maschinen, und damit einer besseren Koordination ihrer Aktionen mit unseren”, sagte Vondrick. “Unsere Ergebnisse eröffnen eine Vielzahl von Möglichkeiten für die Zusammenarbeit zwischen Menschen und Robotern, autonomen Fahrzeugen und Assistenztechnologie.”

Die neue Methode ist die genaueste ihrer Art für die Vorhersage von Video-Aktionen, die mehrere Minuten in der Zukunft liegen. Das System analysierte zunächst Tausende von Stunden von Filmen, Sportspielen und Shows, bevor es Hunderte von Aktivitäten wie Händeschütteln und Faust-Bumpen vorhersagte.

Wenn das System eine bestimmte Aktion nicht vorhersagen kann, findet es ein höheres Konzept, das sie verbindet, wie zum Beispiel das Wort “Begrüßung”.

Vorherige Versuche

Vorherige Versuche der predictiven maschinellen Lernens konzentrierten sich in der Regel auf die Vorhersage einer Aktion auf einmal, wobei die Algorithmen entschieden, die Aktion zu klassifizieren, zum Beispiel als Umarmung, Händeschütteln, High-Five oder Nicht-Aktion. Allerdings bedeutet die hohe Unsicherheit, dass die meisten maschinellen Lernmodelle keine Gemeinsamkeiten zwischen den möglichen Optionen finden können.

Das Team bestand aus den Columbia-Engineering-Doktoranden Didac Suris und Ruoshi Liu, und das Duo betrachtete das Problem der langfristigen Vorhersage ein bisschen anders.

Suris ist Co-Autor des Papiers.

“Nicht alles in der Zukunft ist vorhersehbar”, sagte Suris. “Wenn eine Person nicht genau vorhersagen kann, was passieren wird, spielt sie es sicher und vorhersagt auf einem höheren Abstraktionsniveau. Unser Algorithmus ist der erste, der diese Fähigkeit erlernt, abstrakt über zukünftige Ereignisse zu denken.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Entwicklung des neuen Systems

Suris und Liu verließen sich auf ungewöhnliche Geometrien, um AI-Modelle zu entwickeln, die höhere Konzepte organisieren und menschliches Verhalten in der Zukunft vorhersagen.

Aude Oliva, die nicht an der Studie beteiligt war, ist Senior Research Scientist am Massachusetts Institute of Technology und Co-Direktor des MIT-IBM Watson AI Lab.

“Vorhersage ist die Grundlage der menschlichen Intelligenz”, sagte Oliva. “Maschinen machen Fehler, die Menschen nie machen würden, weil sie unsere Fähigkeit fehlt, abstrakt zu denken. Diese Arbeit ist ein wichtiger Schritt zur Überbrückung dieser technologischen Lücke.”

Die Forscher entwickelten einen mathematischen Rahmen, der es Maschinen ermöglicht, Ereignisse nach ihrer Vorhersehbarkeit in der Zukunft zu organisieren. Zum Beispiel lernt das neue System, wie man Aktivitäten wie Schwimmen und Laufen als eigene Kategorien einordnet, anstatt sie einfach als “Sport” zu bezeichnen. Das System kann auch Unsicherheit berücksichtigen, was zu spezifischeren Aktionen führt.

Laut Liu, Co-Autor des Papiers, könnte die neu entwickelte Technik dazu beitragen, dass Computer nuancierte Entscheidungen treffen können, anstatt vorprogrammierte Aktionen auszuführen, und dies ist entscheidend für den Aufbau von Vertrauen zwischen Menschen und Computern.

“Vertrauen entsteht aus dem Gefühl, dass der Roboter Menschen wirklich versteht”, erklärt er. “Wenn Maschinen menschliches Verhalten verstehen und vorhersagen können, können Computer Menschen in ihrer täglichen Aktivität nahtlos unterstützen.”

Das Team wird nun prüfen, ob die Technik in der realen Welt funktioniert, und sie könnte für Sicherheit, Gesundheit und Sicherheit eingesetzt werden.

“Menschliches Verhalten ist oft überraschend”, sagt Vondrick. “Unsere Algorithmen ermöglichen es Maschinen, besser vorherzusagen, was als Nächstes passieren wird.”