Technika komputerowego widzenia przewiduje ludzkie zachowanie z filmów

Nowa technika komputerowego widzenia opracowana przez badaczy z Columbia Engineering umożliwia przewidywanie ludzkiego zachowania z filmów. Nowa technika daje maszynom intuicyjne poczucie, umożliwiając im przewidywanie, co się wydarzy następnie, poprzez wykorzystanie wyższego poziomu skojarzeń między ludźmi, zwierzętami i obiektami.

Carl Vondrick jest asystentem profesora informatyki na Columbia. Vondrick kierował badaniem, które zostało przedstawione 24 czerwca na Międzynarodowej Konferencji nt. Widzenia Komputerowego i Rozpoznawania Wzorców.

“Nasz algorytm jest krokiem w kierunku umożliwienia maszynom lepszego przewidywania ludzkiego zachowania, a tym samym lepszej koordynacji ich działań z naszymi” – powiedział Vondrick. “Nasze wyniki otwierają wiele możliwości dla współpracy człowiek-robot, pojazdów autonomicznych i technologii wspomagających.”

Nowa metoda jest najbardziej dokładna ze swojego rodzaju do tej pory w przypadku przewidywania zdarzeń akcji wideo kilka minut w przyszłości. System najpierw przeanalizował tysiące godzin filmów, meczów sportowych i programów, zanim przeszedł do przewidywania setek działań, takich jak podawanie ręki i uderzanie pięścią.

Jeśli system nie może przewidzieć określonej akcji, znajduje wyższy poziom pojęcia, który je łączy, takiego jak słowo “powitanie”.

Poprzednie próby

Poprzednie próby predykcyjnego uczenia maszynowego通常 koncentrowały się na przewidywaniu jednej akcji na raz, z algorytmami decydującymi o klasyfikacji akcji, na przykład jako uścisk, podanie ręki, pięść lub brak akcji. Jednakże, wysoka niepewność oznacza, że większość modeli uczenia maszynowego nie jest w stanie znaleźć wspólnych cech między możliwymi opcjami.

Zespół obejmował doktorantów z Columbia Engineering, Didaca Surisa i Ruoshiego Liu, a para spojrzała na problem długoterminowej predykcji w nieco inny sposób.

Suris jest współautorem artykułu.

“Nie wszystko w przyszłości jest przewidywalne” – powiedział Suris. “Kiedy osoba nie może dokładnie przewidzieć, co się wydarzy, gra na bezpieczeństwo i przewiduje na wyższym poziomie abstrakcji. Nasz algorytm jest pierwszym, który nauczył się tej zdolności do abstrakcyjnego myślenia o przyszłych zdarzeniach.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Tworzenie nowego systemu

Suris i Liu oparli się na niezwykłych geometriach, aby opracować modele AI, które organizują wyższe pojęcia i przewidują ludzkie zachowanie w przyszłości.

Aude Oliva, który nie był zaangażowany w badanie, jest starszym naukowcem w Massachusetts Institute of Technology i współdyrektorem MIT-IBM Watson AI Lab.

“Przewidywanie jest podstawą ludzkiej inteligencji” – powiedział Oliva. “Maszyny popełniają błędy, których ludzie nie popełniają, ponieważ brakuje im naszej zdolności do abstrakcyjnego myślenia. Ta praca jest kluczowym krokiem w kierunku zamykaniu tej technologicznej luki.”

Badacze opracowali matematyczny framework, który umożliwia maszynom organizowanie zdarzeń według ich przewidywalności w przyszłości. Na przykład, nowy system uczy się, jak klasyfikować działania, takie jak pływanie i bieganie, jako odrębne, a nie tylko ćwiczenia. System jest również w stanie uwzględnić niepewność, co prowadzi do bardziej szczegółowych działań.

Według Liu, współautora artykułu, nowo opracowana technika mogłaby pomóc komputerom w podejmowaniu bardziej nuansowanych decyzji, a nie tylko zaprogramowanych działań, i jest kluczowa dla budowania zaufania między ludźmi a komputerami.

“Zaufanie pochodzi z poczucia, że robot naprawdę rozumie ludzi” – wyjaśnia. “Jeśli maszyny mogą zrozumieć i przewidzieć nasze zachowania, komputery będą w stanie bezproblemowo wspomagać ludzi w codziennych działaniach.”

Zespół będzie teraz starał się potwierdzić, czy technika działa w świecie rzeczywistym, i może być wdrożona w celach bezpieczeństwa, zdrowia i ochrony.

“Ludzkie zachowanie jest często zaskakujące” – mówi Vondrick. “Nasze algorytmy umożliwiają maszynom lepsze przewidywanie, co ludzie będą robić następnie.”