Teknik Penglihatan Komputer Memprediksi Perilaku Manusia dari Video

Sebuah teknik penglihatan komputer baru yang dikembangkan oleh peneliti Columbia Engineering dapat memprediksi perilaku manusia dari video. Teknik baru ini memberikan mesin kemampuan intuitif untuk memprediksi apa yang akan terjadi selanjutnya dengan menggunakan asosiasi tingkat tinggi antara orang, hewan, dan objek.

Carl Vondrick adalah asisten profesor ilmu komputer di Columbia. Vondrick mengarahkan studi ini, yang dipresentasikan pada 24 Juni di Konferensi Internasional tentang Penglihatan Komputer dan Pengenalan Pola.

“Algoritma kami adalah langkah menuju mesin yang dapat membuat prediksi yang lebih baik tentang perilaku manusia, dan dengan demikian dapat mengkoordinasikan tindakan mereka dengan lebih baik,” kata Vondrick. “Hasil kami membuka sejumlah kemungkinan untuk kolaborasi manusia-robot, kendaraan otonom, dan teknologi bantu.”

Metode baru ini adalah yang paling akurat dari jenisnya hingga saat ini untuk memprediksi peristiwa aksi video beberapa menit di masa depan. Sistem ini pertama kali menganalisis ribuan jam film, pertandingan olahraga, dan acara sebelum memprediksi ratusan kegiatan, seperti jabat tangan dan mengepalkan tangan.

Jika sistem tidak dapat memprediksi tindakan tertentu, maka sistem akan menemukan konsep tingkat tinggi yang menghubungkan mereka, seperti kata “salam”.

Upaya Masa Lalu

Upaya sebelumnya dalam pembelajaran mesin prediktif biasanya berfokus pada memprediksi satu tindakan pada satu waktu, dengan algoritma memutuskan untuk mengklasifikasikan tindakan, misalnya, sebagai pelukan, jabat tangan, high-five, atau non-tindakan. Namun, ketidakpastian yang tinggi berarti sebagian besar model pembelajaran mesin tidak dapat menemukan kesamaan antara pilihan yang mungkin.

Tim ini termasuk mahasiswa PhD Columbia Engineering Didac Suris dan Ruoshi Liu, dan pasangan ini melihat masalah prediksi jangka panjang sedikit berbeda.

Suris adalah penulis utama makalah ini.

“Tidak semua hal di masa depan dapat diprediksi,” kata Suris. “Ketika seseorang tidak dapat memprediksi secara pasti apa yang akan terjadi, mereka bermain aman dan memprediksi pada tingkat abstraksi yang lebih tinggi. Algoritma kami adalah yang pertama untuk mempelajari kemampuan untuk bernalar secara abstrak tentang peristiwa di masa depan.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Mengembangkan Sistem Baru

Suris dan Liu mengandalkan geometri yang tidak biasa untuk mengembangkan model AI yang mengatur konsep tingkat tinggi dan memprediksi perilaku manusia di masa depan.

Aude Oliva, yang tidak terlibat dalam studi ini, adalah ilmuwan peneliti senior di Massachusetts Institute of Technology dan ko-direktur Laboratorium AI Watson IBM.

“Prediksi adalah dasar dari kecerdasan manusia,” kata Oliva. “Mesin membuat kesalahan yang manusia tidak pernah akan karena mereka kekurangan kemampuan untuk bernalar secara abstrak. Pekerjaan ini adalah langkah penting menuju mengatasi kesenjangan teknologi ini.”

Peneliti mengembangkan kerangka matematika yang memungkinkan mesin untuk mengatur peristiwa berdasarkan seberapa dapat diprediksi mereka di masa depan. Misalnya, sistem baru ini belajar bagaimana mengategorikan kegiatan seperti berenang dan berlari sebagai kategori mereka sendiri, bukan hanya berolahraga. Sistem ini juga dapat memperhitungkan ketidakpastian, yang mengarah ke tindakan yang lebih spesifik.

Menurut Liu, penulis utama makalah ini, teknik yang baru dikembangkan ini dapat membantu komputer membuat keputusan yang lebih halus daripada tindakan yang diprogram sebelumnya, dan ini sangat penting untuk membangun kepercayaan antara manusia dan komputer.

“Kepercayaan datang dari perasaan bahwa robot benar-benar memahami orang,” ia menjelaskan. “Jika mesin dapat memahami dan memprediksi perilaku kita, komputer akan dapat membantu orang dengan mulus dalam kegiatan sehari-hari.”

Tim ini sekarang akan memverifikasi bahwa teknik ini bekerja di dunia nyata, dan ini dapat diterapkan untuk keamanan, kesehatan, dan keselamatan.

“Perilaku manusia sering kali mengejutkan,” kata Vondrick. “Algoritma kami memungkinkan mesin untuk lebih baik memprediksi apa yang akan mereka lakukan selanjutnya.”