Mendeteksi Kontak Mata dari Pose Tubuh dengan Pembelajaran Mesin

Peneliti dari Perancis dan Swiss telah mengembangkan sistem visi komputer yang dapat memperkirakan apakah seseorang sedang menatap langsung ke kamera ‘ego’ dari sistem AI berdasarkan pada cara orang tersebut berdiri atau bergerak.

Kerangka kerja baru ini menggunakan informasi yang sangat reduktif untuk membuat penilaian ini, dalam bentuk titik kunci semantik (lihat gambar di bawah), bukan mencoba menganalisis posisi mata dalam gambar wajah. Ini membuat metode deteksi yang dihasilkan sangat ringan dan gesit, dibandingkan dengan arsitektur deteksi objek yang lebih intensif data, seperti YOLO.

Kerangka kerja baru mengevaluasi apakah orang di jalan sedang menatap kamera AI, berdasarkan pada disposisi tubuh mereka. Di sini, orang yang ditebalkan dengan warna hijau kemungkinan sedang menatap kamera, sedangkan mereka yang ditebalkan dengan warna merah kemungkinan sedang menatap menjauh. Sumber: https://arxiv.org/pdf/2112.04212.pdf

Meskipun pekerjaan ini dimotivasi oleh pengembangan sistem keamanan yang lebih baik untuk kendaraan otonom, penulis makalah baru ini mengakui bahwa ini bisa memiliki aplikasi yang lebih umum di industri lain, mengamati ‘bahkan di kota pintar, deteksi kontak mata dapat berguna untuk memahami perilaku pejalan kaki, misalnya, mengidentifikasi di mana perhatian mereka atau apa tanda-tanda umum yang mereka lihat’.

Untuk membantu pengembangan lebih lanjut dari ini dan sistem berikutnya, peneliti telah mengompilasi dataset baru dan komprehensif yang disebut LOOK, yang secara langsung mengatasi tantangan spesifik deteksi kontak mata di skenario sewenang-wenang seperti adegan jalan yang dilihat dari kamera kendaraan otonom, atau adegan kerumunan yang santai di mana robot perlu bernavigasi dan menghindari jalur pejalan kaki.

Hasil dari kerangka kerja, dengan ‘penonton’ diidentifikasi dengan warna hijau.

Penelitian ini berjudul Apakah Pejalan Kaki Membayar Perhatian? Deteksi Kontak Mata di Alam Liar, dan berasal dari empat peneliti di inisiatif penelitian Visual Intelligence for Transportation (VITA) di Swiss, dan satu di Sorbonne Université.

Arsitektur

Sebagian besar pekerjaan sebelumnya di bidang ini telah berfokus pada perhatian pengemudi, menggunakan pembelajaran mesin untuk menganalisis output kamera yang menghadap pengemudi, dan mengandalkan pandangan yang konstan, tetap, dan dekat dari pengemudi – kemewahan yang tidak mungkin tersedia di umpan TV publik yang sering memiliki resolusi rendah, di mana orang mungkin terlalu jauh untuk sistem analisis wajah untuk menentukan disposisi mata mereka, dan di mana oklusi lain (seperti kacamata hitam) juga menghalangi.

Lebih sentral ke tujuan proyek, kamera yang menghadap ke luar di kendaraan otonom tidak akan selalu dalam skenario yang optimal, membuat informasi ‘tingkat rendah’ ideal sebagai dasar untuk kerangka kerja analisis pandangan. Sistem kendaraan otonom memerlukan cara yang sangat responsif dan sangat cepat untuk memahami apakah pejalan kaki – yang mungkin melangkah ke jalur kendaraan – telah melihat AV. Dalam situasi seperti itu, keterlambatan bisa berarti perbedaan antara hidup dan mati.

Arsitektur modular yang dikembangkan oleh peneliti menerima gambar (biasanya) tubuh penuh seseorang dari mana sendi 2D diekstrak ke dalam bentuk dasar, skeletal.

Arsitektur sistem deteksi kontak mata Perancis/Swiss yang baru.

Posisi tubuh dinormalisasi untuk menghilangkan informasi pada sumbu Y, untuk membuat representasi ‘datar’ dari posisi yang membawa ke kesetaraan dengan ribuan posisi yang diketahui yang dipelajari oleh algoritma (yang juga telah ‘diratakan’), dan label biner yang terkait (yaitu 0: Tidak Menatap atau 1:Menatap).

Posisi tubuh dibandingkan dengan pengetahuan internal algoritma tentang seberapa baik postur itu sesuai dengan gambar pejalan kaki lain yang telah diidentifikasi sebagai ‘menatap kamera’ – anotasi yang dibuat menggunakan alat browser khusus yang dikembangkan oleh penulis untuk pekerja Amazon Mechanical Turk yang berpartisipasi dalam pengembangan dataset LOOK.

Setiap gambar di LOOK diperiksa oleh empat pekerja AMT, dan hanya gambar di mana tiga dari empat pekerja setuju dengan hasilnya yang dimasukkan ke dalam koleksi akhir.

Informasi potongan kepala, inti dari banyak pekerjaan sebelumnya, adalah salah satu indikator pandangan yang paling tidak dapat diandalkan di skenario kota sewenang-wenang, dan dimasukkan sebagai aliran data opsional dalam arsitektur di mana kualitas dan cakupan cukup untuk mendukung keputusan tentang apakah orang tersebut menatap kamera atau tidak. Dalam kasus orang yang sangat jauh, ini tidak akan menjadi data yang berguna.

Data

Peneliti ini menghasilkan LOOK dari beberapa dataset sebelumnya yang secara default tidak sesuai untuk tugas ini. Dua dataset yang secara langsung berbagi ambisi proyek ini adalah JAAD dan PIE, dan keduanya memiliki keterbatasan.

JAAD adalah penawaran 2017 dari Universitas York di Toronto, yang berisi 390.000 contoh pejalan kaki yang dilabeli, termasuk kotak pembatas dan anotasi perilaku. Dari ini, hanya 17.000 yang dilabeli sebagai Menatap Pengemudi (yaitu kamera ego). Dataset ini menampilkan 346 klip 30fps yang berjalan pada 5-10 detik footage kamera on-board yang direkam di Amerika Utara dan Eropa. JAAD memiliki insiden pengulangan yang tinggi, dan jumlah pejalan kaki unik hanya 686.

PIE yang lebih baru (2019), dari Universitas York di Toronto, serupa dengan JAAD, dalam hal ini menampilkan footage on-board 30fps, kali ini berasal dari enam jam mengemudi melalui pusat kota Toronto, yang menghasilkan 700.000 pejalan kaki yang dianotasi dan 1.842 pejalan kaki unik, hanya 180 di antaranya menatap kamera.

Sebagai gantinya, peneliti untuk makalah baru ini mengompilasi data yang paling sesuai dari tiga dataset pengemudi otonom sebelumnya: KITTI, JRDB, dan NuScenes, masing-masing dari Institut Teknologi Karlsruhe di Jerman, Stanford dan Universitas Monash di Australia, dan satu kali spin-off MIT Nutonomy.

Pengumpulan ini menghasilkan set capture yang sangat beragam dari empat kota – Boston, Singapura, Tübingen, dan Palo Alto. Dengan sekitar 8000 perspektif pejalan kaki yang dilabeli, penulis berpendapat bahwa LOOK adalah dataset yang paling beragam untuk deteksi kontak mata ‘di alam liar’.

Pelatihan dan Hasil

Ekstraksi, pelatihan, dan evaluasi semua dilakukan pada satu NVIDIA GeForce GTX 1080ti dengan 11gb VRAM, yang beroperasi pada Intel Core i7-8700 CPU yang berjalan pada 3,20GHz.

Penulis menemukan bahwa metode mereka tidak hanya memperbaiki baseline SOTA setidaknya 5%, tetapi juga bahwa model yang dihasilkan yang dilatih pada JAAD umumnya sangat baik untuk data yang tidak terlihat, skenario yang diuji dengan mencampur berbagai dataset.

Karena pengujian yang dilakukan kompleks, dan harus memperhitungkan model berbasis potongan (meskipun isolasi dan pemotongan wajah tidak sentral dalam arsitektur inisiatif baru), lihat makalah untuk hasil rinci.

Hasil untuk presisi rata-rata (AP) sebagai persentase dan fungsi dari tinggi kotak pembatas dalam piksel untuk pengujian di seluruh dataset JAAD, dengan hasil penulis dalam tebal.

Peneliti telah merilis kode mereka secara publik, dengan dataset yang tersedia di sini, dan kode sumber di GitHub.

Penulis menyimpulkan dengan harapan bahwa pekerjaan mereka akan menginspirasi upaya penelitian lebih lanjut dalam apa yang mereka deskripsikan sebagai ‘topik penting tetapi terlupakan’.