AI ‘Detektif’ Dapat Mengidentifikasi Orang yang Kurang Terkenal dari Berbagai Sumber

Peneliti di Universitas Oxford telah mengembangkan sistem yang dapat mengidentifikasi orang-orang dalam video dengan melakukan penyelidikan seperti detektif, multi-domain, untuk mengetahui siapa mereka, dari konteks, dan dari berbagai sumber sekunder yang tersedia secara publik, termasuk pencocokan sumber audio dengan materi visual dari internet.

Meskipun penelitian ini berfokus pada identifikasi tokoh publik, seperti orang-orang yang muncul dalam program televisi dan film, prinsip mengenai identitas dari konteks secara teoretis dapat diterapkan pada siapa saja yang wajah, suara, atau namanya muncul dalam sumber online.

Memang, definisi makalah tentang ketenaran tidak terbatas pada pekerja industri hiburan, dengan para peneliti menyatakan ‘Kami menunjukkan orang-orang dengan banyak gambar diri mereka online sebagai terkenal‘.

Langsung ke Video

Para peneliti dari Kelompok Geometri Visual Oxford di Departemen Ilmu Pengetahuan Teknik, menguraikan pendekatan penyelidikan gaya manusia yang telah menginspirasi pekerjaan ini:

‘Bayangkan bahwa Anda sedang menonton video dan bertemu dengan orang baru. Untuk mengidentifikasi mereka dengan percaya diri, Anda akan pertama-tama mencari petunjuk tentang nama mereka, baik dalam video seperti teks pada layar, nama mereka disebutkan dalam percakapan, atau dalam daftar anggota pemeran dari arsip internet. Anda mungkin kemudian menemukan beberapa bukti untuk memverifikasi bahwa nama ini benar, dengan mencari orang tersebut secara online.’

Metodologi yang diusulkan dalam makalah ini sepenuhnya otomatis, dan menghilangkan semua pelabelan manual tambahan (dengan mengesampingkan yang dilakukan oleh penyedia sumber online). Sistem ini juga terbukti bekerja dengan baik di seluruh tiga dataset yang tidak terkait tanpa perlu adaptasi domain.

Dalam membahas penerapan pekerjaan ini, para peneliti mencatat pertumbuhan eksponensial dari data video yang tidak berlabel dan tidak transparan, serta kebutuhan akan sistem baru yang dapat menghasilkan informasi identitas dari mereka tanpa anotasi manual yang mahal:

‘[S]kala besar data, dipasangkan dengan kurangnya metadata yang relevan, membuat pengindeksan, analisis, dan navigasi konten ini menjadi tugas yang semakin sulit. Mengandalkan anotasi manual tambahan tidak lagi memungkinkan, dan tanpa cara efektif untuk menavigasi video ini, bank pengetahuan ini sebagian besar tidak dapat diakses.’

Mesin pengindeks seperti ini membuka kemungkinan untuk tautan hasil pencarian yang langsung menuju ke titik dalam video di mana subjek pencarian muncul, seperti yang ditunjukkan dalam konsep bukti yang disediakan oleh proyek.

Sistem Oxford memungkinkan pencarian instance orang yang diidentifikasi. Hasil pencarian membawa pemirsa langsung ke titik dalam video di mana orang yang diidentifikasi muncul, dan video dapat diputar dari titik itu. Sumber: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Salah satu cara sistem mengidentifikasi ‘orang yang kurang terkenal’ adalah dengan konteks asosiasi mereka dengan orang lain. Oleh karena itu, mesin pencari ini sangat efektif untuk mencari beberapa identitas yang muncul dalam video yang sama:

Ikan Besar dan Ikan Kecil

Sistem ini awalnya menangani ‘buah yang sudah matang’ – orang-orang yang wajahnya sangat terindeks dalam sumber jaringan yang menghadap ke publik sehingga mengidentifikasi mereka relatif mudah, dengan mencocokkan metadata atau teks OCR dalam video terhadap sumber data publik seperti daftar IMDB. Teks yang diinterpretasikan oleh AI dalam caption video, kredit, dan bentuk teks raster lainnya dalam video juga digunakan untuk membuat identifikasi.

Nama calon untuk pencarian dapat ditemukan secara otomatis oleh sistem, berdasarkan pengenalan karakter optik dari teks raster, atau teks sebenarnya dalam sumber lain, seperti daftar pemeran. Dengan demikian, orang dapat diindeks secara otomatis tanpa ada pertanyaan sebelumnya yang dijalankan terhadap nama mereka oleh pengguna akhir individual, dan tanpa partisipasi sebelumnya dalam jaringan sosial yang diaktifkan AI. Sumber: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Di mana gambar dan video yang menghadap ke internet mengonfirmasi identitas orang tersebut, penyelidikan membenarkan identitas. Namun, di mana orang tersebut lebih kurang terkenal, metode lain digunakan, termasuk audio yang diambil dari trek video, yang dapat digunakan sebagai konfirmasi identitas. Meskipun tidak dibahas dalam pekerjaan ini, secara logis tidak ada yang menghalangi kerangka kerja seperti ini juga menggunakan sumber audio murni serta komponen audio dalam video.

Panoptikon Identitas yang Mengembang Sendiri

Selain menghasilkan nama calon dari teks raster atau teks murni, teknologi pengenalan suara digunakan dalam proyek Oxford untuk mengenali nama yang hanya disebutkan dalam konten audio. Dengan demikian, identitas dapat diinisialisasi oleh satu atau dua orang yang hanya menyebutkan orang ketiga yang tidak hadir.

Sistem pengaman yang diperkenalkan oleh proyek Oxford adalah bahwa calon harus muncul dalam database IMDB, tetapi menghilangkan ketentuan sewenang-wenang ini memperluas cakupan kemampuan sistem secara signifikan, karena sistem ini sepenuhnya bergantung pada sumber daya yang dapat diakses dari web.

Oleh karena itu, dengan kombinasi sumber termasuk nama yang diperoleh dari teks raster, teks sebenarnya, penyebutan berdasarkan suara, dan materi visual yang sangat terbatas, menjadi memungkinkan untuk mengidentifikasi individu dengan kehadiran jaringan yang rendah.

Secara teknis, juga menjadi memungkinkan untuk membangun profil individu yang belum memiliki gambar atau video yang terkait, tetapi dapat dikaitkan dengan gambar atau video ketika faktor lain berkorelasi dengan sumber video yang baru dimasukkan.

Dataset Uji

Para peneliti menggunakan tiga dataset untuk mengevaluasi efektivitas sistem: MediaEval, yang menampilkan sumber daya media sosial yang berasal dari Creative Commons dan komunitas (termasuk Wikipedia dan Flickr) yang ditangkap antara 2010-2015; dataset Sherlock milik kelompok Oxford pada 2017, yang menampilkan data video yang dianotasi dari adaptasi modern BBC dari karakter Conan Doyle; dan dataset video BBC baru yang dibuat khusus untuk proyek ini, yang menggunakan berbagai cuplikan berita BBC yang dianotasi.

Sistem ini berhasil di berbagai lingkungan dataset, termasuk kesempatan di mana wajah terhalang oleh refleksi atau kegelapan.

Proses ini juga menggunakan peringkat pencarian gambar langsung.

Hasil untuk sistem ini menghasilkan akurasi tinggi di seluruh tiga model. Dalam kasus dataset Sherlock, para peneliti terkejut menemukan bahwa sistem baru ini meningkat 3-6% dibandingkan dengan metode sebelumnya yang menggunakan mesin vektor dukungan (SVM) dalam klasifikasi multi-jalur, meskipun klasifikasi tetangga terdekat yang digunakan dalam pekerjaan baru ini adalah alat yang kurang kuat.

Implikasi

Sebagian besar batasan etika atau praktis dalam proyek Oxford adalah self-imposed oleh para peneliti, seperti mendefinisikan ‘ketenaran’ dengan persyaratan bahwa identitas yang ditemukan memiliki kehadiran dalam IMDB, dan dengan menguji sistem hanya terhadap dataset akademis yang mapan yang menghormati lisensi Creative Commons.

Namun, arsitektur dasar proyek ini menggambarkan metode generik untuk tidak hanya mengidentifikasi ‘orang yang kurang terkenal’ yang memiliki kehadiran visual rendah atau nol di internet (karena penyebutan nama saja dapat memunculkan token identitas yang dapat dikembangkan seiring waktu sesuai kebutuhan), tetapi juga untuk menciptakan matriks individu yang didorong oleh nothing lebih dari rasa ingin tahu yang rekursif dan mekanis, daripada oleh permintaan, atau oleh kehadiran data yang diberi label (seperti unggahan foto media sosial yang berisi metadata PII).

Proyek ini tidak menggunakan data geolokasi, atau bentuk metadata lain yang tersedia yang mungkin ditemukan dalam dokumen yang membantu, seperti informasi lokasi geografis yang disematkan secara default dalam unggahan media sosial (di mana ini tidak dihilangkan sebagai preferensi pengguna). Namun, tidak ada hambatan yang jelas untuk menggunakan dimensi data tambahan ini untuk memperkuat proses korelasi.

Di mana proyek Oxford memangkas outlier (identitas yang hampir tidak ada kehadiran, selain tidak terdaftar di IMDB) dengan cara yang umum dalam proyek pembelajaran mesin, informasi minimal seperti ini dapat secara efektif mengidentifikasi orang yang tidak dikenal daripada yang terjadi jika jumlah informasi yang lebih besar tentang mereka tersedia. Jika outlier adalah apa yang Anda cari (yaitu, individu dengan jejak jaringan yang rendah), data yang langka dapat sangat mengarahkan.

Ketersediaan

Para peneliti Oxford telah mengenkapsulasi fungsionalitas proyek ini ke dalam mesin pencari seperti Google yang dapat diunduh dan dipasang di mesin lokal melalui Docker (meskipun instruksi pemasangan untuk makalah Mei 2021 saat ini mengandung informasi yang sudah ketinggalan zaman untuk persyaratan Alat Docker, yang mungkin menghambat proses).

Tidak ada versi online langsung yang mencakup implementasi proyek ini di seluruh tiga dataset, meskipun hasil untuk dataset berita BBC dapat diinterogasi secara gratis di http://zeus.robots.ox.ac.uk/bbc_search/.